Skip to content
記事一覧へ
Data Engineering

Dataform を選んだ理由と、運用して分かったこと

投稿日:
約1分

概要

データ変換のツールに Dataform を選んだ。比較したのは dbt。

決め手は、Dataform が Google に買収され、内部のサービスとして密な連携ができることを期待したこと。

運用して分かったこと

買収したてで、スムーズな運用は難しかった。

当時はまだ GA ではなくプレビューで、スケジュール実行の機能がなかった。実行は Workflows 経由にする形になった。現在も仕組みを移行するコストの問題でWorkflows 経由のまま。

当時は API のリミットにも悩まされた。たびたび発生するのでサポートチケットを発行して調べてもらったが、回答は Google 内部の問題だった、というものだった。

良かった点

ETL 処理の SQL 実行エンジンとしては評価できる。

データリネージの機能もある。どのテーブルが、どのテーブルを参照しているか分かる。

今選び直すなら

今選び直すなら dbt かな。Dataform は情報や事例が少ない。

関連記事

同じ技術スタックの記事