概要
AWS で動いていた ETL バッチを GCP へ移行した。データは発生し続ける性質のもので、止めると欠損するため無停止で切り替えを行った。
ポイントは下流のバッチを先に VIEW 経由に寄せておき、本番の切り替えを上流だけの作業にきり分けを行ったこと
前提
2022年に行った作業。構成は次のとおり。
| 役割 | 移行元(AWS) | 移行先(GCP) |
|---|---|---|
| 格納 | S3 | GCS |
| 実行・制御 | Data Pipeline、Lambda、Airflow | Workflows、Cloud Run Functions |
| 分析 | Athena | BigQuery |
テーブル数は約100。最大のテーブルで1日あたり3億8,400万レコード。下流にはデータ加工とデータ分析があり、分単位でデータ量を表示するダッシュボードもあった。夜間に止めて一気に切り替えるという選択肢はなかった。
方針
下流を物理的なデータの置き場所から切り離す。
AWS 経由で届くデータと GCP で受け取るテーブルを UNION した VIEW を用意した。下流の ETL バッチは移行作業の前にすべてこの VIEW を参照するよう移行しておいた。
重複の回避は切り替え日で切った。UNION で繋ぐテーブルごとに切り替え日を指定し、その日より前は AWS 側、その日からは GCP 側のデータを返すようにした。
本番の移行でやることは上流の切り替えだけ。下流は触らない。
手順
- GCP 側でデータの受信を開始し、並行稼働に入る。メインのログデータは約半年並行稼働させた
- 並行稼働の期間中、AWS からのデータも GCP に取り込み、両系のデータの正確性を確認する
- 下流の ETL バッチを UNION の VIEW 参照へ移行しておく
- 確認が取れたら上流の切り替えだけを実施する
検証は並行稼働の期間中に済ませる。これが無停止で切り替える前提だった。
検証
確認はテーブル単位。見たのは3点。
- レコード件数
- 集計値
- サンプルを抽出してカラムごとの値の合致
最初から完全一致は狙っていない。一番の上流では機器ごとに古い機種などがあり、発生側の都合でデータが完全には一致しない前提だった。差が出るなら出る場所と理由を説明できる状態にする。それを合格とした。
ハマった点
一番のネックはタイムゾーン。
移行元と移行先で日時の扱いがずれ、日次の境界で数字が合わなくなる。対策として UTC のカラムと JST のカラムを両方持つ形にした。どちらのタイムゾーンで集計しても再現できるようにしておく。
SQL の方言差もあった。Athena と BigQuery で関数や型の扱いが違う。チームのキャッチアップで吸収した。
切り戻し
切り戻しの段取りは用意していた。実際には使わなかった。問題なく切り替えは完了した。
使わずに済んだのは、下流を VIEW に寄せる下準備と、半年の並行稼働での検証を先に済ませていたからだと思う。