Skip to content
記事一覧へ
Data Engineering

AWS から GCP へ、ETL バッチを止めずに切り替えた

投稿日:
約3分

概要

AWS で動いていた ETL バッチを GCP へ移行した。データは発生し続ける性質のもので、止めると欠損するため無停止で切り替えを行った。

ポイントは下流のバッチを先に VIEW 経由に寄せておき、本番の切り替えを上流だけの作業にきり分けを行ったこと

前提

2022年に行った作業。構成は次のとおり。

役割移行元(AWS)移行先(GCP)
格納S3GCS
実行・制御Data Pipeline、Lambda、AirflowWorkflows、Cloud Run Functions
分析AthenaBigQuery

テーブル数は約100。最大のテーブルで1日あたり3億8,400万レコード。下流にはデータ加工とデータ分析があり、分単位でデータ量を表示するダッシュボードもあった。夜間に止めて一気に切り替えるという選択肢はなかった。

方針

下流を物理的なデータの置き場所から切り離す。

AWS 経由で届くデータと GCP で受け取るテーブルを UNION した VIEW を用意した。下流の ETL バッチは移行作業の前にすべてこの VIEW を参照するよう移行しておいた。

重複の回避は切り替え日で切った。UNION で繋ぐテーブルごとに切り替え日を指定し、その日より前は AWS 側、その日からは GCP 側のデータを返すようにした。

本番の移行でやることは上流の切り替えだけ。下流は触らない。

手順

  1. GCP 側でデータの受信を開始し、並行稼働に入る。メインのログデータは約半年並行稼働させた
  2. 並行稼働の期間中、AWS からのデータも GCP に取り込み、両系のデータの正確性を確認する
  3. 下流の ETL バッチを UNION の VIEW 参照へ移行しておく
  4. 確認が取れたら上流の切り替えだけを実施する

検証は並行稼働の期間中に済ませる。これが無停止で切り替える前提だった。

検証

確認はテーブル単位。見たのは3点。

最初から完全一致は狙っていない。一番の上流では機器ごとに古い機種などがあり、発生側の都合でデータが完全には一致しない前提だった。差が出るなら出る場所と理由を説明できる状態にする。それを合格とした。

ハマった点

一番のネックはタイムゾーン。

移行元と移行先で日時の扱いがずれ、日次の境界で数字が合わなくなる。対策として UTC のカラムと JST のカラムを両方持つ形にした。どちらのタイムゾーンで集計しても再現できるようにしておく。

SQL の方言差もあった。Athena と BigQuery で関数や型の扱いが違う。チームのキャッチアップで吸収した。

切り戻し

切り戻しの段取りは用意していた。実際には使わなかった。問題なく切り替えは完了した。

使わずに済んだのは、下流を VIEW に寄せる下準備と、半年の並行稼働での検証を先に済ませていたからだと思う。

関連記事

同じ技術スタックの記事