Data Architecture & Pipeline Engineering
焼き芋ストロング は @Yoshikinoue によるデータエンジニアリング技術ブログです。 DWH / Lakehouse 基盤の設計、ETL/ELT パイプライン運用、SQL チューニング、実務での障害・トラブルシューティング知見を発信しています。
DWH & Lakehouse
中核Data Pipeline & Streaming
注目記事
おすすめのデータエンジニアリング記事- Data Engineering投稿日:約3分
AWS から GCP へ、ETL バッチを止めずに切り替えた
1日最大3億8,400万レコードが発生し続ける ETL バッチを、AWS から GCP へ無停止で移行したときの切り替え方式と検証の進め方。
- Data Engineering投稿日:約1分
Dataform を選んだ理由と、運用して分かったこと
dbt と比較して Dataform を選んだ理由と、運用してみて分かったことのメモ。
- Data Engineering投稿日:約1分
Gemini Enterprise 導入の初期メモ
シャドーAI対策として Gemini Enterprise を導入し始めた。基盤側の初期段階の作業と、現時点の所感のメモ。
新着記事
最新の記事- Data Engineering投稿日:約1分
Redshift public schema 以外 dist_key sort_keyを確認する。
Redshiftで新規作成したスキーマのテーブル定義(dist_key / sort_key)をPG_TABLE_DEFから確認するためのsearch_path設定方法。
- Data Engineering投稿日:約2分
AWS CLI datapipeline で既存パイプラインのダウンロードとアップロード
AWS CLIを使用して既存のData Pipeline定義をJSON出力・新規作成・マルチバイト文字化けを防いでアップロードする手順。
- Development投稿日:約1分
PythonでFileMakerDataAPIにアクセス
"Python": 3.7.3 "python-fmrest": "1.1.0" command line verifyssl は証明書が無効なら False 設定しておく。 あとは、ループ回すなりして CSV に吐いた...
- Misc投稿日:約1分
miband4がRISC-V使ってるみたいで気になる。
Xiaomi のmiband4が RISC-V ベースのチップ使ってるみたいで欲しくなってくる。 米国の中国との関税や、Huawei たたきで、ARM ベースのチップから、RISC-V の移行が加速するのかも Huami...