Data Architecture & Pipeline Engineering
焼き芋ストロング は @Yoshikinoue によるデータエンジニアリング技術ブログです。 DWH / Lakehouse 基盤の設計、ETL/ELT パイプライン運用、SQL チューニング、実務での障害・トラブルシューティング知見を発信しています。
DWH & Lakehouse
COREData Pipeline & Streaming
Featured
Picked Data Engineering Notes- ProgrammingPosted on:1 min read
Redshift public schema 以外 dist_key sort_keyを確認する。
Redshiftで新規作成したスキーマのテーブル定義（dist_key / sort_key）をPG_TABLE_DEFから確認するためのsearch_path設定方法。
- ProgrammingPosted on:2 min read
AWS CLI datapipeline で既存パイプラインのダウンロードとアップロード
AWS CLIを使用して既存のData Pipeline定義をJSON出力・新規作成・マルチバイト文字化けを防いでアップロードする手順。
- AWSPosted on:2 min read
Redshift COPY ShellCommandActivity command PGPASSFILE
AWS Data PipelineのShellCommandActivityからpsql経由でRedshift COPYコマンドや複数SQLジョブを実行するパイプライン構築パターン。
Recent Posts
Latest Logs- ProgrammingPosted on:1 min read
Redshift public schema 以外 dist_key sort_keyを確認する。
Redshiftで新規作成したスキーマのテーブル定義（dist_key / sort_key）をPG_TABLE_DEFから確認するためのsearch_path設定方法。
- ProgrammingPosted on:2 min read
AWS CLI datapipeline で既存パイプラインのダウンロードとアップロード
AWS CLIを使用して既存のData Pipeline定義をJSON出力・新規作成・マルチバイト文字化けを防いでアップロードする手順。
- ProgrammingPosted on:1 min read
PythonでFileMakerDataAPIにアクセス
"Python": 3.7.3 "python-fmrest": "1.1.0" command line verifyssl は証明書が無効なら False 設定しておく。 あとは、ループ回すなりして CSV に吐いた...
- LifehackPosted on:1 min read
miband4がRISC-V使ってるみたいで気になる。
Xiaomi のmiband4が RISC-V ベースのチップ使ってるみたいで欲しくなってくる。 米国の中国との関税や、Huawei たたきで、ARM ベースのチップから、RISC-V の移行が加速するのかも Huami...