Data Architecture & Pipeline Engineering
焼き芋ストロング は @Yoshikinoue によるデータエンジニアリング技術ブログです。 DWH / Lakehouse 基盤の設計、ETL/ELT パイプライン運用、SQL チューニング、実務での障害・トラブルシューティング知見を発信しています。
DWH & Lakehouse
中核Data Pipeline & Streaming
注目記事
おすすめのデータエンジニアリング記事- Programming投稿日:約1分
Redshift public schema 以外 dist_key sort_keyを確認する。
Redshiftで新規作成したスキーマのテーブル定義(dist_key / sort_key)をPG_TABLE_DEFから確認するためのsearch_path設定方法。
- Programming投稿日:約2分
AWS CLI datapipeline で既存パイプラインのダウンロードとアップロード
AWS CLIを使用して既存のData Pipeline定義をJSON出力・新規作成・マルチバイト文字化けを防いでアップロードする手順。
- AWS投稿日:約2分
Redshift COPY ShellCommandActivity command PGPASSFILE
AWS Data PipelineのShellCommandActivityからpsql経由でRedshift COPYコマンドや複数SQLジョブを実行するパイプライン構築パターン。
新着記事
最新の記事- Programming投稿日:約1分
PythonでFileMakerDataAPIにアクセス
"Python": 3.7.3 "python-fmrest": "1.1.0" command line verifyssl は証明書が無効なら False 設定しておく。 あとは、ループ回すなりして CSV に吐いた...
- Lifehack投稿日:約1分
miband4がRISC-V使ってるみたいで気になる。
Xiaomi のmiband4が RISC-V ベースのチップ使ってるみたいで欲しくなってくる。 米国の中国との関税や、Huawei たたきで、ARM ベースのチップから、RISC-V の移行が加速するのかも Huami...
- Programming投稿日:約1分
Redshift スキーマの削除
DROP SCHEMA のデフォルトは RESTRICT なので、スキーマになにかテーブルなどが残されている場合は削除は実行されない。 スキーマの中身もまるっと削除したい場合は、 CASCADE を使う コマンド DRO...
- Programming投稿日:約1分
^@ NULL文字の削除
^@ null 制御文字の削除 vim で^@と表示されてなんなのかさっぱりだったがヌル文字だった。 コマンド