Fundamentals of Data Engineering (Convergence~Dataflow)要約と疑問

Fundamentals of Data Engineering (Convergence~Dataflow)要約と疑問

 Note
Glue Python Shellでpython-oracledbを使ってOracleへ接続

Glue Python Shellでpython-oracledbを使ってOracleへ接続

 AWS
ECRにCodeBuildからimageをpush

ECRにCodeBuildからimageをpush

 AWS
Glue Python ShellからRDS for Oracleを接続を試して断念

Glue Python ShellからRDS for Oracleを接続を試して断念

 AWS
dbt-glueを試してみた

dbt-glueを試してみた

 ETL
AWS DMSのエラーをSlackに通知する処理をCloud Formationで実装

AWS DMSのエラーをSlackに通知する処理をCloud Formationで実装

 AWS
SQLAlchemy yield_per でデータ取得ごとに処理をする

SQLAlchemy yield_per でデータ取得ごとに処理をする

 Note
AWS S3 exportで出力したparquetをGlueのDynamicFrameで読み込んだ際にハマったこと

AWS S3 exportで出力したparquetをGlueのDynamicFrameで読み込んだ際にハマったこと

 Note
Lambda(Python)でS3 batch operations のjobを作成

Lambda(Python)でS3 batch operations のjobを作成

 AWS
S3 bucketに変更があった場合のEventBridge検知

S3 bucketに変更があった場合のEventBridge検知

 AWS