Glue Python ShellからRDS for Oracleを接続を試して断念

Glue Python ShellからRDS for Oracleを接続を試して断念

 AWS
dbt-glueを試してみた

dbt-glueを試してみた

 ETL
AWS DMSのエラーをSlackに通知する処理をCloud Formationで実装

AWS DMSのエラーをSlackに通知する処理をCloud Formationで実装

 AWS
SQLAlchemy yield_per でデータ取得ごとに処理をする

SQLAlchemy yield_per でデータ取得ごとに処理をする

 Note
AWS S3 exportで出力したparquetをGlueのDynamicFrameで読み込んだ際にハマったこと

AWS S3 exportで出力したparquetをGlueのDynamicFrameで読み込んだ際にハマったこと

 Note
Lambda(Python)でS3 batch operations のjobを作成

Lambda(Python)でS3 batch operations のjobを作成

 AWS
S3 bucketに変更があった場合のEventBridge検知

S3 bucketに変更があった場合のEventBridge検知

 AWS
EmbulkでMySQLからデータ抽出&S3にparquetアップロード

EmbulkでMySQLからデータ抽出&S3にparquetアップロード

 ETL
EventBridgeで検知後Glue Workflowの処理を実行する

EventBridgeで検知後Glue Workflowの処理を実行する

 AWS
EventBridgeでRDSのsnapshot作成完了を検知する(Cloud Formation)

EventBridgeでRDSのsnapshot作成完了を検知する(Cloud Formation)

 AWS