AWS DMSのFull loadを行いOracleからTarget Endpoint(S3)にparquetを出力

AWS DMSのFull loadを行いOracleからTarget Endpoint(S3)にparquetを出力

 AWS
Fundamentals of Data Engineering | 8.Transformation | Batch Transformationの要約

Fundamentals of Data Engineering | 8.Transformation | Batch Transformationの要約

 Note
HeapとStack

HeapとStack

 Note
Python datetime型の日時を変更せずにtimezoneをセットする

Python datetime型の日時を変更せずにtimezoneをセットする

 Note
SQLのWindow関数を使って特定のkeyでグルーピングしたレコードから、最上位の1件をそれぞれ取り出す

SQLのWindow関数を使って特定のkeyでグルーピングしたレコードから、最上位の1件をそれぞれ取り出す

 Note
Fundamentals of Data Engineering | 8.Data Modeling | Techniques for Modeling Batch Analytical Dataの要約

Fundamentals of Data Engineering | 8.Data Modeling | Techniques for Modeling Batch Analytical Dataの要約

 Note
CloudFormationでDMS Endpointを実装しSecrets Managerの値をtemplate内で使用する

CloudFormationでDMS Endpointを実装しSecrets Managerの値をtemplate内で使用する

 AWS
Fundamentals of Data Visualization | 4 color scales 要約

Fundamentals of Data Visualization | 4 color scales 要約

 Note
HARファイルの機密情報をmaskする

HARファイルの機密情報をmaskする

 Note
python oracledbを使って接続時にSID “xxxx” is not registered with the listener at host…が発生

python oracledbを使って接続時にSID “xxxx” is not registered with the listener at host…が発生

 Note