dbt-glueを試してみた

やったこと

• Build your data pipeline in your AWS modern data platform using AWS Lake Formation, AWS Glue, and dbt Core に記載されているDatapipelineを作ってみた
• Glue CatalogのViewもdbtから作成できるか試してみた

Datapipelineをdbt-glueで構築

所感

基本この記事に書いてある通りに進めればほとんどつまずく箇所がなく完成しました

今回既存のLake Formationの設定は無しだったので、既にLake Formationの設定が入っているシステムに組み込む場合は色々とつまずくかも。。。

便利そうだけどdbt-glueを使っている事例はあまり見かけない印象

docについて

CloudShellから実行してもlocalhostでdocは見れないので、

dbt docs serve --profiles-dir profile の実行はソースをlocalに落としてきて試すしかなさそうでした

Viewがうまく生成されていない

dbt_project.ymlをイジってviewを生成できるか試しました(test_view_metrics1)

models:
  stdtokamoto:
    # Config indicated by + and applies to all files under models/example/
    test_metrics1:
      materialized: table
    test_metrics2:
      materialized: table
    test_view_metrics1:
      materialized: view

dbtは正常終了し、DataCatalogにはviewらしきものが表示されています

しかしAthenaのtables and viewsに表示されていなかった

これは….どういう状態だ…

少し調べてみましたが、githubのdbt-glue にもそれらしいissueは見当たらず

原因はわからないままです(また進捗があったら投稿します！)

まとめ

• Build your data pipeline in your AWS modern data platform using AWS Lake Formation, AWS Glue, and dbt Core に記載されているDatapipelineは簡単にできた
• viewは正常に生成できるか不明
• demo用のソースから独自のテーブル名への変更やDBの追加をしていくと、dbtの理解が深まりました