Databricks on AWSを触り始めたので、学んだことを残しておきます
特にAWS上でデータ基盤を構築してきた人がDatabricksにとっつきやすくなるような記事を書くことを心がけます
問題
「Databricksの無料トライアル期間中だから」と安心してdatabricksをアホみたいな顔で触り始め、AWSの請求料金が大変なことになりました
Databricksを動かした次の日、EC2-Instances (Elastic Compute Cloud – Compute)の請求料金が結構かかっている
今回は費用を極力抑えるための設定箇所を紹介します
設定箇所
- All-purpose compute
- Node typeを最低限に設定
- 自動停止設定を最低限に設定
- SQL Warehouse
- Cluster sizeを最低限に設定
- 自動停止設定を最低限に設定
All-purpose compute
Unity Catalogでデータ読み込みする時などに使われるcompute
設定場所は下記の2パターン
– ComputeからCreate computeを新規作成時
– 既存のcomputeを選択してEditから設定値の変更
All-purpose computeで設定変更するべきものはNode typeと自動停止時間の2項目
policyの項目でpersonel computeを選択した場合初期値が4320になる(迷惑だ…)
今回はNode typeをi3.xlarge, 自動停止を30分後に設定しました
SQL warehouse
おそらくSQL Editorでデータを読み込む時に稼働するcompute
設定場所はCompute –> SQL warehouse
All-purpose computeと同じくNode typeと自動停止時間の2項目を設定変更
下記はEdit画面
今回はNode typeをi3.xlarge, 自動停止を30分後に設定しました
まとめ
雑い記事ですが誰かの役に立てば嬉しいです！
他に見つけたら追記します
