やったこと
以前EC2にAirbyte0.63をinstallしていたのですが、version1.0.0がリリースされたと聞いて
AWS EC2にAirbyte version1.1.0をinstallしてみました
version1以降をinstallするためにはabctlと呼ばれるツールを使うらしいです
Quickstart | Airbyte Documentation
基本的にこのサイトに沿ってやればAirbyte 1.1.0をinstallできましたが、つまずいた箇所を残しておきます
なお2024/10/11時点の情報です！
実際のコマンド
# yum install
sudo yum update -y
sudo yum install -y amazon-ssm-agent docker git-all
# Start Docker and allow ec2-user to use Docker
sudo service docker start
sudo usermod -a -G docker ec2-user
# Set Docker Compose version
DOCKER_COMPOSE_URL="https://github.com/docker/compose/releases/download/v2.26.1/docker-compose-$(uname -s)-$(uname -m)"
echo "Downloading Docker Compose from: $DOCKER_COMPOSE_URL"
# Download Docker Compose
sudo curl -OL "$DOCKER_COMPOSE_URL"
sudo mv docker-compose-$(uname -s)-$(uname -m) docker-compose
sudo chmod +x docker-compose
# Install Airbyte
curl -LsfS https://get.airbyte.com | bash -
sudo abctl local install --low-resource-mode
sudo abctcl versionつまずいた箇所
SSH接続できない or Airbyteがまともに動いていない
「EC2のinstance typeもしくは、Storageが足りてない」が原因でした
instance typeをt3.large 、Volume sizeを100GiB に設定することで正常にairbyteが稼働するまでを確認できました
sync処理が終了しない
Airbyteのsource, destinatoin, connectionの設定が完了して、syncを実行したところ処理が完了せずtimeoutしました(2回のretry処理もエラー)
Warning from replication: Airbyte could not start the sync process. This may be due to insufficient system resources. Please check available resources and try again.解決策
--low-resource-mode オプションをつけてabctlを再installすることで解消しました
$sudo abctl local uninstall
$sudo abctl local install --low-resource-modeまとめ
abctlでairbyteをinstallすることは可能でしたが、まだまだ躓く箇所は多そうです
ハマった時に何度かAirbyteコミュニティのSlackを漁ってみましたが、結構同じ質問をしている方が多く、解決に至ることも、一方「今はその機能ないのか…」と諦めを決心できるのでオススメです！
メンバー登録は面倒ですが、これからガッツリAirbyteを使う方は必須かと思います
