AWS S3 sync | 石川事務所 ITエンジニアブログ ~高い付加価値提供のため~

石川事務所 ITエンジニアブログ ~高い付加価値提供のため~

IT技術ブログです。日々の仕事から得た技術や知識について記述していきます。

テーマ:

お客様からの依頼で、あるアカウントのインフラと自分がメインで使用しているインフラを統合したいというものがありました。お客様がそこでインフラの作業を細分化してくれてAWSのプロダクトを作る範囲をしっかりと切り分けてくれました。

その中に、現行で使用しているS3バケットの内容をコピーしてほしいというものがありました。
サイズはSTGが約500GB、PRDが約1TBありました。

S3の利用価格で同じリージョン内のオブジェクト転送は無料 とマニュアルにありました。費用面は問題ないです。
ただ、懸念するべきはコピーするときの方法ですね。一旦ローカルにダウンロードして、それをアップロードするにはサイズが大きすぎて時間がかかります。

そこで、aws cliコマンドの「aws s3 sync」を使いました。
これは、送信元と、送信先のバケットの内容を同期するというものです。「送信元になくて、送信先にあるオブジェクトの削除」および「オブジェクト名は同じでもタイムスタンプが新しければコピーする」という便利なオプションがついています。

 

ただ、お客様の環境はaws-vaultを使っているためそのキーチェインの有効期限を伸ばさないとコマンドの実行中にトークンが期限切れをして突然停止することが懸念されます。(※syncなので再び実行すれば問題はないのですが。)

それもこの文献で解決できました。

 

一度コマンドを実行したら時々確認して、ほぼ放置となりますが、他の仕事に着手できます。
いやー良かった。

 

 

AD