AWSのDataSyncでデータ転送ペタバイトの大容量、暗号化、時間指定にも対応

AWSのDataSyncについてまとめています。

1 AWS DataSync オンプレ・AWS間の大規模データ高速コピーサービス
2 AWS DataSyncのまとめ

AWS DataSync オンプレ・AWS間の大規模データ高速コピーサービス

AWS DataSyncは、オンプレミスストレージシステムとAWSストレージサービス間で大規模データのコピーを簡単に自動化・高速化するオンラインデータ転送サービスです。AWSストレージサービス間のコピーにも対応。

対応するストレージシステムは、Network File System (NFS)、Server Message Block (SMB) ファイルサーバー、Hadoop Distributed File Systems (HDFS)、セルフマネージドオブジェクトストレージ、AWS Snowcone、Amazon Simple Storage Service (Amazon S3) バケット、Amazon Elastic File System (Amazon EFS) ファイルシステム、 Amazon FSx for Windows File Serverファイルシステムです。

単純に遠隔地にオンラインでデータを転送するだけではなく、暗号化や、コピー完了時の整合性チェックにも対応。すべてのデータが間違いなく転送できたかどうかチェックできるんですね。大規模なデータ転送はネットワークに負荷がかかるため、夜間など回線が空いている時間帯に転送を実行するよう、転送処理をスケジューリングすることもできます。また、いったん全データをコピーしたあとは、差分のみをデータ転送して遠隔地にレプリケーション（複製データ）を作成して同期させることもできるんですね。

転送対象から一時ファイルや一時フォルダを除外するフィルタリング機能があり、送信元からファイルのサブセットのみを転送することも可能です。

AWS DataSyncの使い方

AWS DataSyncを利用するには、データ転送元にエージェントと呼ばれる転送用のプログラムをインストールする必要があります。エージェントは、VMware、KVM、Hyper-Vなどの仮想環境が必要となるため、オンプレミス側の環境にこれらの環境があることが前提条件になります。なお、エージェントは80番ポートを使用して通信をおこなうため、エージェントをインストールしたサーバは80番ポート（httpプロトコルのデフォルトポート）が使用できなくなります。

AWS DataSyncの管理画面は、AWSマネジメントコンソールから開けます。

AWSマネジメントコンソールの検索欄に「DataSync」と入力し、検索結果のDataSyncを開きます。

管理画面にて、「Get started」をクリックします。デフォルトでは、「Create a data transfer task」は、オンプレミス→AWSへのデータ転送になっています。

この画面で選択できるプルダウンメニューの内容は以下のようになっています。

Between on-premises storage and AWS（オンプレミスストレージ→AWSストレージへのデータ転送）
Between AWS Storage services（AWSストレージ→AWSストレージへのデータ転送）

オンプレミス→AWSのデータ転送では、オンプレミスの環境にデータ転送用のプログラム（エージェント）を配置する必要があります。

この画面では、以下を設定します。

Deploy Agent （エージェントのデプロイ先）
Service endpoint（エージェントの接続先）
Activation key（エージェントのアクティベーションキー）

Deploy Agentでは、エージェントのデプロイ先として以下が選択可能です。ただし、データ転送元にデプロイする必要があるため、オンプレミス→AWSデータ転送の場合は、Amazon EC2は選べません。

VMware ESXi
Kenel-based Virtual Machine (KVM)
Microsoft Hyper-V
Amazon EC2

Serive endpoint（エージェントの接続先）では、以下が選択可能です。

Public service endpoints in 米国東部(バージニア北部)
FIPS service endpoints in 米国東部(バージニア北部)　暗号化モジュールを使用して接続
VPC endpoints using AWS PrivateLink VPCを経由してセキュアな接続

Activation keyでは、エージェントのデプロイ先のIPアドレスを指定するか、直接Activation keyを入力するかを選べます。

Automatically get the activation key from your agent　（エージェントから自動的にactivation keyを取得）
Manually enter your agent’s activation key（エージェントのアクティベーションキーを手動で入力する）

「Configure source location」画面にて、データ送信元の環境を設定します。

オンプレミス→AWSの転送の場合には、Location typeはNFSかSMBのみが選択可能。NFS Serverにはサーバのドメイン名かIPアドレスを、Mount pathには、NFSサーバのパスを入力します。

つづいて、送信先の場所の設定とタスク設定の構成をおこないます。タスク設定には以下のオプションが指定可能です。

データ検証オプション
所有権とアクセス許可に関連するオプション
帯域幅のオプション
フィルタリングのオプション
スケジューリングおよびキューイングオプション
タグとログオプション

AWS DataSyncの料金

AWS DataSyncの料金は、コピーされたデータのギガバイトあたりに対してかかります。米国東部（オハイオ）リージョンの場合、以下の料金がかかります。

コピーされたデータの AWS DataSync 料金　ギガバイト (GB) あたり 0.0125USD

また、Amazon S3やAmazon EFSなどのAWSサービスとの間で読み書きを行うためにリクエスト、ストレージ、データ転送に対して追加料金が課金されます。AWSからオンプレミスストレージいコピーする場合は、AWSデータ転送の標準料金、異なるリージョン間でAWS→AWSのコピーを行う場合、リージョン間のデータ転送とアベイラビリティゾーン間のデータの転送料金が追加で発生します。

具体的な見積もりは、AWS Pricing Calculatorで試算可能です。