AWS で使えるローカルストレージと NFS ストレージを一通り試してみました。
GCP 編はこちら。

About

ベンチマークは fio コマンドで取得した。
機械学習のワークロードで扱う機会が多い、CSV のような小さめのテキストファイルとマルチメディアファイルを想定して 4k と 32m のデータで測定した。

普段、会社でやっている ML Ops 業務の振り返りを兼ねて最低限必要そうな Amazon VPC 構成用の Terraform Module を作りました。
そして Module には"最小構成"の機械学習環境を作るサンプルを同梱しています。

私が所属しているDeNA AI システム部の部内勉強会で Docker と XaaS（ザース）の話をさせていただいたので資料を公開します。
XaaS（ザース）は IaaS, FaaS, SaaS などの総称です。

本業の傍ら会社の技術 Blog リニューアルに携わっており、概要を Advent Calendar で「DeNA Engineers’ Blog をリニューアルしている話」として書きました。
「DeNA Engineers’ Blog をリニューアルしている話」ではコンセプトや進め方を中心に書いたので、この記事でもう少しシステム面を書いておきます。
ついでに会社の引き継ぎ資料にしてしまおうという目論見があります。

前回の記事に続いてマネージド Jupyter サービスAmazon SageMakerの Notebook インスタンスに EFS のボリュームを自動マウントする。

なおこの発言の真意ですが、Kaggle 社内ランク制度なるものができ部内に Kaggler な方が増える今日この頃、インフラ的な細かな作業に気持ちと時間を取られずにスコアを叩き出していただきたいという意図です。
SageMaker の Terminal すら開かずに使えてほしい。

おれは
kaggle masterに
sedとかmountとか
叩かせたくないんや！

Amazon SageMakerを使っていて Notebook インスタンスから以下を行いたくなったので構成を考えてみた。

• Notebook インスタンスから外部システムにアクセスしたい
  • 対象のシステムはアクセス制限を行なっており接続元 IP アドレスを固定したい
• Notebook インスタンスマネージド NFS サービスであるAmazon EFSをマウントしたい
  • VPC 内のインスタンスからはマウントできるよう設定済み

解答

AWS Machine Learning Blogに正解が書いてあった。

画像や音声を S3 にアップロードすると Lambda でいい感じに前処理をして SQS に通知くれるような仕組みを想定して作ってみる。
名前は仮に「media-processor」とした。
(が、今回はファイル名やファイルタイプを SQS に送るダミー機能まで)

AWS のマネージド Jupyter サービスである「Amazon SageMaker」を数十名規模で使う機会があったのでインフラ的に設定した内容などを書いておく。
SageMaker で何をしたかなどはいずれちゃんとした情報が出ると思う。 出ました！
=> Amazon SageMaker ハンズオンレポート

タイトルの通り「AWS Key Management Service (AWS KMS) 」を使って暗号化した Amazon S3 バケットを s3fs で Ubuntu 16 上で mount した。
KMS については以下のドキュメントが詳しいが要は暗号化の際に煩雑な鍵の管理を AWS にお願いできる仕組み。

「Terraform で S3+CloudFront+SSL/TLS 証明書 w/ ACM を設定して Hugo で作った static な Web サイトを CircleCI で自動 deploy する」やつができた。

できたもの

普通のいかにもHugoで作った Web サイトができた。
もう 2018 年なので手オペなどせず Infrastructure as Code で構築かつ CI でコンテンツ deploy です。
中身はまだない。
きっと酒とメシについての何かが書かれるのでしょう。