AWSストレージ概観

AWS で使えるローカルストレージと NFS ストレージを一通り試してみました。 GCP 編はこちら。 About ベンチマークは fio コマンドで取得した。 機械学習のワークロード

GCPストレージ概観

GCP で使えるローカルストレージと NFS ストレージを一通り試してみました。 AWS 編はこちら。 About ベンチマークは fio コマンドで取得した。 機械学習のワークロード

安全かつ最小にTerraformでGPUサーバーを起動する(AWS編)

普段、会社でやっている ML Ops 業務の振り返りを兼ねて最低限必要そうな Amazon VPC 構成用の Terraform Module を作りました。 そして Module には"最小構成"の

安全かつ最小にTerraformでGPUサーバーを起動する(GCP編)

普段の仕事でやっている ML Ops 業務の振り返りを兼ねて最低限必要そうな VPC 構成用の Terraform Module for GCP です。 Module には"最小構成"の機械学習環境

AI時代のDocker + XaaS簡単理解

私が所属しているDeNA AI システム部の部内勉強会で Docker と XaaS(ザース)の話をさせていただいたので資料を公開します。 XaaS(ザース)は IaaS, FaaS,

「Container Build Meetup #02」に行ってきた #container_build

「Container Build Meetup」に参加してきました。 Container Build Meetup #2 - connpass タイムテーブル 分刻みですね。 なお開始時点で「予定のタイトルでしゃべる人は

Docker Hubからハッシュ化パスワードとGitHubトークンが漏洩

tl;dr 公式に以下の情報が出た。 Docker - Unauthorized access to Docker Hub database Docker Hub のデータベースがクラックされ以下が流出した可能性がある ユーザー ID, ハッシュ化されたパスワード, GitHub/Bitbucket

仕事の振り返り(2019.04)

ここ何年か DeNA という会社で働かせていただいてます。 今月 4 月に異動したこともあり棚卸し的にやってきたことを振り返ってみました。 4 月からは「AI 本

GitHub+CircleCI+S3でNoOpsなBlogを構築した

本業の傍ら会社の技術 Blog リニューアルに携わっており、概要を Advent Calendar で「DeNA Engineers’ Blog をリニューアルしている話」として書きました。 「DeNA Engineers’ Blog をリニ

docker-composeでWebアプリ開発する環境をまとめた(Rails, Flask)

最近、Mac などのローカルには極力 rbenv などをインストールせずにできる限り Docker コンテナ上に開発環境を作ろうとしています。
開発中はdocker-composeを使っているのですが、いろいろなリポジトリに似たような docker-compose.yml が増えてきたのでテンプレート代わりにまとめました。
リポジトリはこちら。

GitHub repository

#gc_k8sday "Google Cloud Kubernetes Day"に行ってきました

3/26 に開催された「Google Cloud Kubernetes Day」に当選したので参加してきました。 最前列でひたすらメモったので放出しておきます。 Program こんなプログラムでし

このブログのテーマがHugo Themesに載りました!

このBlog用に作ったHugoテーマ「techlog-simple」をHugoのテーマサイトに載せていただきました。やったね 🎉 Techblog Simple is a Bootstrap-based blog theme

AWS/GCPのWeb ConsoleをNativefierで専用アプリにする

sandbox 用の AWS アカウントと GCP プロジェクトを作ったついでにそれぞれの Web 管理画面をNativefierで専用アプリにした。 GCP プロジェクトは https://console.cloud.google.com/home/dashboard?project=YOUR_GCP_PROJECT_ID のように URL

Packerを使ってECRとGCRに同じDockerイメージをPushする

自分用の ML 環境として Docker イメージを作っていたのだが、 FROM: nvidia/cuda:9.2-cudnn7-devel-ubuntu18.04 なので DockerHub で public にするのも憚られ、ECR/GCR に置くことにした。 ECR/GCR に置くついでに packer build だけ

Hugo 0.42 からSpeaker Deck貼付はshortcodeではなくembed codeを使う

tldr: Hugo 0.42 以降で Speaker Deck のスライドを貼り付けるときは Speaker Deck の embed code を使いましょう。 ある日 hugo server が実行できなくなった Hugo のバージョンを上げてこの blog の原稿を開い

tmuxとzshのススメ

tl;dr

  • Terminal.appSSH のような CUI で作業するときは tmux 使うと便利
  • tmux 使うときはシェルを zsh にすると便利

サーバーサイド開発をやってる人には今更な話ですけど最近何度かオススメする機会があったので記事を書くことにしました。
以下、私の使い方を説明しているだけで特に目新しい話はありません。

「TD Tech Talk 2018」で分析基盤の話をさせていただきました

「PLAZMA Data Platform Day: TD Tech Talk 2018」というイベントにお招きいただいたので「2020 年代に向けた DeNA の分析基盤 」というお話しをさせていただきまし

Amazon SageMaker実運用: "Lifecycle Configuration"でEFSを自動マウント

前回の記事に続いてマネージド Jupyter サービスAmazon SageMakerの Notebook インスタンスに EFS のボリュームを自動マウントする。 なおこの発言の真意で

Amazon SageMaker実運用: NAT GatewayでNotebookの接続元IPアドレスを固定する

Amazon SageMakerを使っていて Notebook インスタンスから以下を行いたくなったので構成を考えてみた。 Notebook インスタンスから外部システムにアクセスしたい 対

このWebサイトの見た目をちょっとまともにした

この Web サイト( https://mazgi.github.io/ )は専用の Hugo テーマで公開しているのだけど色々基本的なところが足りていなかったので直した。 一覧ページ(list.html) Hugo テ

S3 + Lambda + SQSでファイル処理する仕組みをTerraformで構築する

画像や音声を S3 にアップロードすると Lambda でいい感じに前処理をして SQS に通知くれるような仕組みを想定して作ってみる。 名前は仮に「media-proc

Amazon SageMakerをそれなりの人数で使うときの設定

AWS のマネージド Jupyter サービスである「Amazon SageMaker」を数十名規模で使う機会があったのでインフラ的に設定した内容などを書いておく。

SSE-KMSで暗号化したS3バケットをs3fsでmountする

タイトルの通り「AWS Key Management Service (AWS KMS) 」を使って暗号化した Amazon S3 バケットを s3fs で Ubuntu 16 上で mount した。 KMS については以下のドキュメントが詳しいが要は暗号化の際

S3 + CloudFrontをTerraformで設定してCircleCIで更新する

「Terraform で S3+CloudFront+SSL/TLS 証明書 w/ ACM を設定して Hugo で作った static な Web サイトを CircleCI で自動 deploy する」やつができた。 できたもの 普通のいかにもHugoで作った Web