GCP で使えるローカルストレージと NFS ストレージを一通り試してみました。
AWS 編はこちら。
About
ベンチマークは fio コマンドで取得した。
機械学習のワークロードで扱う機会が多い、CSV のような小さめのテキストファイルとマルチメディアファイルを想定して 4k と 32m のデータで測定した。
なお、ストレージタイプごとの傾向をざっくりと知りたかったので性能を引き出すような設定や調整は行なっていない。
また以下の理由で IaaS のストレージを厳密に測定してもあまり意味はないと考えている。
- IaaS のリソースはシェアされているので他のユーザー(テナント)の影響を受ける
- 非公開な仕様が特に告知なく更新される(バス幅や各種ストレージの物理仕様など)
試したストレージは以下。
Local SSDは存在を忘れていて試していない。。
- Persistent Disk(ローカルブロックデバイス)
- Cloud Filestore(マネージド NFS サービス)
Results
以下の通り Terraform による IaC で provisioning した。
https://github.com/mazgi/terraform-google-simple-vpc/tree/v2019.06.1/examples/multiple-volumes
結果はこちら。
https://gist.github.com/mazgi/21f85139e50fbce8e508adc0c4985f4f
結果をテーブルにまとめた。
Persistent disks
SSD が思ったより早くない。
Standard(HDD)は個人的には使えるシチュエーションがかなり限られそう。。
| type | r/w | rand/seq | IOPS 4k | ,32m | BW/s 4k | ,32m |
|---|---|---|---|---|---|---|
| PD (standard) | r | rand | 205 | 3 | 822KiB | 116MiB |
| PD (standard) | w | rand | 1537 | 2 | 6152KiB | 71.4MiB |
| PD (standard) | r | seq | 4907 | 3 | 19.2MiB | 116MiB |
| PD (standard) | w | seq | 2503 | 2 | 9.78MiB | 71.5MiB |
| PD (ssd) | r | rand | 3521 | 7 | 13.8MiB | 242MiB |
| PD (ssd) | w | rand | 2666 | 2 | 10.4MiB | 71.2MiB |
| PD (ssd) | r | seq | 4579 | 7 | 17.9MiB | 242MiB |
| PD (ssd) | w | seq | 2808 | 2 | 10.0MiB | 71.5MiB |
Cloud Filestore
おかしい、ローカルストレージ(PD)より明らかに早い。
キャッシュか何かの設定を誤ったのだろうか、あるいはネットワークの先に何か得体の知れないものが存在している?
| type | r/w | rand/seq | IOPS 4k | ,32m | BW/s 4k | ,32m |
|---|---|---|---|---|---|---|
| Filestore (standard) | r | rand | 15.9k | 42 | 62.1MiB | 1362MiB |
| Filestore (standard) | w | rand | 918 | 3 | 3673KiB | 107MiB |
| Filestore (standard) | r | seq | 16.2k | 42 | 63.4MiB | 1352MiB |
| Filestore (standard) | w | seq | 931 | 5 | 3725KiB | 170MiB |
| Filestore (premium) | r | rand | 14.1k | 49 | 54.9MiB | 1575MiB |
| Filestore (premium) | w | rand | 820 | 5 | 3283KiB | 167MiB |
| Filestore (premium) | r | seq | 13.6k | 57 | 53.1MiB | 1843MiB |
| Filestore (premium) | w | seq | 841 | 6 | 3366KiB | 199MiB |
That’s all
雑に試したら頭抱える結果になったので改めてちゃんと測ります。
今回のベンチマークは「インターネットや AI を活用し、世の中にデライトを届けていく」dena.aiの提供で実行させていただきました。感謝 🙏