DDNのストレージソリューションが提示するAI時代に求められるデータ基盤の最適解 Vol.2
DDNのストレージソリューションが提示するAI時代に求められるデータ基盤の最適解 Vol.2
AI活用で様々な有効性を発揮するストレージソフトウェア「EXAScaler」
A3Iソリューションには、AIおよびHPC向けに最適化されたDDNのストレージソフトウェア「EXAScaler」が実装されています（図3）。
これはDDNがストレージシステムとして長期にわたり提供してきた並列ファイルシステム「Lustre」をコアとしたものです。性能と拡張性に優れたLustreはHPCのファイルシステムとして確固たるポジションを獲得していますが、EXAScalerはLustre にDDN独自のAIワークロードのパフォーマンスの最適化、データ、ユーザー、サービス管理の機能を追加した統合ストレージソフトウェアです。その優位性について説明します。
1つが、ハイパフォーマンスな、コンテナオーケストレーションシステム「Kubernetes」のサポートです。今やコンテナ技術はAIシステムで不可欠なものとなっていますが、このKubernetes に対して、EXAScalerのCSI（Container Storage Interface）ドライバーはコンテナの永続的ボリュームを提供します。さらに、永続的ボリュームは並列ファイルシステムと同じ名前空間を持てるため、容易にデータの共有が可能となります。
また、マルチプロトコルに対応していることもEXAScalerの特長で、Lustre のネイティブクライアントに加え、
NFS、SMB およびS3等もサポート。
Windows環境、またはLustreが利用できない環境からも同じ名前空間にアクセスできます。
さらに、データサービスノードの追加によりスケールアウトも可能で、データサービス自体の性能を向上させることもできます。
運用管理面で威力を発揮するのが、EXAScaler I/O モニタリングです。リアルタイムでのI/O性能のモニタリングに加え、ファイルシステムの性能のほか、ユーザー、アプリケーション、クライアント別にI/Oの統計情報を取得できるので、管理者は問題の迅速な検知をはじめ、I/Oパターンやワークロードの特長を把握することで、アプリケーションの最適化を図れるようになります。
図3 AIおよびHPC向けに最適化されたストレージソフトウェア「EXAScaler」
NVIDIA SuperPODで大規模検証済み、数々の先進的なAIプラットフォームで導入を加速
A3I ソリューションおよびEXAScalerは、NVIDIA SuperPODで検証されており、NVIDIAのAIスーパーコンピューター「Selene」のメインストレージとして採用されています。Seleneは2021年6月のTop500のリストでNo.6にランキングされる非常に高性能なAIスーパーコンピューターですが、40台の
DDN A3I AI400X アプライアンスを採用することで、最大2TB/secのスループットと1.2億 IOPSという非常に高い性能を示しています。
なお、SuperPOD上で行われたA3IソリューションおよびEXAScalerの大規模検証の結果は、NVIDIAおよびDDNからリファレンスアーキテクチャ、もしくはブループリントとして提供されています（図4）。
このようにHPCの領域のみならず、AIの分野においても優れた性能と機能性を提供するDDNのストレージシステムは多くのAIプラットフォームで活用されています。自動運転の研究基盤や新薬の研究開発での導入事例をはじめ、コミュニケーションツール「LINE」で知られるネイバー社もSuperPODを採用したAIプラットフォームを構築。音声認識や画像認識、人工ニューラルネットワークによる翻訳サービスの提供を実現するなど、自社が展開する数多くのAIサービスや研究プロジェクトを強化させています。また国内では、産官学におけるAI研究開発を加速させるための、国立研究開発法人 産業技術総合研究所によるスーパーコンピューターシステム「AI橋渡しグリーンクラウド基盤」において採用されており、DDNのLustre並列ファイルシステム搭載のストレージシステムと計算ノードを追加したことで、演算性能を従来のクラウド基盤から2倍に引き上げています。
図4 NVIDIAとDDNによるベンチマークと検証結果レポート
https://ddn.co.jp/ddn_channel/resource-library.html
DDNはこれまでもHPCを中心とした大規模ストレージシステムを数多く提供してきました。さらに、NVIDIAとのパートナーシップによってAIストレージシステムに必要な最適化、効率化、高速化、さらに低コスト化をあらゆる分野で実現しています。また、スムーズな運用を支援する保守体制も合わせて提供しており、すべてのデータサイクルのステージに対する共通のAIプラットフォームとして提供可能となっています。
AIプラットフォームのストレージシステムに関してお悩みがありましたら、ぜひDDNにお問い合わせください。
お問合せはこちらから。 https://ddn.co.jp/contact.html
*DDNのストレージソリューションが提示するAI時代に求められるデータ基盤の最適解 Vol.1はこちらから
