EXAScaler

世界一のLustre®コントリビューター DDNによる機能強化/サポートを備えた
オープンソース並列ファイルシステム Lustre

人工知能(AI)、アナリティクス、そして高性能コンピューティング(HPC)により、世界中のあらゆる組織が、前例がないほどの速度と精度でデータからインサイトを得ることができるようになっています。また、データインテンシブなワークフローにより、基幹業務システムに割り当てるストレージインフラの強化が急務となっています。オンプレミスとクラウドの両方で、容易な拡張によりワークロード要件の変化に対応できる、極めて高い信頼性と性能が要求されるようになりました。
EXA5

データのグローバル管理による即時データアクセス
イノベーションと発見のためのシンプルさ

     
 人工知能(AI)

新たに登場したAIのユースケースが、成長志向のデータ管理戦略を推進しています。従来のストレージアーキテクチャでは不十分であったところ、EXA5は、パフォーマンス、スケール、データモビリティの課題にシンプルで信頼性の高い形で対応できるように最適化されています。エッジで収集されたデータからコアリポジトリ、マルチクラウド戦略の管理まで、EXA5はデータサイエンティストやAIイニシアチブのリーダーの生産性を加速させます。

高性能コンピューティング(HPC)

科学者やエンジニアは、複雑な問題をより速く解決するための新しい方法を常に追求しています。物理モデリング、石油/ガス探査、ゲノミクスなどのHPCワークロードは、複数のシステムから同時にアクセスされる大量のデータを処理します。EXA5はHPCワークロードに最適です。Lustreのスケーラブルな共有並列アーキテクチャを活用しており、世界中の大規模計算施設に最速のデータ配信を実現し、結果に至るまでの時間を短縮します。

クラウドベースの高性能アナリティクスを現実のものとするために

Google、Amazon、Azureなどのクラウドベンダーは、データサイエンスの概念実証や、オンプレミスリソースを超えた大量のワークロードを処理し、最終的には本番のワークロードを処理するための説得力のある機会を提供しています。

これまでは、計算リソースのコストが高くて利用率が低いことや、性能の高いクラウドストレージの高品質な技術サポートがないことから、標準的なサービスに適合しないAIやアナリティクスのワークロードが制限されていました。

EXA for Cloudは、クラウドワークロードのための最速のデータプラットフォームであり、クラウドリソースを最大限に活用します。DDNのサポートとエンジニアリングの技術的専門知識に裏打ちされたDDNは、AWS、Azure、GCP上のデータセンターでワークロードを実行するための完全な柔軟性を提供します。

EXA5 (EXAScaler 5.0) - 世界最先端のLustreソリューション

最先端のファイルシステムソフトウェア技術を駆使して開発および最適化されたEXA5は、極めて高い性能とスケーラビリティ、そして信頼性とシンプルさを実現します。
さまざまな機能強化を図ったEXA5により、データの規模を問わず、多岐にわたるデータインテンシブなワークフローを加速させることのできる真のグローバルデータプラットフォームを提供します。

完全に統合されたDDN EXAScalerアプライアンスは、世界最速のハイパーコンバージドデータストレージプラットフォームと、真の並列ファイルシステムソフトウェアをひとつのパッケージで提供し、大規模データ担当者による導入、管理、バックアップも簡単に実行できます。
EXA5は、柔軟なスケーラビリティにより技術面でもコスト面でもメリットをもたらす共有並列型アーキテクチャを採用することで、高スループット、低レイテンシ、そして膨大なデータの同時並行処理を実現します。

DDNは、過去20年以上にわたり、世界の中でも特に要求の厳しい環境において並列ファイルシステムソリューションを導入してきました。その経験を活かして提供される最高レベルの性能、機能、柔軟性により、膨大な量のデータ管理と、データからのインサイトの導出を可能にします。
EXA5

データ管理:自動化と最適化、そして安全性の確保を実現

EXA5 ダイアグラム 

EXA5では、DDNが独自に開発しDDNのアプライアンスのみにて提供される、データ管理および統合型ファイルシステムに関する複数の新機能が導入されています。

強力なデータオーケストレーションエンジンであるStratagemは、ポリシーベースの配置により包括的なデータレジデンシー管理をユーザーに提供します。

Hot Poolsは、高性能フラッシュと大容量ディスクの間で自動的にデータを移動し、効率的なストレージ利用を可能にします。

ネイティブT10-DIFが実装されているので、アプリケーションからディスクまで、完全性を保ちながらデータを処理できます。

EXA5は他にも20を超える新機能を備えており、オンプレミスとクラウドの両方で、要求度が極めて高いワークロードの導入を検討されているお客様に、他にはないユニークな価値を提供します。

EXA5を導入することで、これまで以上に多くのデータを作成、分析、保存できるようになるとともに、最高レベルの速度、精度、シンプルさを兼ね備えたプラットフォームがインサイト導出までの時間を短縮します。

Stratagem - データ自動化を推進するポリシーエンジン

Stratagem 

Stratagemは、迅速かつ効率的なデータ管理を可能にし、進化する需要に迅速に対応します。


・超効率的なネームスペーススキャン

・アクティブなデータをフラッシュ上で常に利用可能に保持

・最適化されたメディアへの自動ティアリング

・APIにより外部ツールとの連携が可能

他の製品では実現できない特徴と機能を提供

組み込み/コンバージド 完全統合型DDN EXA5アプライアンスで、シンプルさ、最高性能、低TCOを実現
インストール/設定ツール データマイグレーション、インストール、設定ツールでLustreへの移行を簡素化
エンタープライズの機能 シームレスな導入とスケーリング、高可用性設定、クォータ管理、データセキュリティとガバナンス管理、データ管理(バックアップ 、アーカイブ、マイグレーション、レプリケーション、同期)、ログとレポート
エンドツーエンドのデータ整合性 T10PI/DIX実装により、アプリケーションからディスクドライブまで、高い透明性でデータを保全
ゲートウェイノード NFS、SMB、S3プロトコルと完全に統合され、最適化されたサーバースケーラブルなHA設定
包括的な管理 DDN Insightによる設定とモニタリングソリューションで管理を容易に
シングルネームスペース 実際のデータ保存場所にかかわらず、アプリケーションとエンドユーザーにデータへのシングルビューを提供
Stratagem ポリシーベースのデータレジデンシー管理機能を有した、大規模データ管理とオーケストレーションのためのエンジン
ホットプール 自動データティアリングにより、コールドデータセットをフラッシュからハードディスク階層へ移動し、ホットデータをフラッシュ階層へ移動
包括的なクオータ 拡張ユーザー、プロジェクト、ディレクトリクォータの管理とレポート
データ オン メタデータ 小さいファイルを扱う性能と反応性を改善し、リソース効率を最大化
高いクライアント性能 すべてのI/Oサイズで、スループットとIOPS性能を最大化し、レイテンシを低減
ワークロードモニタリング 直感的なGUI経由のファイルシステムI/O分析をノードおよびジョブレベルで提供し、最適化を容易に
バックアップとアーカイブ DDN DataFlowとの統合により、信頼性が高くスケーラブルなマルチクラウドデータ管理ワークフローを実現
データマイグレーションと同期 DDNのターンキー大規模データ管理ソリューションとサービスを提供
コンテナ化されたワークロード コンテナネイティブクライアントで、コンテナ化されたアプリケーションへの真の並列データアクセスを提供
NVIDIA認証済み NVIDIAに合わせ最適化され認証された、DGX-1、DGX-2、POD向けのスケーラブルなリファレンスアーキテクチャ
GPUと深いレベルで統合 NVIDIA GPUDirect Storage技術を駆使した、包括的なGPU RDMA機能
AIとDLに合わせて最適化 一般的なディープラーニングフレームワークおよびGPUコンピューティングアプライアンスとの完全な相互運用が可能
パブリックおよびハイブリッドクラウドオプション Amazon Web Services (AWS)やGoogle Cloudが利用可能

DDNのLustreアプライアンスの性能と規模を備えた完全なマルチレベルセキュリティLustreソリューション

ソリューション概要

DDN EXAScaler®アプライアンスは、業界最高水準の密度、性能、および規模を誇る、集中管理された構成と管理を提供するアプライアンスです。
SE LINUXによる強力なセキュリティ基盤
Dockerによるコンテナ化によりユーザーデータを分離可能
Kerberos(ネットワーク認証プロトコル)によるユーザー認証
DDNは、2倍のパフォーマンス向上を実現する完全なソリューションを提供

ソリューション詳細

マルチレベルセキュリティ(MLS) Lustre ファイルシステムソリューションは、DDN独自の機能、DDNのハードウェア基盤、Lustreに特化した開発、および専門的なプロフェッショナルサービスを統合したソリューションです。

Lustre並列ファイルシステム
このソリューションフレームワークは現在、EXAScaler 3.xに実装されているDDN独自の機能に加えて、CentOS / Red Hat 7.2(SE Linux)および、インテル Enterprise Edition for Lustreのセキュリティ機能に基づいています。
Dockerコンテナのサポート
Dockerコンテナによる分離は、新しいセキュリティ機能の強化です。コンテナ上のLustreファイルシステムを実行すると、集中管理されたデータを特定の人/ホストのグループから分離する必要があるマルチテナント組織に必要な、きめ細かなセキュリティ分離技術が提供されます。 この機能により、標準のPOSIX ACLを超える追加のレベルのセキュリティが可能になり、Lustreクライアントノードを特定のLustreサブドメインに分離することができます。 Dockerコンテナのサポートは、インテル Foundation Edition for Lustre(Lustre 2.9)、CentOS / Red Hat 7.2以降で使用でき、DDN EXAScalerに統合されています。
Kerberos
SE Linux / マルチレベルセキュリティ(MLS)のセキュリティとDockerコンテナのサポートは、より強固で信頼性の高い認証のためのKerberosのサポートにより改善される可能性があります。 KerberosのサポートはLustre 2.8コードに統合されています。
専門的なプロフェッショナルサービスの関与
非常にセキュアなLustreファイルシステムのインフラストラクチャーの導入はプロフェッショナルサービス(PS)の働きがあってこそ実現します。 セキュアなLustreソリューションの実現のため、DDNのプロフェッショナルサービスは、顧客の環境を評価し、要件に最も適したソリューションを実装するように設計されています。 DDNプロフェッショナルサービスは、簡潔に評価を行い、プロジェクトの要件をお客様と話し合い、適切なアーキテクチャを導き出し、ソリューションを実装します。セキュアなLustre環境の構築にあたり、いかなるマルチレベルセキュリティ(MLS) Lustreソリューションの実装においても、プロフェッショナルサービスの関与が必要となります。

EXAScaler ご利用中のお客様

東京工業大学

15.9PBの実効容量を持つ、スーパーコンピュータTSUBAME3.0には、ES14KXストレージアプライアンスの3セットで構成された EXAScaler® Lustre並列ファイルシステムが使用されており、ピーク性能が150GB/秒となっています。

ToMMo

東北大学 東北メディカル・メガバンク機構

コストを抑えながらデータバイオバンク機能を増強し日本のゲノム医療研究を支える基盤ストレージ を 29PB という大容量に拡張されています。また、DDNストレージは、GPU 解析サーバ NVIDIA DGX-1 に接続され、解析サーバ上で動作する統合ゲノム解析ソフト Parabricks ともに、高いレベルの性能を実現しています。

東京大学

2016年から稼働を開始したXeon(Broadwell-EP)ベースのスーパーコンピューター、「Reedbush」に、Lustreベースの並列ファイルシステムが使用されています。

CEA(フランス原子力・代替エネルギー庁)

CEA(フランス原子力・代替エネルギー庁)

企業を支援し、公共部門の組織がアーキテクチャ、操作と情報システムとそのミッションクリティカルな関連事業の財務リターンを最適化する専用の情報技術会社です。

WCSS(ヴロツワフ・ネットワーキング・スーパーコンピューティング・センター)

WCSS(ヴロツワフ・ネットワーキング・スーパーコンピューティング・センター)

DDN Lustre環境を使用して、量子化学、理論物理、ライフサイエンス、地球科学、暗号、その他数多くの分野の1,000名を超える研究者コミュニティのために計算時間を短縮しています。

BAS(英国南極観測局)

BAS(英国南極観測局)

DDNと協力してLustreストレージソリューションを設計、導入し、将来の気候変動を予測するため の最大1.5PBのストレージ容量によって、世界的なデータの収集、分析、および連携を改善し、より小さい接地面積で10倍の容量増を実現しました。

米国オースティンにあるTACC(テキサス先端計算センター)

TACC(テキサス先端計算センター)

米国オースティンにあるTACC(テキサス先端計算センター) のCray、Dell、HPといったワールドクラスのシステムは、数万個のコアを、ペタバイトサイズのスクラッチスペースとセンター全体にまたがる DDNストレージに接続しています。

EXAScaler アプライアンス →

関連情報

  • Japan Lustre User Group 2020 イベントレポート

     

    ユーザーグループ10周年を迎え、国内で拡大するLustreコミュニティと最新事例

  • Japan Lustre User Group ウェブサイト

     

    Lustre ユーザーグループの紹介、JLUG アジェンダ、これまでの歴史等

  • Japan Lustre User Group レポート

     

    過去のLustre User Groupの講演資料、動画はこちらから

  • 開発とコントリビューションを通じ Lustreの進歩を促進

     

    HPCwire掲載記事ーLustre2.10の新機能と今後の開発計画

お問い合わせ・資料請求はこちらよりお願いいたします。