IME

アプリケーション認識型I/Oアクセラレーションおよびバーストバッファ

スーパーコンピューティング・センターや政府機関、金融サービスやライフサイエンス等の商用HPCに最適

I/Oボトルネックがもたらす課題や非効率からの解放

今日、アプリケーションや計算機が要求する性能は、ストレージテクノロジーが提供可能な能力を越え、ストレージやファイルシステムのI/Oにボトルネックを生じさせています。

システム環境やアプリケーションが高速化し、規模も拡大するなか、I/Oの競合およびレイテンシの悪影響が拡大しています。HPCでは並列ファイルシステムのボトルネックが非常に深刻化しており、他の環境であればSSDの大規模な導入で実現できる大幅な高速化が、クラスタ化されたコンピューティング環境においては実現不可能になっています。そのため、HPC環境においても相変わらず、主にHDDが、パフォーマンス集約型のアプリケーションに必要な巨大な帯域幅とIOPS性能を支える結果になっているのです。このアプローチは非常に効率が悪く、容量の過剰なプロビジョニングとハードウェアの分散化を引き起こすことが少なくありません。

その他にも、コンピュータクラスタ全体および並列ファイルシステムのパフォーマンスを低下させる要因は無数にあります。混在型I/O、「問題アプリケーション」の断片化したデータパターン、アプリケーションのコアを使い果たしてしまう膨大なデータセットなどです。

現状を打破し、技術的ブレークスルーをもたらすIME

これらの課題を克服するために、DDNのIME14Kが情報の保存方法、計算機の情報へのアクセス方法に革命を起こします。IMEソフトウェアでは、計算機のすぐ隣の非常に高速の共有不揮発性メモリ(NVM)にデータが置かれます。

この新しいデータの近接性により、IMEソフトウェアの革新的な高速データ通信レイヤーが、今日の並列ファイルシステムにつきもののファイルのロック競合なしにデータを受け渡せるようになり、レイテンシが大幅に削減されます。

統合を容易にするために、IMEでは一般的なプロトコルを使用し、アプリケーションと並列ファイルシステムの双方に対して透過性を持っているため、コード変換が必要ありません。

IMEは、これまでに存在しなかった高速化および効率化を実現するよう設計された、強力なバーストバッファであり、多次元的なソリューションです

IME14Kの登場で、大規模データ集約型環境においても、未活用の計算資源を活用することができ、より多くのアプリケーションを実行できるようになります。これにより、I/Oボトルネックが最小限に抑えられ、アプリケーションおよびファイルシステムが高速化され、効率とパフォーマンスの向上が実現します。同時に、ストレージクラスタでよく見られる性能の不安定さが改善します。

IMEとは?

 

バーストバッファ
最もコスト&スペース効率の高い、ピークパフォーマンスのプロビジョニング方法

並列ファイルシステム高速化
レイテンシを下げ、POSIXのボトルネックを排除

アプリケーション最適化
上手く配置されていないI/Oをコード変換なしにストライピングされた Write に動的に調整

コアの拡張
DRAMと異なり、テラバイト、ペタバイトクラスの高速でコスト効率の高いNVMを備えたIMEなら、どんな巨大なデータセットにも対処可能



IME 機能

Write を高速化するバーストバッファ
膨大なアプリケーションデータを、ファイルシステムよりはるかに速くIME14K NVMeのソリッドステートキャッシュに吸収
ファイルシステム高速化およびアプリケーション最適化
IMEがアプリケーションのI/Oを整理し、キャッシュから長期ストレージへのデータ移動を最適化(やや高額なキャッシュとしての購入が可能)
Read に最適化されたアプリケーションI/O高速化
IMEアプライアンスの帯域外API設定によりリードとライトの両方を最適化し、より多くのジョブを同時処理して、ジョブの処理時間を短縮し、アプリケーションのランタイムを大幅に短縮。IMEにはAPIとジョブスケジューラーが実装されており、キャッシュをプレステージングしておくことで、新たなジョブに対しても最初のリードを加速することが可能

IME 特徴

結果を出すまでの時間を短縮
ワークフロー、アプリケーション、ボトルネックとなっているI/Oを加速します
データの増大負荷を軽減
従来のストレージハードウェアを減らして環境を集約します
計算機のROIを向上
I/Oの待ち時間を削減して他の計算に活用できます

IME 導入形態

IME 240

       標準的なサーバー上でI/Oパフォーマンスを最適化し、小さく始めてスケールアウト

IME240は、標準の2Uコモディティストレージサーバーシャ​​ーシを使用し、I/Oパフォーマンスをブロックするコンポーネントを排し、超低遅延のInfiniBand接続を追加しました。このプラットフォームは互換性検証済みです。IME240は、20GB/秒という、上記のIME14KXよりも小さい帯域のユニットではありますが、IMEが提供するI/O、アプリケーション、ファイルシステムの高速化を実現できます。

IME ソフトウェア

       ソフトウェア版

導入の柔軟性を最大限に高める環境では、IMEはソフトウェアとして使用できます。 IMEソフトウェアは、サポートされているハードウェアにIT上の制限がある環境に最適です。IMEソフトウェアは、既存のハードウェアを再利用するための柔軟性が求められる、オープンプラットフォームの要件を満たしています。最も重要なのは、IME14KX、IME240、またはソフトウェアのみを使用するかどうかにかかわらず、IMEは特定のサーバーまたはストレージハードウェアベンダーにロックされていない業界唯一のバーストバッファであるということです。 DDNのIMEで、システム環境を思うがままに選択できます。

導入事例

日本最速のスーパーコンピュータは、IMEバーストバッファを活用し1.5TB/sの性能のファイルシステムを運用中
SC16での、筑波大学 計算科学研究センター 教授 建部修見氏による、最先端共同 HPC 基盤施設(JCAHPC)の「Oakforest-PACS」25 Pflops システムの紹介ビデオ

仕様

フォームファクター 2U ラックマウント型
プロセッサー デュアル Intel E5-2600 シリーズ
メモリ 128GB (8 x 16GB DDR4-2400 RAM)
ドライブベイ

24 x ツールレス 2.5インチ ドライブベイ(1スロットはIME Commit Log用に専有)

データドライブ

最大23 x NVMe データドライブ  1 NVMe SSD につき容量1.2TB〜

システムドライブ

2 x 2.5インチ、1TB、SAS3.0 12GB/秒、7.2K RPM

ネットワーク

2 x InfiniBand EDR/FDR または 2x 10/40/100GbE Ethernet または 2 x Intel® Omni-Path

システム管理

IPMI 専用ポート(RJ45)

電源

1600W 冗長電源(100-200V対応 、80 PLUS Titanium 認証、ホットスワップ対応 )

ファン

4 x 冗長冷却ファン(ホットスワップ対応)

パフォーマンス

シーケンシャル リード・ライト 最大 22GB/秒 (EDR/OPA)

対応ファイルシステム

DDN EXAScaler

ソフトウェアの特徴

  • I/Oインターフェースとして POSIX API、MPI-I/O IME ネイティブAPI に対応

  • イレイジャーコーディング(クライアントサイド): ​N (データ)+M (パリティ)

  • IMEクライアントユーティリティ(マイグレーション、プレステージ、リリース等)

  • マルチレールサポート

サイズ

W x H x D: 437 x 89 x 705 mm

最大重量

34Kg(パッケージ含む、ラック除く)

最大電力

1076W (23ディスクによる最大構成)

動作温度

10℃ - 35℃

動作湿度

8% - 90% (ただし露結しないこと)

認証

UL/cUL/CB/BSMI/CE/CCC, RoHS

資料

「バーストバッファ型IOアクセラレーション製品 DDN IMEのご紹介」

出典:日本計算工学会「計算工学」Vol.21, No.4


IME ソフトウェア

お問い合わせ・資料請求はこちらよりお願いいたします。