IME ソフトウェア

アプリケーション認識型I/Oアクセラレーションおよびバーストバッファ

スーパーコンピューティング・センターや政府機関、金融サービスやライフサイエンス等の商用HPCに最適

       I/Oボトルネックがもたらす課題や非効率からの解放

今日、アプリケーションや計算機が要求する性能は、ストレージテクノロジーが提供可能な能力を越え、ストレージやファイルシステムのI/Oにボトルネックを生じさせています。

システム環境やアプリケーションが高速化し、規模も拡大するなか、I/Oの競合およびレイテンシの悪影響が拡大しています。HPCでは並列ファイルシステムのボトルネックが非常に深刻化しており、他の環境であればSSDの大規模な導入で実現できる大幅な高速化が、クラスタ化されたコンピューティング環境においては実現不可能になっています。そのため、HPC環境においても相変わらず、主にHDDが、パフォーマンス集約型のアプリケーションに必要な巨大な帯域幅とIOPS性能を支える結果になっているのです。このアプローチは非常に効率が悪く、容量の過剰なプロビジョニングとハードウェアの分散化を引き起こすことが少なくありません。

その他にも、コンピュータクラスタ全体および並列ファイルシステムのパフォーマンスを低下させる要因は無数にあります。混在型I/O、「問題アプリケーション」の断片化したデータパターン、アプリケーションのコアを使い果たしてしまう膨大なデータセットなどです。

現状を打破し、技術的ブレークスルーをもたらすIME

これらの課題を克服するために、DDNのIME14Kが情報の保存方法、計算機の情報へのアクセス方法に革命を起こします。IMEソフトウェアでは、計算機のすぐ隣の非常に高速の共有不揮発性メモリ(NVM)にデータが置かれます。

この新しいデータの近接性により、IMEソフトウェアの革新的な高速データ通信レイヤーが、今日の並列ファイルシステムにつきもののファイルのロック競合なしにデータを受け渡せるようになり、レイテンシが大幅に削減されます。

統合を容易にするために、IMEでは一般的なプロトコルを使用し、アプリケーションと並列ファイルシステムの双方に対して透過性を持っているため、コード変換が必要ありません。

IMEは、これまでに存在しなかった高速化および効率化を実現するよう設計された、強力なバーストバッファであり、多次元的なソリューションです

IME14Kの登場で、大規模データ集約型環境においても、未活用の計算資源を活用することができ、より多くのアプリケーションを実行できるようになります。これにより、I/Oボトルネックが最小限に抑えられ、アプリケーションおよびファイルシステムが高速化され、効率とパフォーマンスの向上が実現します。同時に、ストレージクラスタでよく見られる性能の不安定さが改善します。

IMEとは?

 

バーストバッファ
最もコスト&スペース効率の高い、ピークパフォーマンスのプロビジョニング方法

並列ファイルシステム高速化
レイテンシを下げ、POSIXのボトルネックを排除

アプリケーション最適化
上手く配置されていないI/Oをコード変換なしにストライピングされた Write に動的に調整

コアの拡張
DRAMと異なり、テラバイト、ペタバイトクラスの高速でコスト効率の高いNVMを備えたIMEなら、どんな巨大なデータセットにも対処可能



IME 機能

Write を高速化するバーストバッファ
膨大なアプリケーションデータを、ファイルシステムよりはるかに速くIME14K NVMeのソリッドステートキャッシュに吸収
ファイルシステム高速化およびアプリケーション最適化
IMEがアプリケーションのI/Oを整理し、キャッシュから長期ストレージへのデータ移動を最適化(やや高額なキャッシュとしての購入が可能)
Read に最適化されたアプリケーションI/O高速化
IMEアプライアンスの帯域外API設定によりリードとライトの両方を最適化し、より多くのジョブを同時処理して、ジョブの処理時間を短縮し、アプリケーションのランタイムを大幅に短縮。IMEにはAPIとジョブスケジューラーが実装されており、キャッシュをプレステージングしておくことで、新たなジョブに対しても最初のリードを加速することが可能

IME 特徴

結果を出すまでの時間を短縮
ワークフロー、アプリケーション、ボトルネックとなっているI/Oを加速します
データの増大負荷を軽減
従来のストレージハードウェアを減らして環境を集約します
計算機のROIを向上
I/Oの待ち時間を削減して他の計算に活用できます

IME ソフトウェア

       ソフトウェア版

導入の柔軟性を最大限に高める環境では、IMEはソフトウェアとして使用できます。 IMEソフトウェアは、サポートされているハードウェアにIT上の制限がある環境に最適です。IMEソフトウェアは、既存のハードウェアを再利用するための柔軟性が求められる、オープンプラットフォームの要件を満たしています。最も重要なのは、IME14KX、IME240、またはソフトウェアのみを使用するかどうかにかかわらず、IMEは特定のサーバーまたはストレージハードウェアベンダーにロックされていない業界唯一のバーストバッファであるということです。 DDNのIMEで、システム環境を思うがままに選択できます。

導入事例

日本最速のスーパーコンピュータは、IMEバーストバッファを活用し1.5TB/sの性能のファイルシステムを運用中
SC16での、筑波大学 計算科学研究センター 教授 建部修見氏による、最先端共同 HPC 基盤施設(JCAHPC)の「Oakforest-PACS」25 Pflops システムの紹介ビデオ

資料

「バーストバッファ型IOアクセラレーション製品 DDN IMEのご紹介」

出典:日本計算工学会「計算工学」Vol.21, No.4


IME アプライアンス

IME 関連情報

お問い合わせ・資料請求はこちらよりお願いいたします。