この記事は、DDN.comに掲載の "The Subtle Art of Simultaneouly being Radical and Evolutionary " の日本語版です。

不変と発展を同時に実現する美学

ジェームズ・クーマー博士 Dr. James Coomer
製品担当シニアバイスプレジデント
2019年6月11日

「マシンをテストするとき、それは満足感を得られるとき。それ以外には何もない」
   ― ロバート・M・パーシグ著『禅とオートバイ修理技術』より

さてこの一節で、パーシグが語っている対象はバイクなのですが、私が語りたいのはHPCソリューションです。ただしテストに関しては、上記の言葉がそのまま当てはまります。

DDNの使命は、非常に複雑で要求が厳しく、進化を続ける要件を抱えた総勢2,500社の顧客基盤を満足させること、いやむしろ喜ばせることにあります。AI、ビッグデータ、HPCの分野において、これは至難の業です。誰もがパフォーマンスの徹底的な追求、飛躍的なスケールアップ、100万倍の速度向上、究極のコスト効率、ベンダーロックインからの解放、そしてあらゆるクラウドへの対応を望んでいます。その一方でHPCアプリケーションの普及は非常に遅く、ハードウェアの速度向上は、ストレージ、ネットワーク、コンピューティング、分散ワークロードといった階層に直面し、悲しいことに急激に勢いを失っています。

新しいソフトウェアの波(Hadoop、Tensorflow、Spark、Kubernetesなど)が大規模データの世界に押し寄せているのは明らかですが、現在稼働中のアプリケーションに含まれる重装備な要求も依然として満たす必要があります。さらに、こうした根本的な変更を実現する際に、これまで慣れ親しんできたもの、すなわちクォータ、セキュリティ、マルチプロトコルによるアクセス、極限の安定性と稼働時間などもあきらめずに全て引き続き利用できることが求められています。

DDNが20年間絶えず実行してきた特徴的な事の1つは、この難題に立ち向かってきたことです。DDNは、正真正銘のエンジニアリング企業です。派手な宣伝はほとんどしないにもかかわらず、世界最大の非上場ストレージベンダーへの成長を実現しました。数百人ものエンジニアが、最高に洗練された最速の効率性を極めたストレージソリューションを目指し、世界でも類を見ない規模で、イノベーション、新規開発、システム設計と実装に全力を注ぎ、世代を重ねてきました。

マーケティングよりも研究開発を非常に重視するDDNが何年にもわたって成功を収められたのは、世界で最も複雑なビッグデータの要件の特定と解決に長期的に注力し、純然たる情熱を注ぎ、献身的な努力を続けた結果です。全ては画期的、かつ抜本的なイノベーションを次々と実現してきたことによるものです。DDNの成功の証は、数千のお客様にご満足いただいていること、専門分野において100件超の特許を取得したこと、ビッグデータ分野での最も困難な課題に対処するため、容量が10エクサバイト(EB)超のストレージを実現したことにあります。

今年のISCでは、Infinite Memory Engine(IME)とEXA5という、当社の主力ソフトウェア2製品についてお話します。両製品は、急進的で革新的な技術を信頼性が高く、使いやすい実用レベルにまで発展し進化させたもので、ビッグデータの困難な要件に直面しているお客様に、喜んでいただけるでしょう。

まず、IMEについて説明します。IMEは急進的なIOエンジンで、高速化を極めます。例えば、IO500のハードウェアへの書き込みと読み取りの計測値をご覧ください。間違いなくナンバーワンです。
AIや機械学習に始まり、分散型HPC、フィンテック、ヘルスケア、自動運転、その他多くの分野に至るまで、IMEは明らかに既存のIOとは違う動作をしており、今までは不可能とされていた方法で、この製品独自の利点を生み出しています。これは単純に、私たちがエンドツーエンドのデータパスを構築する際に使った方法です。ランダムで整列不良の共有ファイルIOに直面した際にファイルシステムのボトルネックを取り除き、全く新規の分散型名前空間を作成し、それを完全にフラッシュ向けに最適化し、クラウドとオンプレミスの両方で本格的にそれを稼働させて、データのボトルネックを完全に排除します。アプリケーションの変更やユーザーのトレーニングを全く必要としないので、申し分のない方法ですね。

続いて、EXA5についても説明します。EXA5は画期的なファイルシステム ソリューションで、EXAScalerファミリーの一部です。過去数年にわたり、私たちは年間数百人分ものエンジニアの工数を費やして、EXAScalerの内外で稼働する急進的なコンポーネントを開発してきました。お客様のAIとマルチクラウドのワークフローを大幅に加速、強化、進歩させるためです。また、パフォーマンスを向上させる強化機能を追加し、同時に、ソリューション全体の規模を格段に縮小し、堅牢性を高めて、非常に使いやすくしました。一言で言うなら、これがEXA5です。