膨大なプロセッサーの能力と大きなデータリポジトリがより手頃なものになったため、マシンラーニングとディープラーニングの発展のための高度な環境が生まれました。
マシンラーニング・アプリケーションは、人間の入力を置き換えたり改善したり、データのサイズが大きいためにこれまでに取り組むことのできなかった問題に取り組むなど、幅広いプロセスにわたって開発および導入されています。

AI、マシンラーニング、ディープラーニングとは

データセットが大きくなればなるほど、マシンラーニングの潜在的価値が高まります。しかし皮肉なことに、データセットが増加するにつれて、プロジェクトがコストや拡張の複雑さに関連する問題に遭遇する可能性も増えます。

マシンラーニング・プログラムがよく躓くのは、成功するための計画を立てていない時です。プログラムのプロトタイプとして、ミッドレンジのエンタープライズストレージを使用したり、ドライブをサーバーに追加したりするやり方は、より高速な稼働環境に移行する必要が出てきた時、持続不可能なアプローチであったことに気づくでしょう。

DDNの顧客は、結果を得るまでの時間を短縮し、競争力、収益性、顧客サービス、ビジネスインテリジェンス、研究効果を向上させるために、マシンラーニング技術を活用しています。

DDNシステムのパフォーマンスと柔軟なサイジングは、大規模なマシンラーニング・プログラムに特に適しています。CPU、GPU、および単純な線形回帰から深いニューラルネットまでの混合マルチアルゴリズム環境でデータを効率的に処理するために必要な混合I/O機能だけでなく、コア数の多いシステムに大量のトレーニングセットを送ることができます。

1台のラックで、数百TBから10PBまで拡張可能なストレージアプライアンスを使用することで、DDNのマシンラーニングユーザーは、テストベッドから実稼働システムまで、単一のプラットフォームで拡張することができます。

お客様がマシンラーニング・アプリケーションに対してDDNストレージソリューションをどのように活用しているかの例は以下の通りです。

・行政と学界の共同研究による観光のためのスマートシティ計画
・米国の大手銀行での電信送金やクレジットカード取引の不正検知
・フォーチュン100 SaaSプロバイダーでのデジタルアシスタント／自然言語処理
・自動運転車のためのルート最適化
・準リアルタイムのアフィニティ・マーケティングと、オンライン決済の不正検知

  マシンラーニング事例：スマートシティ

■背景：
・計算科学センターのリソースを活用
・2,000人の分野をまたがった研究者、学部、教員と学生
・コラボレーション：多様で分野を超えたプロジェクト
・ゲノミクス、計算生物学、海洋生態系、海洋モデリング、気候・気象学、計算経済学、計算流体力学、社会システム情報学
・マシンラーニング・プロジェクト：癌検診、コネクテッド・シティ、ツーリズムサービスのサポート

■課題：ビーチウォーク・エリアは観光地のため人口の増減を把握することが困難で、ハイシーズンには居住人口が最大15,000人に増加。このため、市のサービスやメンテナンスを事前に計画することや、時おり必要になるリアルタイムでのサービスの提供が困難

■目標：市のサービス・メンテナンス戦略の向上、リアルタイムで必要なサービスの向上

■実施項目：
・ビーチウォーク地域には30ブロックあり、複数の地形タイプ（道、歩道、空地、公園、海岸など）、数百の進入地点が存在
・音と光を感知するセンサーを数百万個設置しデータ収集、DDNストレージに保管
・同一データを2つのクラスター（分析専用クラスター、ディープラーニング専用クラスター）にて利用

■成果：
　- 分析専用クラスター：状態マッピングを行う。人口レベル、人口流動等を分析し、市のサービス・メンテナンス計画に活用
　- ディープラーニング専用クラスター：通常／異常な状態を学習後、リアルタイムの人口流動を分析・予測し、緊急サービス（警察など）やゴミ収集サービスの向上に活用

  マシンラーニング事例：オンライン取引処理

■背景：
・大量かつ高速なワークフロー：不正検知、決済待ち時間中のおすすめ商品の表示、顧客行動や広告等のオフライン分析・リサーチ
・データ・タイプはモバイル、オンライン、オフライン等様々で、ほぼリアルタイムの処理が必要。ピーク時には数十TB/時を処理
・1日あたり数百万の取引



■課題：既存のエンタープライズ・ストレージではMySQL、noSQL、Hadoop、オープンソース OLTP（オンライントランザクション処理）、OLAP（オンライン分析処理）等の主要なビッグデータ・サービスから充分なパフォーマンスが得られておらず、拡張も困難

■目標：
・パフォーマンス向上。レイテンシーの低減。より容易なシステム拡張。長期的に使用できるシステム。
・コマンド＆コントロール、視覚化、セマンティクス用マシンラーニング（サービス提供の必要性を予測できること、人の手を介さず運用中のシステムを調整できること）

■解決策：エンタープライズ・ストレージから、パフォーマンスやセキュリティ、アップタイム要件を満たすHPCストレージ(DDN SFA)への移行

■成果：顧客が定めた主要なパフォーマンス指標4つ（インフラレベル２つ、アプリケーションレベル２つ）において４倍以上の改善、パフォーマンスに対するコストを75%削減（顧客試算、機器・保守を含む）

  マシンラーニング事例：自然言語理解/処理

■背景：
・デジタルアシスタンス・ホワイトボックス
・1日あたり数十万のリクエスト、数千の同時リクエスト
・大量の非構造化データを取得し、学習
・「ドバイの天気は？」というようなクエリに最適な答えを返すためマシンラーニングで常に最適化


■課題：データ量の大幅な急増が予測されていた。試算では既存のシステムで必要な可用性を維持するにはコストが高かった。
ファイルシステムをいくつも管理することを避けたい

■目標：低レイテンシー、速いレスポンス・タイムは必須。また大量のデータ処理が必要。
ただし、本番環境へのアルゴリズムのアップデートはリアルタイムではなく、ミッション・クリティカルでもない。
よって、パフォーマンスに関しては処理もリアルタイムである必要はないため、十分あれば良い。

■解決策：ファイルシステムの制約を超え単一のデータレイクを持てて、アルゴリズムの変更にも対応しやすい、オブジェクトストレージ(DDN WOS)の採用

■成果：1日あたり数億のリクエストを処理、数千億個のオブジェクトを管理

  マシンラーニング事例：自動運転プログラム

■背景：
・自家用車、自動車隊、輸送車、農業用車輌、無人飛行機など様々な携帯の車輌に使用されている
・大量のセンサーを搭載：場所、温度、速度、湿度、場所のコンテキストー溝、停止信号の色、上方空間など（多くの場合は画像）
・1日でペタバイトにも上る生データを保存し、サンプリングを重ねて製品を改良したり、二次利用を希望する企業に販売
・ダウンサンプリングし、サイズを落として保管、データの保管に必要な面積を抑制
・センサーデータがディープラーニング・インフラによって処理され、指示が与えられ、自動運転が再開されるというプロセスの繰返し
・車輌や探索量の増加に伴い処理したいデータが増加するだけでなく、プリ・プロダクションからプロダクションの段階になり、メモリから溢れるようになると、ストレージ側でも問題が起こってくる

■課題：ホワイトボックスとオープンソースのLustre*でプロトタイプを利用していたが、求める可用性のレベルを維持するには柔軟性を欠いたシステムだと判明。

■目標：可用性に関する問題なく、Lustre* 並列ファイルシステムを使って大規模に拡張していけるシステム

■解決策：Lustre*のプロダクション、ディストリビューション、サポートサービスを提供しており、エンタープライズレベルの可用性要件を満たし、HPCレベルのパフォーマンスも提供するシステム(DDN EXAScaler®)の採用

■成果：可用性に関する問題なく、大規模に拡張していけるようになった

  国内事例：AIクラウドシステム (AAIC)

■背景：
・産業構造、社会システム革新の基盤技術となるAIやIoTの革新的技術の開発が重要となっている
・充分な研究環境を持たない中堅、中小企業にとっては最先端の研究開発の実施が困難になることが懸念されている
・多様な事業者による高度なAI・IoT技術の研究開発を加速する研究開発環境の整備が求められている

■目的：
・AI・IoT技術の研究加速による早期の目標達成および研究競争力の維持・強化
・企業との共同研究の迅速な立ち上げによる産業界との連携強化
・人工知能研究センターを中心に収集・開発されるデータおよびソフトウェアの利用促進

■目標（ストレージ部分）：データ・知識融合型人工知能や脳型人工知能を始めとするビッグデータを収集・蓄積・共用できる大規模ストレージシステム。
4PiB以上の実効容量を備え、AI計算システムからの同時利用を想定した低遅延、高スループット（片方向の合算ピーク理論値：100GB/秒）、I/O（実効値）3GB/秒の構成

■解決策：DDN GRIDScaler®の採用

■成果：世界のスーパーコンピュータの省エネ性能ランキング Green500 Listにおいて1ワットあたり12.681ギガフロップスという値を記録して世界3位を獲得。AI研究開発にフォーカスした共用計算プラットフォームとして現在国内最大級の性能を持つ

マシンラーニング・プロジェクトを開始される前に是非DDNにご相談下さい。

包括的かつシームレスなエンドツーエンドのストレージテクノロジのポートフォリオは、最高レベルのパフォーマンスとスケーラビリティを必要とするマシンラーニング環境をサポートする非常に柔軟なデータライフサイクル管理ツールを提供します。

■パフォーマンス／規模を求めてDDNをご選択くださるお客様が多いです
■ほとんどのマシンラーニング・プロジェクトで、EXAScaler® (Lustre*)かGRIDScaler® (Spectrum Scale™ (旧GPFS))の並列ファイルシステム・ソリューションが使用されています
■さらなるパフォーマンスが必要な場合はDDN IME フラッシュ・ネイティブ・キャッシュ・ソリューションもご選択いただけます
■数年間等の長期間のマシンラーニング・プロジェクトの場合は元々の容量の50倍になっている例もあるため、初期段階での設計が極めて重要になります

<Q&A>
Q. クラウドかオンプレミスかを選択するにはどうすれば良いですか？
A. プロジェクトによりますが、ストレージ容量が大きすぎない場合は、現段階ではオンプレミスを選択したほうが良いでしょう。あとは、レイテンシーをどのくらい許容できるか、つまりリアルタイム処理が必要かどうかにもよるでしょう。