マシンラーニング

マシンラーニングの導入を成功させるためのインフラストラクチャー

膨大なプロセッサーの能力と大きなデータリポジトリがより手頃なものになったため、マシンラーニングとディープラーニングの発展のための高度な環境が生まれました。
マシンラーニング・アプリケーションは、人間の入力を置き換えたり改善したり、データのサイズが大きいためにこれまでに取り組むことのできなかった問題に取り組むなど、幅広いプロセスにわたって開発および導入されています。

AI、マシンラーニング、ディープラーニングの定義

AIとは?マシンラーニングとディープラーニングの違いとは?

AI(人工知能)(左図の青色の部分)
人間と同じように「考え」、行動する機械で実行されるソフトウェアを構築するための探求。

マシンラーニング(左図のオレンジ色の部分)
AIの一部で、明示的にプログラムされることなくとも学習し改善するアルゴリズムを「使用する」ことに重点をおいています。
アウトプットであるデータや行動は予測されたものになります。

ディープラーニング(左図の緑色の部分)
多層ニューラル・ネットワークの形で人間の脳を模倣しようとするアルゴリズムの特定のセットに基づくマシンラーニングの一部。
ディープラーニングはマシンラーニングのアルゴリズムが大量のデータからの特徴をインプットをすることを可能にし、例えば人間の顔の輪郭などの特徴を認識するだけでなく、人間の年齢をどのように表すかまでも導き出せます。


AI、マシンラーニングの重要性

1. 今日まで、自動運転や自動医療診断などを可能にするインフラストラクチャー・リソース(計算機など)は存在しませんでした。

 現在では、コンピューターには不可能と思われていた事柄(例えば精度の高いリアルタイム翻訳や大量の画像認識)もソフトウェアにより可能になってきています。

2. これまでにない巨大な量のデータが扱えるようになりました。マシンラーニングはデータの良と質に左右されます。

 コンピューターはどこにでも存在し(IoT)、タスクはどこでも自動化できます。
 データもあまねく存在し、AIの原料となります。
 クラウド・コンピューティングもあまねく存在し、AIにとってベストな実行環境があります。

3. 人間には扱いきれない大量のデータの分析を自動化によって効率を向上させる唯一の方法です。

 AIとマシンラーニングは人間とコンピューターの関係性を根本的に変えます。


注目度を表すように、「マシンラーニング」を含む451 Researchのレポート数は2014年以降、右肩上がりに増加しています。


新しいワークロードのためのインフラストラクチャー

エンタープライズコンピューティングシステムのアーキテクチャーは一枚岩的なメインフレームから、大規模な共有メモリを持つUnixシステムを経て、ハイパースケールウェブ企業やHPCデータセンターで見られるx86サーバーやブレードサーバーのラックへと変遷を遂げてきました。

現在では、システムは仮想化され、ソフトウェア・ディファインド・データセンターでは物理的なインフラストラクチャーは見えにくいものとなっています。リソースは要求に応じて動的に割り当てられますが、抽象的なシステムのパフォーマンスには一定の足枷もあり、要求の厳しいHPCユーザー向けというよりは伝統的なエンタープライズ・ユーザー向けと言えます。

とはいえ、物理的なインフラストラクチャーは変わらず重要なのです。 
メモリの低パフォーマンスを補う新しいメモリ、ハイパフォーマンスI/O、データアクセス・メソッド、GPU、FPGA等のアクセラレーター、シリコン・フォトニクス・バックエンドのような新しいタイプのインターコネクトが出てきています。

さらなる変化 ー コスト以外の要因

これまであまり変化の見られなかった部分にも変化は現れてきています。451 Researchでの定期的なエンドユーザー調査によると、アジリティやリスクの削減の方が、安価なサーバーの使用等で実現できるコストの削減よりも重要視され始めています。

寿命の長いシステムを構築することも重要です。要求の高いマシンラーニングのプロジェクト中にシステムの寿命を迎えて、データアクセスやデータ管理等の問題が起こることは誰でも避けたいものです。そういった意味でも安価なマシン採用によるコスト削減が最優先になるべきではないでしょう。

CPU

インテル®のCPUポートフォリオを見ると、このトレンドに応えていることが分かります。
ジェネラル・パーパスなコンピュート・プラットフォームとしては、Xeon® スケーラブル・プロセッサーが新しく発売されました。

インテルの市場に対するポジショニングは主にマシンラーニングやAIに対するものですが、他のプラットフォームもカバーしており、負荷の高い並列ワークロード用のXeon® Phi、これはマルチコアでGPUのようなものです。
FPGAに関しては、プログラム可能なチップで、より動的なワークロードや、異なるタイプのワークロードに対応するよう最適化できます。

将来的にはAIやディープラーニングの知能が内蔵された、Crestと呼ばれるASICの製品発売が予定されています。
また、まったく新しいシステム開発として、GPUをたくさん積んだスーパーコンピューターのようなものも開発されています。既存のデータを使ってトレーニングを行い新しい多層ニューラル・ネットワークを獲得させた後、よりパワーが少ないプロセッサーで、その多層ニューラル・ネットワークを用いて新しいデータを分類して推論を行い結果を導き出すというようなものです。

ソフトウェア

これらが、AIのプロセス全体の標準化を助けている、AI、ディープラーニングのソフトウェア・フレームワークになります。
それぞれに強みと弱みがありますし、必要以上の数が存在するため、いずれは、より標準化されていくでしょう。

新世代のワークロードのストレージ技術に対するトレンド

ストレージ技術に関するトレンドは、技術と企業規模によって異なる様相を呈しています。

ビッグデータやリアルタイム分析には、大企業は依然としてSAN/NASのような伝統的な技術を好み、ハイパーコンバージド・インフラも人気があります。

中小企業はビッグデータに関しては、明らかにパブリッククラウドストレージ/IaaSを好んでいます。

非リレーショナルデータベースやコンテナ技術向けにも、大企業は伝統的な技術を好み、中小企業はクラウドを好む傾向があります。

マシンラーニング・プロジェクトを立ち上げる際に検討が必要な項目

■高速なデータ&計算機
 I/O高速化・ソフトウェア、アプリケーション認識機能、低レイテンシー、充分な帯域幅、高IOPS

■ファイルシステム・アプライアンス
 並列ファイルシステムへの容易なアクセス、高品質の分析機能、スケーラブル・クラスター・ストレージ

■持続的データ
 必須項目。インテリジェントなディスク・ティアリング、PCIファブリック

■ライフサイクル管理

■ライブ・アーカイブ&コラボレーション
 オブジェクト・ストレージ

■クラウド
 用途特化型のクラウドストレージ

業界別マシンラーニング・アプリケーション





AI分野のリーダーは?

■コンシューマー向け
 Amazon、Apple、Facebook、Google
   画像認識、音声認識等にAIが使われています。

■企業向け
 Amazon、Google、IBM、Microsoft

エンタープライズ市場/HPC市場にとっては新しいですが大きな可能性を持っています。各社はデベロッパーやデータサイエンティストを確保する動きを見せており、マシンラーニングは全てのアプリケーションに内蔵されていくでしょう。

・エンタープライズ
 ー AWS マシンラーニング
 ー Google Cloud マシンラーニング
 ー Salesforce Einstein
 ー IBM Watson

・HPC
 ー 大規模ディープラーニング
 ー インダストリアルHPC:ライフサイエンス、エネルギー、金融セクター
 ー 上記をサポートするには、極限の密度(density)や特化型プライベート・クラウドやハイブリッド・クラウドが必要になってくるでしょう。

■インドITサービス企業
  Infosys、L&T Infotech、TCS、Wipro
  主にカスタマーサービス・サポートや顧客申込処理シナリオに活用されています。

■スペシャリスト・インフラストラクチャー・プロバイダー
  チップ、システム、ストレージ、ネットワーク、インテグレーション、ソフトウェア、サービス

注意点

■プラットホーム
 Google、Amazon、Microsoft、IBM等の既存のソフトウェアやフレームワークを活用すればプロジェクトを開始できるため、1からプラットフォームを作ることはおすすめできません。

■人間のバイアス
 ジェンダー、人種、文化等に対するバイアスのかかったデータによってトレーニングされたアルゴリズムは、特に人間の監督下の学習環境において、バイアスのかかった推論を導き出します。また、バイアスは「学習され」浸透すると、増幅されていきます。アルゴリズム・コードに人間のバイアスを焼き付ける危険性があります。

■データ品質問題
 アルゴリズムをトレーニングする前に空データ、重複データ等のデータ不整合を無くす必要があります。
  
■データサイエンスのスキルを持った人材不足
 AIはまだ初期段階にあるため、急激な変化によりスキルが不足しています。

■学術界のベンダーに対する不満足
 次世代のスキルをどう育てていくのかが不透明なことが懸念されます。

マシンラーニングが生み出す機会とは?

■何もかもがデジタル化されることで、データの急増が起こります

■既存のデータを、プライベートでもパブリックでも、他のソースと結びつけて活用することができます

■クラウド・プラットフォームを活用できます
  
■アルゴリズムはより多くのデータにより改善されます

■マシンラーニングを活用したインテリジェントなアプリケーションは、製品の差別化に役立ちます

プロジェクト開始前から大きな視野で考え、効果を生み出すデータ・インフラストラクチャーを選択する重要性

データセットが大きくなればなるほど、マシンラーニングの潜在的価値が高まります。しかし皮肉なことに、データセットが増加するにつれて、プロジェクトがコストや拡張の複雑さに関連する問題に遭遇する可能性も増えます。

マシンラーニング・プログラムがよく躓くのは、成功するための計画を立てていない時です。プログラムのプロトタイプとして、ミッドレンジのエンタープライズストレージを使用したり、ドライブをサーバーに追加したりするやり方は、より高速な稼働環境に移行する必要が出てきた時、持続不可能なアプローチであったことに気づくでしょう。

導入事例:DDNの顧客はすべてを変えています ー私たちがどのように学習し、旅行し、健康を管理するかまでー

DDNの顧客は、結果を得るまでの時間を短縮し、競争力、収益性、顧客サービス、ビジネスインテリジェンス、研究効果を向上させるために、マシンラーニング技術を活用しています。

DDNシステムのパフォーマンスと柔軟なサイジングは、大規模なマシンラーニング・プログラムに特に適しています。CPU、GPU、および単純な線形回帰から深いニューラルネットまでの混合マルチアルゴリズム環境でデータを効率的に処理するために必要な混合I/O機能だけでなく、コア数の多いシステムに大量のトレーニングセットを送ることができます。

1台のラックで、数百TBから10PBまで拡張可能なストレージアプライアンスを使用することで、DDNのマシンラーニングユーザーは、テストベッドから実稼働システムまで、単一のプラットフォームで拡張することができます。


お客様がマシンラーニング・アプリケーションに対してDDNストレージソリューションをどのように活用しているかの例は以下の通りです。

・行政と学界の共同研究による観光のためのスマートシティ計画
・米国の大手銀行での電信送金やクレジットカード取引の不正検知
・フォーチュン100 SaaSプロバイダーでのデジタルアシスタント/自然言語処理
・自動運転車のためのルート最適化
・準リアルタイムのアフィニティ・マーケティングと、オンライン決済の不正検知

マイアミ大学 | スマートシティ

  マシンラーニング事例:スマートシティ

■背景:
・計算科学センターのリソースを活用
・2,000人の分野をまたがった研究者、学部、教員と学生
・コラボレーション:多様で分野を超えたプロジェクト
・ゲノミクス、計算生物学、海洋生態系、海洋モデリング、気候・気象学、計算経済学、計算流体力学、社会システム情報学
・マシンラーニング・プロジェクト:癌検診、コネクテッド・シティ、ツーリズムサービスのサポート

■課題:ビーチウォーク・エリアは観光地のため人口の増減を把握することが困難で、ハイシーズンには居住人口が最大15,000人に増加。このため、市のサービスやメンテナンスを事前に計画することや、時おり必要になるリアルタイムでのサービスの提供が困難

■目標:市のサービス・メンテナンス戦略の向上、リアルタイムで必要なサービスの向上

■実施項目:
・ビーチウォーク地域には30ブロックあり、複数の地形タイプ(道、歩道、空地、講演、海岸など)、数百の進入地点が存在
・音と光を感知するセンサーを数百万個設置しデータ収集、DDNストレージに保管
・同一データを2つのクラスター(分析専用クラスター、ディープラーニング専用クラスター)にて利用

■成果:
 - 分析専用クラスター:状態マッピングを行う。人口レベル、人口流動等を分析し、市のサービス・メンテナンス計画に活用
 - ディープラーニング専用クラスター:通常/異常な状態を学習後、リアルタイムの人口流動を分析・予測し、緊急サービス(警察など)やゴミ収集サービスの向上に活用

顧客A | オンライン取引処理

  マシンラーニング事例:オンライン取引処理

■背景:
・大量かつ高速なワークフロー:不正検知、決済待ち時間中のおすすめ商品の表示、顧客行動や広告等のオフライン分析・リサーチ
・データ・タイプはモバイル、オンライン、オフライン等様々で、ほぼリアルタイムの処理が必要。ピーク時には数十TB/時を処理
・1日あたり数百万の取引



■課題:既存のエンタープライズ・ストレージではMySQL、noSQL、Hadoop、オープンソース OLTP(オンライントランザクション処理)、OLAP(オンライン分析処理)等の主要なビッグデータ・サービスから充分なパフォーマンスが得られておらず、拡張も困難

■目標:
・パフォーマンス向上。レイテンシーの低減。より容易なシステム拡張。長期的に使用できるシステム。
・コマンド&コントロール、視覚化、セマンティクス用マシンラーニング(サービス提供の必要性を予測できること、人の手を介さず運用中のシステムを調整できること)

■解決策:エンタープライズ・ストレージから、パフォーマンスやセキュリティ、アップタイム要件を満たすHPCストレージ(DDN SFA)への移行

■成果:顧客が定めた主要なパフォーマンス指標4つ(インフラレベル2つ、アプリケーションレベル2つ)において4倍以上の改善、パフォーマンスに対するコストを75%削減(顧客試算、機器・保守を含む)

顧客B | 自然言語理解/処理

  マシンラーニング事例:自然言語理解/処理

■背景:
・デジタルアシスタンス・ホワイトボックス
・1日あたり数十万のリクエスト、数千の同時リクエスト
・大量の非構造化データを取得し、学習
・「ドバイの天気は?」というようなクエリに最適な答えを返すためマシンラーニングで常に最適化


■課題:データ量の大幅な急増が予測されていた。試算では既存のシステムで必要な可用性を維持するにはコストが高かった。
ファイルシステムをいくつも管理することを避けたい

■目標:低レイテンシー、速いレスポンス・タイムは必須。また大量のデータ処理が必要。
ただし、本番環境へのアルゴリズムのアップデートはリアルタイムではなく、ミッション・クリティカルでもない。
よって、パフォーマンスに関しては処理もリアルタイムである必要はないため、十分あれば良い。

■解決策:ファイルシステムの制約を超え単一のデータレイクを持てて、アルゴリズムの変更にも対応しやすい、オブジェクトストレージ(DDN WOS)の採用

■成果:1日あたり数億のリクエストを処理、数千億個のオブジェクトを管理

顧客C | 自動運転プログラム

  マシンラーニング事例:自動運転プログラム

■背景:
・自家用車、自動車隊、輸送車、農業用車輌、無人飛行機など様々な携帯の車輌に使用されている
・大量のセンサーを搭載:場所、温度、速度、湿度、場所のコンテキストー溝、停止信号の色、上方空間など(多くの場合は画像)
・1日でペタバイトにも上る生データを保存し、サンプリングを重ねて製品を改良したり、二次利用を希望する企業に販売
・ダウンサンプリングし、サイズを落として保管、データの保管に必要な面積を抑制
・センサーデータがディープラーニング・インフラによって処理され、指示が与えられ、自動運転が再開されるというプロセスの繰返し
・車輌や探索量の増加に伴い処理したいデータが増加するだけでなく、プリ・プロダクションからプロダクションの段階になり、メモリから溢れるようになると、ストレージ側でも問題が起こってくる

■課題:ホワイトボックスとオープンソースのLustre*でプロトタイプを利用していたが、求める可用性のレベルを維持するには柔軟性を欠いたシステムだと判明。

■目標:可用性に関する問題なく、Lustre* 並列ファイルシステムを使って大規模に拡張していけるシステム

■解決策:Lustre*のプロダクション、ディストリビューション、サポートサービスを提供しており、エンタープライズレベルの可用性要件を満たし、HPCレベルのパフォーマンスも提供するシステム(DDN EXAScaler®)の採用

■成果:可用性に関する問題なく、大規模に拡張していけるようになった

産業技術総合研究所(AIST) | AIクラウドシステム

  国内事例:AIクラウドシステム

■背景:
・産業構造、社会システム革新の基盤技術となるAIやIoTの革新的技術の開発が重要となっている
・充分な研究環境を持たない中堅、中小企業にとっては最先端の研究開発の実施が困難になることが懸念されている
・多様な事業者による高度なAI・IoT技術の研究開発を加速する研究開発環境の整備が求められている

■目的:
・AI・IoT技術の研究加速による早期の目標達成および研究競争力の維持・強化
・企業との共同研究の迅速な立ち上げによる産業界との連携強化
・人工知能研究センターを中心に収集・開発されるデータおよびソフトウェアの利用促進

■目標(ストレージ部分):データ・知識融合型人工知能や脳型人工知能を始めとするビッグデータを収集・蓄積・共用できる大規模ストレージシステム。
4PiB以上の実効容量を備え、AI計算システムからの同時利用を想定した低遅延、高スループット(片方向の合算ピーク理論値:100GB/秒)、I/O(実効値)3GB/秒の構成

■解決策:DDN GRIDScaler®の採用

■成果:世界のスーパーコンピュータの省エネ性能ランキング Green500 Listにおいて1ワットあたり12.681ギガフロップスという値を記録して世界3位を獲得。AI研究開発にフォーカスした共用計算プラットフォームとして現在国内最大級の性能を持つ

DDNソリューション

マシンラーニング・プロジェクトを開始される前に是非DDNにご相談下さい。

包括的かつシームレスなエンドツーエンドのストレージテクノロジのポートフォリオは、最高レベルのパフォーマンスとスケーラビリティを必要とするマシンラーニング環境をサポートする非常に柔軟なデータライフサイクル管理ツールを提供します。

■パフォーマンス/規模を求めてDDNをご選択くださるお客様が多いです
■ほとんどのマシンラーニング・プロジェクトで、EXAScaler® (Lustre*)かGRIDScaler® (Spectrum Scale™ (旧GPFS))の並列ファイルシステム・ソリューションが使用されています
■特定のハイパー・スケール利用にはWOS オブジェクトストレージも使用されています
■さらなるパフォーマンスが必要な場合はDDN IME フラッシュ・ネイティブ・キャッシュ・ソリューションもご選択いただけます
■数年間等の長期間のマシンラーニング・プロジェクトの場合は元々の容量の50倍になっている例もあるため、初期段階での設計が極めて重要になります

<Q&A>
Q. クラウドかオンプレミスかを選択するにはどうすれば良いですか?
A. プロジェクトによりますが、ストレージ容量が大きすぎない場合は、現段階ではオンプレミスを選択したほうが良いでしょう。あとは、レイテンシーをどのくらい許容できるか、つまりリアルタイム処理が必要かどうかにもよるでしょう。


IME (Infinite Memory Engine)

革新的なレイテンシーの削減により、結果を得るまでの時間を短縮できます。

IME

GRIDScaler® / EXAScaler®

パフォーマンスを必要とするデータ集約型環境に適した業界ベストクラスのファイルシステム・アプライアンス

GRIDScaler

EXAScaler

NVMベースのキャッシュ・アプライアンス:IME バーストバッファ

フラッシュストレージ:Flashscale オールフラッシュアレイ

SFA14KX™

1ラックで9PBの容量まで拡張できるブロックストレージ製品です。

SFA

Web-Object Scaler (WOS)
オブジェクトベースのWOSアーカイブ/クラウド・ソリューションは、最も適応性が高く効率的な方法でデータの増大に対応するために設計されたシステムです。

WOS アプライアンス
WOS ソフトウェア

 

各種資料請求

関連情報

  • 大規模データのマシンラーニングを成功に導くDDN

    DDNの技術をマシンラーニング・プログラムに活用

  • 出展情報:インテル AI DAY

    AIテクノロジーの基盤に最適ストレージ・ソリューションをご紹介

  • 東京工業大学とDDNがスーパーコンピュータ「TSUBAME3.0」の研究開発で協業

    AIやビッグデータ向け使用も支援

お問い合わせ・資料請求はこちらよりお願いいたします。