急激に増え続けるデジタルデータをいかに高速かつ効率的に利用していくか。 IBMでは同社の分散ファイル管理ソフトウェアIBM Spectrum Scale(旧名称GPFS)をビッグデータ解析やデータレイクなどに幅広く対応できるよう機能拡張することで、この社会的な課題に対応している。その結果、同ソフトウェアは従来活用されていたエンジニアリングや科学技術計算の領域だけでなく、ライフサイエンス、クラウド・サービス、政府機関、金融、メディアなど、あらゆる分野で利用されるようになってきた。

こうした市場背景を受け、2016年10月13日に「Spectrum Scaleセミナー2016」が都内で開催された。Spectrum Scale統合アプライアンスであるGRIDScalerの開発・販売を手がけるデータダイレクト・ネットワークス・ジャパン(以下、DDN)が主催し、U-NEXT、Yahoo! JAPANが活用事例を紹介した。

膨れあがる動画データを安定的に配信

日本最大級の動画配信サービスを提供しているU-NEXTからはシステム運用部の鈴木 俊介氏が登壇し、コンテンツ配信サービスにおけるGRIDScalerの導入事例について語った。オンライン動画は現在、HLS(HTML Live Streaming)やMPEGDASHといったフォーマットによるアダプティブストリーミング(最適化配信)が主流になっており、配信事業者が保持するファイル数は以前より格段に増加してきている。


U-NEXT 開発本部 システム運用部 鈴木 俊介氏


HLSの場合、コンテンツファイルは10秒ごとに分割されており、1時間の動画なら360ファイルが必要だ。またユーザーの接続環境にあわせた配信を行うためには複数のストリームが必要となり、その分のファイル数を用意しなければならない。例えば4ストリーム分用意すると、1時間のコンテンツを100本配信するためには、360ファイル×100本×4ストリーム＝144,000ファイルが必要となる。さらにユーザーの再生デバイスによってもフォーマットが変わってくるため、U-NEXTのように数万本の動画を安定的に配信しようとすれば、億単位のファイルを保持しつつ、多数のユーザーからのリクエストに応え、正確かつ高速に配信できるシステムが必須となる。

これを実現するためにU-NEXTが選んだのがSpectrum Scale統合アプライアンスであるGRIDScalerだった。複雑なランダムアクセスに耐えながら膨大な量のファイルを安定的に送り出せること、システムを停止させることなく必要に応じてスケールアウトできること、導入前試験ができること、そして保守体制が整っていることといった条件にDDNの製品・サービスがマッチしたと、鈴木氏は導入理由を語った。

「導入も順調に進み、現在まで安定的にサービスを続けることができています。」(鈴木氏)

配信事業での様々なニーズに応える機能


DDN Professional Media &Content, Systems Engineer 福井 秀明氏

DDNの福井 秀明氏からは、Spectrum Scaleの機能から、動画配信事業者に有益な2つが紹介された。ひとつはWORM(Write Once Read Many)だ。動画を配信用に加工する過程でオリジナル・データが失われることを避けるため、保護すべきデータをコマンド一つで特定の期限まで削除・変更できないようにすることができる。

もうひとつはLROC(Local Read-Only Cache)。Spectrum Scale特有の自動キャッシュ機能が紹介された。例えばコンテンツ配信サーバにおけるランダムリードの性能を向上したい場合に有効だ。同社によるテストでは、LROCを設定することで、数倍のパフォーマンス向上が得られたという。

高速マルチクラスタを実現するAFM


DDN T3S, Pre-Sales, Senior Systems Engineer 塩入ヶ谷 寛氏


DDNの塩入ヶ谷 寛氏からは、キャッシングを利用したSpectrum Scaleのデータマネジメント機能であるAFM(Active File Management)の解説が行われた。遠隔地にある拠点同士が、データを高速・円滑に利用・共有したい場合に有効だ。AFMのキャッシュ・モードには5種類あり、利用用途に併せて選択することが可能だという。例えば、映像コンテンツ配信を行う場合、集中的に管理されているコンテンツを複数の拠点で配信したいという需要がある。AFMリードキャッシュモードを利用することにより、複数の拠点でも、より高速かつ円滑に配信することが可能になる。その他には複数拠点からの集中バックアップや、ディザスタリカバリ、Burst Bufferなどの様々な用途に利用できるキャッシュ・モードが用意されている。AFMを上手く活かしている事例として、Yahoo! JAPANの「アクティブアーカイブシステム」が紹介された。

ペタバイト規模の海外バックアップを実現

Yahoo! JAPANにおいて、同社が提供するサービスのインフラ運用を担うサイトオペレーション本部のもとに、社内から「1時間に11TBのデータをバックアップしたい」という要望が届いたのが「アクティブアーカイブシステム」構築のきっかけだった。この大規模なバックアップを実現させるため、Yahoo! JAPANではバックアップ先として米国子会社のデータセンターを選んだ。米国は電力コストが安く、維持費用を大幅に下げることができる。また国内スタッフがストレスなくノンストップで運用できるようにすることを目指し、IBM、DDNのサポートのもと、下の図のようなシステムを構築した。


Yahoo! JAPANによる「アクティブアーカイブシステム」の概要

国内スタッフが目にするのはSwiftのインターフェイスだけで、後ろにあるものを意識せずに作業ができる。米国にバックアップデータを送るにあたってはAFMを使用し、日本側がCache、米国側がアーカイブ先(以下、Home)とした。CacheのデータはHomeへ転送が完了後、メタデータだけを残して削除できるため、バックアップのための容量は少なくて済む。また日米間の回線トラブルがあっても、国内スタッフはそれを意識することなく通常通り日本側のSwiftサーバを利用して作業が続けられ、日本でトラブルが発生した場合には米国のSwiftサーバに接続すれば、業務に大きな影響は出ない。


Yahoo! JAPAN システム統括本部 サイトオペレーション本部 インフラ技術1部 クラウドオペレーション 正木 大介氏

Spectrum ScaleとDDNを選んだことのメリットについて、正木氏はこう語った。 「必要最低限の機能だけを採用できるので、高パフォーマンスながら運用コストを月額0.3～0.4円/GBに抑えられています。さらにAFMを利用したことで、ユーザーに裏側を意識させずにすんでいるということもメリットです」

最後に日本アイ・ビー・エムのSDIテクニカル・セールス部長の大澤 暁氏が登壇。次のような言葉でセミナーを締めくくった。


日本アイ・ビー・エム IBMシステムズ・ハードウェア事業本部 SDIテクニカル・セールス部長 大澤 暁氏

「メディアやコミュニケーション、金融といった業界でも、Spectrum Scaleが浸透してきていることを嬉しく思います。今後もSpectrum ScaleというソフトウェアとDDNの素晴らしいハードとの融合によって、ビッグデータ時代に役に立つインフラを提供していきたいと考えています」

(マイナビニュース広告企画：提供 データダイレクト・ネットワークス・ジャパン)