Lustre
セキュリティにますます関心が高まっているLustreユーザーに対応
Lustreとは並列分散ファイルシステムであり、今日まで、HPCや科学技術計算のためのオープンソース並列ファイルシステムにおいて首位の座を堅持しています。
Lustreとは ー 基本構成
Lustre並列ファイルシステムのコンポーネントと動作の仕組みは以下の通りです。- メタデータサーバ(MDS)： メタデータを管理するためのサーバ。ファイルシステム単位、ディレクトリ単位での分散処理およびActive/Standbyの冗長構成が可能
- メタデータターゲット(MDT)：メタデータ格納領域
- オブジェクトストレージサーバ(OSS)：データ格納用ストレージのGatewayとして動作。クライアントからの要求に従い、OSTへI/O処理を行う(複数台のOSSを跨いだストライプにより高スループットを実現) Pair NodeによるActive/Activeの冗長構成が可能
- オブジェクトストレージターゲット(OST)：データ格納領域
極めて高性能で、大規模環境に対応でき、新技術を柔軟に取り入れた、オープンソースのファイルシステム
研究者は、HPCにおいて最も要求の厳しいユーザー層です。研究の生産性を高めるために、先進的な高性能機器を使用する現場は、集中型ストレージモデルの方向へ移行しつつあります。集中型ストレージによるアプローチを使用すれば、より高いデータレートでより多くのプロジェクトに同時にデータ提供ができるデータアクセス速度を実現し、必要な時にいつでも最良のオープンソースと新しい技術を採用して、コスト効率を高め、管理の負荷を軽減することができます。集中型ストレージインフラストラクチャ構築時の主な要件は、複数のクラスタや複数世代のクラスタが使われていても、その現場全体のデータニーズに対応でき、拡張もできることです。
DDNとLustre 並列ファイルシステムのこれまで
DDNは企業として、Lustreと共に成長と発展を遂げて来ました。HPC用ファイルシステムのオープンソースコミュニティ、OpenSFSの創立メンバーであるDDNは、Lustreのサポートを最初に始めたストレージベンダーであり、世界一多くのLustre環境をサポートしています。2003年にDDNより大規模Lustreシステムを導入し、運用を開始した最初の顧客は米国国立スーパーコンピュータ応用研究所(National Center for Supercomputing Applications, NCSA)でした。NCSAの1,280ノードのタングステン・クラスターには、104台のOSS(Object Storage Server)が管理する140TBのLustreファイルシステムが提供され、11GB/秒を超える持続的なI/O速度を実現し、Top 500リストの4位にランクインしました。
2008年夏には筑波大学に日本で最初のLustreをベースとした大型EXAScaler®システムが納入されました。このシステムは4台のOSSと200本の500GB SATAドライブおよび40本の750GB SATAドライブを搭載した5台のDDN S2A9550ストレージで構成され、シングルファイルシステムで10GB/秒の帯域幅と500TBの容量を有していました。
2009年に本格的に販売開始されたDDNのEXAScalerは、テクニカルコンピューティング、ビッグデータ、およびAI市場向けのLustreディストリビューションの業界標準になりました。
DDNのLustreアプライアンスの性能と規模を備えた完全なマルチレベルセキュリティLustreソリューション
Lustre ユーザーは、ますます高いセキュリティを必要としています政府機関や企業の間で、伝統的なHPCが必要とする要件と高度なセキュリティはますます重なってきています。政府機関、金融サービス企業およびライフサイエンス企業は、より高いレベルの保護を必要とする重要なデータを取り込み、処理し、共有するために、ますます高まるパフォーマンスとスケーラビリティのニーズに対応するために、Lustre 並列ファイルシステムを採用する可能性の高いワークフローの1つです。
安全なLustre 環境を構築するには、豊富な経験が必要不可欠です
しかし、最近まで、Lustreで安全な環境を構築するには、高度な構成からカスタムコードまで、多くの社内専門知識が必要でした。
今日、DDNはLustre用のマルチレベルセキュリティ（MLS）ソリューションを提供し、完全なLustreユーザーとデータの分離を可能にしています。 DDNのMLS Lustreソリューションは、より小型または大規模なアプライアンス上に構築できるため、お客様は制約なしにソリューションのパフォーマンス、容量、スケーラビリティを選択できます。 DDN独自のパフォーマンス最適化により、セキュアな環境のパフォーマンスが最大2倍向上し、セキュリティコンポーネントのオーバーヘッドが最小限に抑えられます。
マルチレベルセキュリティ(MLS) Lustre ファイルシステム・ソリューション 概要
マルチレベルセキュリティ(MLS) Lustre ファイルシステムソリューションは、DDN独自の機能、DDNのハードウェア基盤、Lustreに特化した開発、および専門的なプロフェッショナルサービスを統合したソリューションです。
- DDN EXAScaler®アプライアンスは、業界最高水準の密度、性能、および規模を誇る、集中管理された構成と管理を提供するアプライアンスです。
- SE LINUXによる強力なセキュリティ基盤
- Dockerによるコンテナ化によりユーザーデータを分離可能
- Kerberos(ネットワーク認証プロトコル)によるユーザー認証
- DDNは、2倍のパフォーマンス向上を実現する完全なソリューションを提供
DDN EXAScaler － 業界最先端のLustreアプライアンス
DDNは、Lustreの開発、システム設計、実装、およびサポートにおける10年以上の経験に基づき、EXAScalerシリーズのLustreアプライアンスを提供しています。最近では、ZFS上のLustreとソフトウェア版 EXAScalerのインストールをサポートするため、EXAScaler Enterprise Lustre *ディストリビューションのサポートを強化しました。
EXAScalerは、業界で最も強力なストレージアーキテクチャとDDNによって強化されたEXAScaler Enterprise Lustre *ディストリビューション、DDN統合ツール、システムモニタリングツール、およびエンジニアリング、プリセールス、サポートにおける層の厚いLustreエキスパートによるサポートを組み合わせた製品です。これにより、最も過酷なHPC環境で実証された、業界最速、最先端のLustreアプライアンスが実現されています。
DDN EXAScaler メリット
- 最もスケーラブル
- 100TB 未満から導入可能
デバイスあたり14 PBまでスケールアップ可能
競合製品に対しデバイスあたり2.5倍の容量
- 業界最高の密度
- ラックあたり7PB
競合製品の2倍の密度
- 豊富な経験
- Lustreの開発とサポートにおける10年以上の経験
No.1 Lustreサプライヤー
- 業界最速
- ラックあたり1/2 TB/秒
競合製品の4倍の速度
- Flash向けの設計
- オールSSD
ハイブリッド
- エクサスケールに対応可能
- ペタスケールの能力
エクサスケールのFlashと統合が可能
EXAScalerは、他では得られない特徴と機能を提供
| 内蔵／コンバージド | コンバージドストレージとネットワークによるTCOの削減 コンバージドファイルシステムによるレイテンシの改善 |
|---|---|
| インストール／構成ツール | データマイグレーションツール、インストールツール、および構成ツールによってLustreへの移行を簡略化 |
| SFX™テクノロジー | SFXリードキャッシュが、3つのモード（リード・モード、インスタント・コミット・モード、コンテキスト・コミット・モード）により、キャッシングをシステムレベルからSSD階層にまで拡大 |
| ディレクトリレベルの容量制限 | プロジェクトレベルの容量制限を柔軟に設定可能 |
| メタデータ | 小さいファイルを扱う性能が向上 |
| クライアント性能の向上 | 小さいI/Oと大きいI/Oの両方についてクライアント性能が向上 |
| Lustreモニタリング | Lustre Jobstatによるきめ細かいファイルシステムモニタリング |
EXAScaler 使用顧客
東京工業大学
15.9PBの実効容量を持つ、スーパーコンピュータTSUBAME3.0には、ES14KXストレージアプライアンスの3セットで構成された EXAScaler® Lustre並列ファイルシステムが使用されており、ピーク性能が150GB/秒となっています。
東北大学 東北メディカル・メガバンク機構
コストを抑えながらデータバイオバンク機能を増強し日本のゲノム医療研究を国内最大規模 50PBのDDN EXAScaler高速大容量ストレージシステムが支えています。限られた予算の中でシステムを更新し、セキュリティと利便性、パフォーマンスのすべてのバランスが取れたシステムを実現しています。
東京大学
2016年から稼働を開始したXeon(Broadwell-EP)ベースのスーパーコンピューター、「Reedbush」に、Lustreベースの並列ファイルシステムが使用されています。
関連情報
Japan Lustre User Group 2020 イベントレポート
ユーザーグループ10周年を迎え、国内で拡大するLustreコミュニティと最新事例
Japan Lustre User Group レポート
過去のLustre User Groupの講演資料、動画はこちらから
インテルのLustreファイルシステム部門を買収
データ管理機能を強化し、アナリティクスとハイブリッドクラウド環境に対応
NVIDIA DGXサーバから33GB/sの性能を実証
AI/ディープラーニング/マシンラーニングのイニシアチブを加速
Lustreとマルチレベルセキュリティ(MLS)とは？
SELinuxとMLSはLustre並列ファイルシステムとどのように連携するのか？
開発とコントリビューションを通じ Lustreの進歩を促進
HPCwire掲載記事ーLustre2.10の新機能と今後の開発計画
DDN、マルチレベルのセキュリティ対応の業界最速Lustre ソリューションを発表
MLS Lustreソリューション
東京工業大学とDDNがスーパーコンピュータ「TSUBAME3.0」の研究開発で協業
AIやビッグデータ向け使用も支援