要旨

理化学研究所（理研）情報基盤センターは、2015年4月1日より新スーパーコンピュータシステム「HOKUSAI GreatWave（HOKUSAI-GW）」の稼働を開始しました。HOKUSAI-GWシステムは、RSCC（RIKEN Super Combined Cluster、2004年稼働）^[1]、RICC（RIKEN Integrated Cluster of Clusters、2009年稼働）に続く、さまざまな計算資源を結合した複合システムです。

HOKUSAI-GWの超並列計算システムの理論演算性能は1ペタフロップス（毎秒1,000兆回の浮動小数点演算を実行できる性能）となり、RICCの約10倍の演算速度になります。

新スパコンシステム導入の際には、1ヶ月程度のシステム全停止を伴います。また、今回の導入では、冷却装置・電力設備などの周辺設備工事も行う必要があり、半年の工事期間が見込まれました。通常、施設工事中はシステムの利用ができません。しかし、理研では、コンピュータ室内を分割し、RICCの稼働を可能な限り継続したうえで新システムへ移行することを決め、完全な利用停止期間を2週間に短縮しました。さらにRICCの計算資源の一部システムをHOKUSAIシステムに組み込んで統合化し、RICCで利用していたソフトウエア資源を今後も活用可能にしました。

HOKUSAI-GWシステムは、理研の幅広い研究分野、物理学、化学、工学、生物学、医科学での利用ニーズを考慮して設計しました。機能の異なる3つの演算システム、①外部記憶装置であるストレージ・システム（オンライン・ストレージ・システム、階層型ストレージ管理システム^[2]）②超並列演算システム③アプリケーション演算システム（GPU^[3]搭載、大容量メモリ搭載）を高速ネットワークInfiniBand（FDR 4X）^[4]で接続し、それらをあたかも1つの計算システムであるかのように利用できる環境を構築しました。このため、シミュレーションから実験パラメータへのフィードバックや、実験データのシミュレーション利用などデータ連係を容易に行うことができ、実験とシミュレーションのスムーズな連携を可能にしています。

HOKUSAI-GWシステムは、幅広い分野の研究開発活動をカバーするために設計され、研究者の研究開発活動のベースとなるシミュレーションやデータ解析などを効率的に行うことが可能な研究基盤システムです。今回稼働したHOKUSAI-GWシステムに続き、2016年頃に「HOKUSAI BigWaterfall（HOKUSAI-BW）」が導入される予定です。両システムを統合した利用環境やストレージ領域により、「HOKUSAIシステム」として一体となった運用を行い、研究者に必要不可欠な研究環境をリプレースの影響を感じさせることなくシステムを増強し、最新の計算機技術から遅れることなく利用者に提供します。

背景

理研は1964年以降、大型汎用計算機^[5]からベクトル型スーパーコンピュータ^[6]などを順次導入してきており、2004年からはLinuxサーバを高速インターコネクトで接続した超並列クラスタ型のスーパーコンピュータシステム「RSCC（RIKEN Super Combined Cluster）」を導入し、シミュレーションプログラムの並列処理が行えるように環境を整備してきました。また、シミュレーションだけでなく、高エネルギー物理学分野の実験データ処理やライフサイエンス分野でのデータベース検索などを行える環境を提供することで研究者のニーズに応えてきました。

2009年に稼働した「RICC（RIKEN Integrated Cluster of Clusters）」は、理研がスーパーコンピュータ「京」^[7]を利用するライフサイエンス分野のグランドチャレンジ・アプリケーションの開発を主導していたことから、当時実行可能な環境を探すことも、実行することも難しかった大規模シミュレーションの開発プラットフォームとして多くの研究者が利用しました。これが「京」での成果につながっています。また、RICCは使いやすさを目指して設計開発したシステムで、「京」稼働後も「京」ではできない利用環境を求めるユーザーの利用意欲が旺盛です。さまざまな運用改善を実施した結果、2013年以降はジョブの稼働率（稼働しているCPUの割合）は、通年で約95％を超える状況にありました。

しかし、結果としてRICCは高いジョブ稼働率で、ジョブの実行待ちも長い状態にあり、研究者が実行したい計算のすべてを実行することはできない状況が続いていました。また、RSCCやRICC、「京」でのアプリケーション開発やデータ処理などの実行状況を踏まえると、研究者の利用の仕方も①研究者が自作したソフトウエアを利用②公開されているソフトウエア（フリーウエア）を利用③コンピュータメーカーとは独立したソフトウェアベンダー（ISV）^[8]から提供されるソフトウエアを利用―とに分かれてきています。そのため、大規模シミュレーションやオープンソース、ISVアプリケーションの利用、また、データ処理や実験との連携などを幅広く取り込むことを念頭に、今までのシステムの可用性を大きく向上させた「HOKUSAI GreatWave（HOKUSAI-GW）」システムの設計・構築を行いました。

HOKUSAIは、浮世絵師である葛飾北斎の名からとりました。浮世絵の題材の持つ多様性と浮世絵制作のさまざまな技法が相まって高まる芸術性への情熱は、理研の多様な研究分野と研究者の研究開発に対する情熱に共通するものがあります。また、HOKUSAI-GWシステムを活用することで、浮世絵のように広く、長く世界に影響を与えられる研究開発がなされることへの期待も込めました。

研究手法と成果

HOKUSAI-GWシステムは、物理学、化学、工学、生物学、医科学といった幅広い研究分野の研究者の所属する理研の研究者の旺盛な計算ニーズに応えていくことを狙いに設計しました。

HOKUSAI-GWシステムでは、実験/シミュレーション/データ解析の融合に向けて、機能の異なる3つの演算システムを高速ネットワークInfiniBand（FDR 4X）で接続し、それらをあたかも1つの計算システムであるかのように利用できる環境を構築しました（図1・2）。1つ目は大容量データを格納するストレージ・システム（オンライン・ストレージ・システム、階層型ストレージ管理システム）、2つ目は超並列計算システム、3つ目はアプリケーションアプリケーション演算システム（GPU搭載、大容量メモリ搭載）です。

システムの中核となるオンライン・ストレージ・システムは、ファイルシステムとしてFEFS（Fujitsu Exabyte File System）^[9]を採用し、総実効容量^[10]2.1ペタバイト（PB）、総理論帯域^[11]は190ギガバイト（GB）/sの性能を有しています。階層型ストレージ管理システムは7.9PBを装備しています。また、超並列計算システムには、1ペタフロップス（毎秒1,000兆回の浮動小数点演算を実行できる性能）の理論演算性能をもつPRIMEHPC FX100（1,080ノード、34,560コア）を採用しました。さらに演算の高速化を図るため、アプリケーション演算システムには、GPU（Tesla K20Xを4枚/ノード）を搭載したサーバ30ノードと、大容量メモリを搭載したサーバを2ノード（1TB/ノード）装備し、さまざまな応用利用に対応できる構成としました。

階層型ストレージ・システムは、HOKUSAI-GWシステムのユーザーのみならず、理研内全ての研究室を対象としたバックアップ・システム（Data Depository System；D2Sサービス）にも利用しており、大容量な研究データなどを高速かつ安全にデータ転送し、バックアップする仕組みを導入しています。

新スパコンシステム導入の際には、一般的に1ヶ月程度のシステム全停止を伴います。また、今回の導入では、冷却装置（図3）・電力設備などの周辺設備工事も行う必要があり、さらに半年の工事期間が見込まれました。通常、施設工事中もシステムの利用ができません。しかし、今回のシステムリプレース作業では、コンピュータ室内を分割し、RICCの稼働を可能な限り継続したうえで新システムへ移行することを目標に掲げ、完全な利用停止期間を2週間に短縮し、利用者への影響を最小限にとどめました。

今後の期待

HOKUSAI-GWシステムの今後のスケジュールは以下の通りです。

2015年4月1日 トライアル運用開始
2015年4月下旬 2015年度課題申請を受付開始
2015年5月下旬 課題審査により採択された利用課題の本運用を開始 

今回稼働したHOKUSAI-GWシステムは2016年頃導入予定の「HOKUSAI BigWaterfall（HOKUSAI-BW）」へと続くシステムとなります。両システムを統合した利用環境やストレージ領域により、「HOKUSAIシステム」として一体となった運用を行い、研究者に必要不可欠な研究環境を提供し続けていきます。

発表者

理化学研究所
情報基盤センター 和光ユニット
ユニットリーダー 黒川 原佳（くろかわ もとよし）
上級センター技師 澤 扶美（さわ ふみ）

報道担当

理化学研究所 広報室 報道担当
Tel: 048-467-9272 / Fax: 048-462-4715

補足説明

• 1.RSCC（RIKEN Super Combined Cluster）
  大規模なLinuxクラスタ（2,048CPU、総演算性能12.5テラフロップス）を中心に、ベクトル計算機、MDGRAPE-3を搭載した専用計算機を1つのシステムとして複合した計算機システム。2004年3月に導入し、2004年6月のTOP500リスト（スーパーコンピュータの性能をランキングする世界規模のプロジェクト）では、世界7位という高い性能を示した。2005年の日本産業技術大賞（日刊工業新聞社主催）で文部科学大臣賞を受賞。
• 2.階層型ストレージ管理システム
  ハードディスク装置と磁気テープ装置のように、特性の異なるストレージ（記憶装置）を組み合わせて、データを適切に移動することで、容量あたりのコストと消費エネルギーの最適化を行うシステム。HOKUSAI-GWシステムでは、バックアップをメインとして利用するため、少量のHDDストレージと大容量のテープライブラリ装置を利用して構成している。
• 3.GPU
  Graphics Processing Unitの略。GPUは本来画像処理用に開発されたプロセッサだが、最近は、演算処理機能を加速するためのアクセラレータとして、シミュレーションや汎用計算に利用するケースが増えている。
• 4.InfiniBand（FDR 4X）
  ハイパフォーマンス・コンピューティング（HPC）分野でよく利用される高速インターコネクトを構成するネットワーク。FDRは転送レートを示し、1ポートの理論スループットは6.8GB/sとなる。
• 5.大型汎用機
  1950年代に登場した商用コンピュータで、汎用的に商用計算や科学技術計算を行える商用の大型計算機。80年代後半には、コンピュータの小型化、軽量化の中で減少した。
• 6.ベクトル型スーパーコンピュータ
  ベクトル演算のための高性能な実行演算ユニットを持ち、演算能力を可能な限り発揮できるように設計されたアーキテクチャを持つコンピュータ。
• 7.スーパーコンピュータ「京」
  文部科学省が推進する「革新的ハイパフォーマンス・コンピューティング・インフラ（HPCI）の構築」プログラムのもと、理研と富士通が共同で開発を行い、2012年9月末に共用を開始した計算速度10ペタフロップス級のスーパーコンピュータ。
• 8.ソフトウェアベンダー（ISV）
  ISVはIndependent Software Vendorの略。コンピュータメーカー系列ではない会社を指す。パッケージ・ソフトを開発・販売している。
• 9.FEFS（Fujitsu Exabyte File System）
  富士通が提供する高性能な並列分散ファイルシステム。
• 10.総実効容量
  利用者が実際に利用できる容量。
• 11.総理論帯域
  理論上データ転送可能なデータ転送速度。