計算科学研究センター 高性能人工知能システム研究チーム
チームリーダー WAHIB Mohamed（Ph.D.）
研究概要
R-CCSの研究チームの一つである「高性能人工知能システム研究チーム」は、「富岳」などの最先端の高性能計算基盤を用いた次世代のAIの探求を行うため、国内のHPCおよびAI研究機関と連携した上で、“人工知能・機械学習と高性能計算の相互的な高性能化”を目指し、特にそのための高性能システム・ソフトウェア・アルゴリズムの研究を行います。特に、具体的には深層学習の超スケール・超高速化：深層学習の最新のアルゴリズムやフレームワークと、HPCでのMPIなどの超並列化をサポートするシステムソフトウェアを用いて、「富岳」を含む大規模なスーパーコンピュータ基盤上で超スケーリングするシステム研究、深層学習や他の機械学習・AI関連のアルゴリズムを分析し、それらの性能モデリングを行い、演算カーネル部分を最新のハードウェアアーキテクチャにおいて加速するシステム研究、超高速・超スケール化した機械学習のシステムを用いて、超深層なニューラルネットワークや、高解像度GANなどの、莫大な計算量が必要な先進的AIアルゴリズムを加速するシステム研究、機械学習に代表される経験則的手法でHPCのアルゴリズムやアプリケーションを大幅に加速するシステム研究などを、内外のHPCおよびAIに関する研究機関と連携して行っていきます。
研究主分野
- 情報学
研究関連分野
- 高性能計算
- 並列・分散処理
- 計算機システム
キーワード
- 高性能人工知能システム
- 知能プログラミングシステム
- 深層学習等の人工知能アルゴリズムの性能モデリング
- スケーラブルな深層学習
- 人工知能とシミュレーションの融合
主要論文
「*」は、理研外のみでの成果です。
- 1.
*Thao Nguyen Truong, Balazs Gerofi, Edgar Josafat Martinez-Noriega, Francois Trahay, Mohamed Wahib, KAKURENBO:
"Adaptively Hiding Samples in Deep Neural Network Training",
Advances in Neural Information Processing Systems 2023 (NeurIPS 2023) - 2.
*Huaipeng Zhang, Nhut-Minh Ho, Yigit Polat Dogukan, Peng Chen, Mohamed Wahib, Truong Thao Nguyen, Jintao Meng, Rick Siow Mong Goh, Satoshi Matsuoka, Tao Luo, Weng-Fai Wong,
"Simeuro: A Hybrid CPU-GPU Parallel Simulator for Neuromorphic Computing Chips,"
in IEEE Transactions on Parallel and Distributed Systems, vol. 34, no. 10, pp. 2767-2782, Oct. 2023 - 3.
*Lingqi, Mohamed Wahib, Chen Peng, Jintao Meng, Xiao Wang, Toshio Endo, Satoshi Matsuoka, PERKS:
"a Locality-Optimized Execution Model for Iterative Memory-bound GPU Applications",
ACM 37th International Confernce on Supercomputing (ACM ICS 2023) - 4.
*Jintao Meng, Chen Zhuang, Peng Chen, Mohamed Wahib, Bertil Schmidt, Xiao Wang, Haidong Lan, Dou Wu, Minwen Deng, Yanjie Wei, Shenzhong Feng,
"Automatic Generation of High-Performance Convolution Kernels on ARM CPUs for Deep Learning"
in IEEE Transactions on Parallel & Distributed Systems, vol. 34, April 2022. - 5.
*Jintao Meng, Peng Chen, Mingjun Yang, Mohamed Wahib, Yanjie Wei, Shengzhong Feng, Wei Liu, Junzhou Huang,
"Boosting the Predictive Performance with Aqueous Solubility Dataset Curation",
Nature Scientific Data, March 2022 - 6.
*Albert Khaira, Truong Thao Nguyen, Leonardo Bautista Gomez, Ryousei Takano, Rosa Badia, Mohamed Wahib:
"An Oracle for Guiding Large-Scale Model/Hybrid Parallel Training of Convolutional Neural Networks",
30th ACM International Symposium on High-Performance Parallel and Distributed Computing (HPDC 2021) - 7.
Peng Chen, Mohamed Wahib, Xiao Wang, Takahiro Hirofuchi, Hirotaka Ogawa, Ander Biguri, Richard Boardman, Thomas Blumensath, Satoshi Matsuoka,
"Scalable FBP Decomposition for Cone-Beam CT Reconstruction",
International Conference for High Performance Computing, Networking, Storage, and Analysis (SC 2021) - 8.
Fareed Mohammad Qararyah, Mohamed Wahib, Doga Dikbayır, Mehmet Esat Belviranl, Didem Unat,
"A computational-graph Partitioning Method for Training Memory-constrained DNNs",
Elsevier Parallel Computing, Volume 104 pp. 102-117, July 2021 - 9.
Mohamed Wahib, Haoyu Zhang, Truong Thao Nguyen, Aleksandr Drozd, Jens Domke, Lingqi Zhang, Ryousei Takano, Satoshi Matsuoka:
"Scaling Deep Learning Workloads Beyond Memory Capacity",
International Conference for High Performance Computing, Networking, Storage, and Analysis (SC 2020) - 10.
Chen Peng,Wahib Mohamed,Takizawa Shinichiro,Matsuoka Satoshi:
"A Versatile Software Systolic Execution Model for GPU Memory Bound Kernels",
International Conference for High Performance Computing, Networking, Storage, and Analysis (SC 2019)
関連リンク
メンバーリスト
主宰者
- WAHIB Mohamed
- チームリーダー
メンバー
- 五十嵐 潤
- 上級研究員
- DROZD Aleksandr
- 研究員
- VATAI Emil
- 研究員
- BAI Zhengyang
- 特別研究員
- CHEN Peng
- 客員研究員
- GEROFI Balazs
- 客員研究員
- 横田 理央
- 客員研究員
採用情報
| 募集職種 | 応募締切 |
|---|---|
| 研究員もしくは上級研究員（無期雇用職）募集（23N23） | 2023年12月15日 |
| 研究員または特別研究員募集（R-CCS2202） | ポストが決まり次第 |
お問い合わせ先
〒103-0027 東京都中央区日本橋1-4-1 日本橋一丁目三井ビルディング 15階
Email: mohamed.attia [at] riken.jp
※[at]は@に置き換えてください。