革新知能統合研究センター 深層学習理論チーム
チームディレクター 鈴木 大慈(Ph.D.)
研究概要

深層学習を含む様々な学習機構について理論的側面から研究を進めています。より少ないデータでより精度良く学習するにはどうすればよいか。学習理論を通じて各種学習手法の汎化性能や学習アルゴリズムの収束性能を解明し複雑な学習過程の本質への理解を深め、さらに理論をもとに新しい機械学習手法の構築や応用への還元を行っています。特に、機械学習では高次元かつ複雑なデータを用いた学習が要求されますが、それを解決する方法として深層学習や構造的スパース推定の方法論を研究しています。また、確率的最適化などの方法により大規模かつ複雑な機械学習問題を効率的に解く手法の開発も行っています。
研究テーマ:
- 深層学習を含む広い学習機構の統計的学習理論
- 大規模データにおける効率的最適化アルゴリズム
- 高次元統計学
研究主分野
- 情報学
研究関連分野
- 数物系科学
- 情報学基礎/数理情報学
- 情報学基礎/統計科学
キーワード
- 深層学習
- 統計的学習理論
- 機械学習
- 確率的最適化
- 数理統計
主要論文
- 1.
Juno Kim, Taiji Suzuki.:
"Transformers Learn Nonlinear Features In Context: Nonconvex Mean-field Dynamics on the Attention Landscape. Forty-first International Conference on Machine Learning (ICML2024),"
Proceedings of Machine Learning Research, 235:24527--24561, (2024) - 2.
Kazusato Oko, Shunta Akiyama, Denny Wu, Tomoya Murata, Taiji Suzuki.:
"SILVER: Single-loop variance reduction and application to federated learning. Forty-first International Conference on Machine Learning" (ICML2024)
Proceedings of Machine Learning Research, 235:38683--38739, (2024) - 3.
Taiji Suzuki, Denny Wu, Atsushi Nitanda.:
"Convergence of mean-fieldLangevin dynamics: Time and space discretization, stochastic gradient,and variance reduction."
Thirty-seventh Conference on NeuralInformation Processing Systems (NeurIPS2023), pp. 15545--15577,(2023) - 4.
Taiji Suzuki, Denny Wu, Kazusato Oko, Atsushi Nitanda.:
"Feature learning via mean-field Langevin dynamics: classifying sparse parities and beyond."
Thirty-seventh Conference on Neural Information Processing Systems (NeurIPS2023), pp. 34536--34556,(2023) - 5.
Kazusato Oko, Shunta Akiyama, Taiji Suzuki.:
"Diffusion Models are Minimax Optimal Distribution Estimators. Proceedings of the 40th International Conference on Machine Learning (ICML2023)"
Proceedings of Machine Learning Research, 202:26517--26582,(2023) - 6.
Shokichi Takakura, Taiji Suzuki.:
"Approximation and Estimation Ability of Transformers for Sequence-to-Sequence Functions with Infinite Dimensional Input. Proceedings of the 40th International Conference on Machine Learning (ICML2023)"
Proceedings of Machine Learning Research, 202:33416--33447, (2023) - 7.
Atsushi Nitanda, Denny Wu, Taiji Suzuki.:
"Convex Analysis of the Mean Field Langevin Dynamics. 25th International Conference on Artificial Intelligence and Statistics (AISTATS2022)"
Proceedings of Machine Learning Research, 151:9741--9757,(2022) - 8.
Atsushi Nitanda, and Taiji Suzuki.:
"Optimal Rates for Averaged Stochastic Gradient Descent under Neural Tangent Kernel Regime."
ICLR2021 (ICLR2021 outstanding paper award). - 9.
Taiji Suzuki, Hiroshi Abe, Tomoya Murata, Shingo Horiuchi, Kotaro Ito, Tokuma Wachi, So Hirai, Masatoshi Yukishima, Tomoaki Nishimura.:
"Spectral pruning: Compressing deep neural networks via spectral analysis and its generalization error"
The 29th International Joint Conference on Artificial Intelligence and the 17th Pacific Rim International Conference on Artificial Intelligence (IJCAI-PRICAI 2020) - 10.
Taiji Suzuki, Hiroshi Abe, Tomoaki Nishimura.:
"Compression based bound for non-compressed network: unified generalization error analysis of large compressible deep neural network"
The 8th International Conference on Learning Representations (ICLR 2020)
関連リンク
メンバーリスト
主宰者
- 鈴木 大慈
- チームディレクター
メンバー
- 園田 翔
- 上級研究員
- HUANG Wei
- 研究員
- MASSAROLI Stefano
- 特別研究員
- 若山 智哉
- 特別研究員
- 金森 敬文
- 客員研究員
- 竹之内 高志
- 客員研究員
- 藤澤 洋徳
- 客員研究員
- 赤穂 昭太郎
- 客員研究員
- 川島 孝行
- 客員研究員
- 和田 裕一郎
- 客員研究員
- 村田 昇
- 客員研究員
- 村田 智也
- 客員研究員
- 大古 一聡
- 研修生
- SECRIERU Dragos
- 研修生
- BU Dake
- 実習生
- 髙梨 耕作
- 研究パートタイマーⅠ
- 西川 直輝
- 研究パートタイマーⅠ
- 川田 遼太郎
- 研究パートタイマーⅡ
- 樋口 嶺
- 研究パートタイマーⅡ
お問い合わせ先
東京都文京区本郷 7-3-1
東京大学大学院 情報理工学系研究科 数理情報学専攻
Email: taiji.suzuki@riken.jp