1. Home
  2. 研究室紹介
  3. 革新知能統合研究センター
  4. 汎用基盤技術研究グループ

革新知能統合研究センター 深層学習理論チーム

チームリーダー 鈴木 大慈(Ph.D.)

研究概要

鈴木 大慈 (Ph.D.)

深層学習を含む様々な学習機構について理論的側面から研究を進めています。より少ないデータでより精度良く学習するにはどうすればよいか。学習理論を通じて各種学習手法の汎化性能や学習アルゴリズムの収束性能を解明し複雑な学習過程の本質への理解を深め、さらに理論をもとに新しい機械学習手法の構築や応用への還元を行っています。特に、機械学習では高次元かつ複雑なデータを用いた学習が要求されますが、それを解決する方法として深層学習や構造的スパース推定の方法論を研究しています。また、確率的最適化などの方法により大規模かつ複雑な機械学習問題を効率的に解く手法の開発も行っています。

研究テーマ:

  • 深層学習を含む広い学習機構の統計的学習理論
  • 大規模データにおける効率的最適化アルゴリズム
  • 高次元統計学

研究主分野

  • 情報学

研究関連分野

  • 数物系科学
  • 情報学基礎/数理情報学
  • 情報学基礎/統計科学

キーワード

  • 深層学習
  • 統計的学習理論
  • 機械学習
  • 確率的最適化
  • 数理統計

主要論文

  • 1. Taiji Suzuki, Hiroshi Abe, Tomoya Murata, Shingo Horiuchi, Kotaro Ito, Tokuma Wachi, So Hirai, Masatoshi Yukishima, Tomoaki Nishimura.:
    "Spectral pruning: Compressing deep neural networks via spectral analysis and its generalization error"
    The 29th International Joint Conference on Artificial Intelligence and the 17th Pacific Rim International Conference on Artificial Intelligence (IJCAI-PRICAI 2020).
  • 2. Taiji Suzuki, Hiroshi Abe, Tomoaki Nishimura.:
    "Compression based bound for non-compressed network: unified generalization error analysis of large compressible deep neural network"
    The 8th International Conference on Learning Representations (ICLR 2020).
  • 3. Jimmy Ba, Murat Erdogdu, Taiji Suzuki, Denny Wu, Tianzong Zhang.:
    "Generalization of two-layer neural networks: An asymptotic viewpoint"
    The 8th International Conference on Learning Representations (ICLR 2020).
  • 4. Kenta Oono and Taiji Suzuki.:
    "Approximation and non-parametric estimation of ResNet-type convolutional neural networks"
    The 36th International Conference on Machine Learning (ICML 2019), pp. 4922-4931, (2019).
  • 5. Taiji Suzuki.:
    "Adaptivity of deep ReLU network for learning in Besov and mixed smooth Besov spaces: optimal rate and curse of dimensionality"
    The 7th International Conference on Learning Representations (ICLR 2019).
  • 6. Atsushi Nitanda and Taiji Suzuki.:
    "Functional gradient boosting based on residual network perception"
    The 36th International Conference on Machine Learning (ICML 2018), pp. 3819-3828, (2018).
  • 7. Taiji Suzuki.:
    "Fast generalization error bound of deep learning from a kernel perspective"
    The 21st International Conference on Artificial Intelligence and Statistics (AISTATS 2018), pp. 1397-1406, (2018).
  • 8. Suzuki, T., Kanagawa, H., Kobayashi, H., Shimizu, N., and Tagami, Y.:
    "Minimax optimal alternating minimization for kernel nonparametric tensor learning"
    The 30th Annual Conference on Neural Information Processing Systems (NIPS2016), pp. 3783-3791, (2016).

関連リンク

メンバーリスト

主宰者

鈴木 大慈
チームリーダー

メンバー

園田 翔
特別研究員

お問い合わせ先

東京都文京区本郷 7-3-1
東京大学大学院 情報理工学系研究科 数理情報学専攻
Email: taiji [at] mist.i.u-tokyo.ac.jp
※[at]は@に置き換えてください。

Top