理化学研究所（理研）脳神経科学研究センター 脳型知能理論研究ユニットの田澤 右京 大学院生リサーチ・アソシエイトと磯村 拓哉 ユニットリーダーの研究チームは、変分原理^[1]の観点からシナプス結合^[2]の形成および切断が従うべき方程式を理論的に導出し、その式により神経回路が外界に存在する因果関係のグラフ構造^[3]を正しく学習できることを数理解析およびシミュレーションによって示しました。

本研究成果は、生物による構造学習^[4]の神経基盤への理解を深め、脳に知性が現れる仕組みの理解や、AIの学習アルゴリズムのさらなる発展に貢献すると期待されます。

私たちの物事の認識は因果関係のグラフ構造に基づいていると考えることができます。例えば、ポケットから着信音が聞こえたら、私たちは服から音が出たとは考えず、自然とその中にあるスマートフォン（以下、スマホ）などの電子機器が原因であると推論します。これは服・スマホ・着信音が形成する因果関係のグラフ構造を正しく学習できているからできる推論です。しかし、脳がグラフ構造を学習する仕組みは完全には分かっていません。

今回、研究チームは、神経回路ダイナミクスとベイズ推論^[5]の数学的等価性という概念に基づき、構造学習を遂行するためにシナプス結合の形成および切断が従うべき方程式を理論的に導出し、その式により正しい構造学習が達成されることを数理的に保証することに成功しました。

本研究は、科学雑誌『Neural Networks』オンライン版（11月8日付）に掲載されました。

背景

私たちが物事を認識することは、因果関係のグラフ構造に基づいていると考えることができます。例えば、ポケットから着信音が聞こえたら、私たちは服から音が出たとは考えず、自然とその中にあるスマホなどの電子機器が原因であると推論します。このように外界の複数の要因（この場合、服・スマホ・着信音）の間の因果関係のグラフ構造を学習することを「構造学習」といいます。しかし、脳がどのような仕組みで、構造学習を行うのかはまだ完全には分かっていません。

脳の変分原理として、近年「自由エネルギー原理」と呼ばれる脳理論が多方面から注目されています。自由エネルギー原理によると、脳の神経回路は、生成モデル^[6]と呼ばれる数式により外界の因果構造を表象しており、変分原理を使って外界のベイズ推論を近似的に行うことで、知覚・学習・行動を最適化していると考えられています。古典的な神経回路モデルのダイナミクスとこのベイズ推論は数式的に一致することが確認されており^注1）、実際の神経回路が自由エネルギー原理に従うことが示唆されています。また、構造学習についても自由エネルギー原理の考えに基づいた方法が提案されていますが、これまでその方法を実現する具体的な神経メカニズムについては十分に言及されていませんでした。

一方、発達期の脳においては、一度たくさんのシナプス結合を形成した後に不必要なシナプス結合が切断される「シナプス刈り込み」という現象が知られており、これまでに情報学的な観点から計算モデルが提案されています^注2）。このシナプス刈り込みは神経回路のネットワーク構造を制御できることから、前述の構造学習の神経メカニズムの一端を担うと考えられます。しかし、シナプス刈り込みと構造学習との関連性は十分に調べられていませんでした。

そこで本研究では脳の変分原理から自然に導出されるシナプス刈り込みの数式と構造学習の関係を調べ、その有用性を評価しました。

• 注1）2022年1月14日プレスリリース「神経回路は潜在的な統計学者」
• 注2）Scholl C, Rule ME, Hennig MH (2021) .The information theory of developmental pruning: Optimizing global network architectures using local synaptic rules. PLOS Computational Biology 17(10): e1009458

研究手法と成果

シナプス刈り込みと構造学習との情報学的な関連性を解析するに当たり、神経活動（発火率）やシナプス可塑性^[7]といったダイナミクスを示す神経回路と、自由エネルギーを最小化するようにベイズ推論をすることが数式の上で一対一に対応することを基礎としました。この対応関係によって、シナプス刈り込みという神経生理学的な現象を、ベイズ推論という情報学的な観点で解析することが可能になります。

本研究では、はじめに神経回路のモデルにシナプス刈り込みの要素を取り入れました。シナプス刈り込みは先行研究の神経回路モデルにおいて、個々のシナプス結合の重みに対して0（シナプスの切断を意味）か1（シナプスの残存を意味）を掛けることで表現できます（図1の「神経活動」の式におけるC_wとC_k）。続いて、神経活動の式を積分することでシナプス刈り込みを取り入れた神経回路のコスト関数^[8]を導出しました（図1の「神経回路のコスト関数」の式）。

さらに、先行研究と同様の手続き（図1の「数学的に等価」の矢印）に従い、シナプス刈り込みが起こる神経回路のコスト関数と数学的に等価な自由エネルギー（図1の「自由エネルギー」の式）を与えるような生成モデルを特定しました（図1の「生成モデル」の式）。その結果、拡張した神経回路モデルにおけるシナプス刈り込みの要素が、因果関係のグラフ構造において結合の有無を0か1かで決めるベイズモデル選択^[9]と数式として等価であることが示されました（図1の上部）。つまり、シナプス刈り込みによって神経細胞間の結び付きが変化することで、ある特定のモデルに基づいた学習を超えて、モデルそのものを学習することが可能になることが示されました。

続いて、シナプス刈り込みが従うべき方程式を導出しました。最適なベイズ推論は自由エネルギーを最小化することにより達成されるので、自由エネルギーを最小化するモデル選択の方程式を導き出し、それを先に述べた数式上の対応関係を用いて神経回路における式に"翻訳する"ことで、統計的な構造学習の観点から最適なシナプス刈り込みの方程式を導出しました。

さらに、導出した方程式に従うと、外界に存在しない結合（例えば、服から着信音への因果関係）は神経回路が表す生成モデルにおいても必ず切断される（すなわち服から着信音は鳴らないことを学習できる）ことを数理解析により示しました。これは、これまでに提案されていたシナプス刈り込みのモデルがいずれもヒューリスティック^[10]なものであったことと対照的です。

以上の一連の流れで導かれたモデル選択手法を"Bayesian Synaptic Model Pruning（BSyMP）"と命名し、シミュレーションを用いてBSyMPが実際にうまくモデル選択を遂行できることを確かめました。さらに、過去に提案されていたモデル選択手法とBSyMPの性能を比較しました。シミュレーションには与えられた観測信号の背後にある隠れた信号源を推定するブラインド信号源分離タスクと、隠れた信号源の状態が時間変化する際のルールを推定するルール学習タスクを用いた評価を行ったところ、どちらの課題においてもBSyMPは既存の手法よりも小さい推定誤差で外界の因果構造を推定できることを示しました。

今後の期待

シナプスの形成・切断のルールに関して、これまで広く受け入れられている方程式はありませんでしたが、本研究ではベイズ推論と変分原理の観点から最適な更新則の数式を導出し、学習結果が望ましい性質を持つことを示しました。提案モデルは、今後シナプス刈り込みの構造学習への寄与を神経回路レベルで検証する際の指針になることが期待されます。

また、シナプス刈り込みは脳の発達過程と密接な関係があり、精神疾患をはじめとしたさまざまな疾患との関連が指摘されています。そのため、本研究が神経に関わる疾患の機序理解や治療法確立に貢献することが期待されます。

さらに、機械学習の分野ではシナプス刈り込みと類似のドロップアウト^[11]と呼ばれる手法の有用性が広く認められています。今回の研究で性能比較に用いた既存のモデル選択手法はシナプスの重みに基づいたドロップアウトに相当しますが、本研究の数理解析とシミュレーション結果は、提案するBSyMPがドロップアウトのためのより優れた基準を提供することを示唆しており、AIの学習アルゴリズムのさらなる発展に貢献することが期待されます。

補足説明

• 1.変分原理
  ある量（例えば自由エネルギー）が最小になるように、システムの状態やパラメータを選ぶという原理。物理学から機械学習まで幅広い領域で用いられている。
• 2.シナプス結合
  神経細胞間に形成されシグナル伝達を行う接合構造。化学シナプスと電気シナプスがあるが、ここでは化学シナプスを考える。
• 3.グラフ構造
  ノード（点）とエッジ（線）から成る関係の表現形式。神経回路、因果関係、ネットワーク構造などを数理的に記述する際に用いられる。
• 4.構造学習
  観測データに基づいてグラフ構造を推定する学習過程。
• 5.ベイズ推論
  観測データに基づき事前確率を事後確率に更新するプロセスのことであり、自由エネルギーというコスト関数（[8]参照）を最小化するダイナミクスによって表すことができる。
• 6.生成モデル
  隠れ状態（直接観測できない外界の変数）から感覚入力が生成される仕組みを統計的に表す数式。
• 7.シナプス可塑性
  神経細胞の活動に依存してシナプス結合の強度が変化する現象。学習の神経基盤として知られている。
• 8.コスト関数
  何らかのコストの大きさを表す関数。コストを最小化するように内部状態を更新することで、ダイナミクスを生成したり最適化したりする。目的関数ともいう。
• 9.モデル選択
  最も妥当な生成モデルを複数の候補から選択する手続き。あらかじめ固定されたモデルの中でパラメータを調整する学習（例：ガウス分布を使うなら平均と分散の推定）を超えて、データに最も適した"モデルそのもの"を学習する（例：ガウス分布とラプラス分布のどちらを使うのが適切かを判断する）。
• 10.ヒューリスティック
  厳密な最適解ではなく、経験則や直観に基づいて近似的に解を求める方法。
• 11.ドロップアウト
  人工ニューラルネットワーク（ヒトの脳を模す目的で考案された数理モデル）の学習時に、一部のユニット（ノード）を確率的に無効化しながら学習させる手法。モデルが学習に使ったデータに過剰適合するのを防ぐために用いられる。

研究チーム

理化学研究所 脳神経科学研究センター 脳型知能理論研究ユニット
大学院生リサーチ・アソシエイト 田澤 右京（タザワ・ウキョウ）
（京都大学 大学院情報学研究科 博士後期課程1年）
ユニットリーダー 磯村 拓哉（イソムラ・タクヤ）

研究支援

日本学術振興会（JSPS）科学研究費助成事業学術変革領域研究（A）「生成モデルのリバースエンジニアリングに基づく脳型人工知能の創出（研究代表者：磯村拓哉、JP23H04973）」、科学技術振興機構（JST）戦略的創造研究推進事業CREST「多感覚の統一的知覚を担う座標変換回路の解明（研究代表者：大木研一、JPMJCR22P1）」などによる助成を受けて行われました。

原論文情報

• Ukyo T. Tazawa, Takuya Isomura, "Synaptic pruning facilitates online Bayesian model selection", Neural Networks, 10.1016/j.neunet.2025.108311

発表者

理化学研究所
脳神経科学研究センター 脳型知能理論研究ユニット
大学院生リサーチ・アソシエイト 田澤 右京（タザワ・ウキョウ）
ユニットリーダー 磯村 拓哉（イソムラ・タクヤ）

発表者のコメント

この論文は、私にとって理論神経科学の研究で初めての成果です。研究の過程にはいくつか行き詰まるポイントもありましたが、研究活動は総じて非常に楽しく、特にBSyMPにより不要な結合の切断が保証されることが示せたときは心が躍りました。また、本研究は生命科学や情報科学をはじめとしたさまざまな学問にまたがる学際的な研究であり、非常に意義深いものだと考えています。今後も、心躍るような数式とともに、意義深い研究成果を発信していければと考えています。（田澤 右京）

報道担当

理化学研究所 広報部 報道担当
お問い合わせフォーム

産業利用に関するお問い合わせ

お問い合わせフォーム