研究会趣旨

 機械学習やビッグデータなど、データサイエンス分野における数学研究および数学教育の重要性が昨今高まっており、特にこれまであまり接点の多くなかった微分方程式分野との関連が注目されている。本研究会では、微分方程式や数値解析の手法やアイデアを生かした機械学習やビッグデータの解析手法を広く取りあげることで、参加者間の情報共有を図り、解析学・応用数学分野の研究者が参入しやすい新たなデータサイエンスの研究方向や教育システムの開拓を目指す。2〜3月程度に1度の割合で不定期に開催する。


 第3回

  • 日 時:2020年1月6日(月)14:30−17:30
  • 場 所:未定

  • 講演者:長瀬准平 氏(芝浦工業大学大学院 理工学研究科
        システム理工学専攻)
  • 題 目:深層ニューラルネットの表現集合に基づく設計
  • 要 旨:
     深層ニューラルネット(DNN)は“任意の関数を任意の精度で”近似することができるという万能近似性を有した強力な学習機械である.この万能近似性から,理論上は単純なDNNモデルを用いるだけで十分な表現能力をもつものが得られることになるが、実際にはより良い学習性能をもつ複雑なモデルが実験的に提案され続けている.それらのモデルに組み込まれている様々な構造・仕組みについては体系的な理論は未だ整備されておらず,理論と実装の間には大きな乖離があると考えられる.
     本発表では,近年のDNNの特徴的な構造の一つであるスキップ接続について着目し,万能近似性とは異なる視点で表現能力の議論を行う.いくつかのスキップ接続を等価な設計として表せることを数学的に示すことで,モデルの設計に関する一般的な結果を述べる.



 第4回

  • 日 時:2020年3月6日(金)15:00−18:00
  • 場 所:未定

  • 講演者:今泉允聡 氏(統計数理研究所)
  • 題 目:TBA
  • 要 旨:TBA



 幹事


 後援



 開催済みの情報


 第2回

  • 日 時:2019年11月27日(水)15:00−18:00
  • 場 所:金沢大学角間キャンパス 自然研5号館 223室

  • 講演者:園田翔 氏(理化学研究所 革新知能統合研究センター)
  • 題 目:連続モデルによるニューラルネットの解析
  • 要 旨:
     今日のニューラルネットは数億個にものぼるパラメータをもつ巨大な学習機械である。学習後のパラメータの解釈は困難であることから,しばしばブラックボックスと呼ばれる。講演者は,ニューラルネットを連続化することでブラックボックスの仕組みを理解する研究に取り組んでいる。連続化理論には2種類あり,1つの中間層を連続化する幅方向の理論(積分表現理論)と,中間層同士の繋がりを連続化する深さ方向の理論(輸送解釈,ODE-Net)からなる。幅方向の理論は関数解析や調和解析の対象として学習機械を調べる理論であり,歴史的な経緯から従来の統計的学習理論とも相性がよい。一方,深さ方向の理論は微分方程式論の対象として学習機械を調べる理論であり,機械学習の文脈では比較的新しい切り口の研究である。本講演では,まず幅方向の理論について説明し,次に深さ方向の理論を説明する。


 第1回

  • 日 時:2019年11月22日(金)16:00−18:00
  • 場 所:金沢大学角間キャンパス 自然研5号館 223室

  • 講演者:本多泰理 氏(東洋大学 情報連携学部 情報連携学科)
  • 題 目:Analysis on graphon-based reservoir computing
  • 要 旨:
     時系列データ解析に適した機械学習の枠組みの一つとして reservoir computing が注目されている。Reservoir computing は RNN (recurrent neural network) の一種であるが、中間層における重みパラメータを固定し、出力層における重みパラメータのみ学習するというアプローチにより、誤差逆伝播における勾配損失問題や計算コストの増大を防ぐ効果が期待される。その定式化には、echo state network (ESN) と liquid state machine (LSN) という大きく2つのルーツが存在するが、ここでは主に ESN による定式化に着目して議論を進める。ESN では、中間層 (reservoir) は一般に非線形の活性化関数をもつ再帰的なネットワークにより構成されるが、その適切な動作の条件として知られるいくつかの性質 (echo state property, edge of chaos 等) を満たすことが望ましいとされる。
     本講演では、reservoir computing における中間層のネットワークをグラフの連続極限として知られる graphon/digraphon としてまず定義し、そこからサンプリングを行うことを提案する。また時間に関しても連続的な極限を考え、連続時間の力学系として echo state property を満たすように graphon/digraphon を構成し、その時間・空間に関する離散版として ESN を捉えることで、echo state property がどこまで満たされるかを議論する。