研究会趣旨

　機械学習やビッグデータなど、データサイエンス分野における数学研究および数学教育の重要性が昨今高まっており、特にこれまであまり接点の多くなかった微分方程式分野との関連が注目されている。本研究会では、微分方程式や数値解析の手法やアイデアを生かした機械学習やビッグデータの解析手法を広く取りあげることで、参加者間の情報共有を図り、解析学・応用数学分野の研究者が参入しやすい新たなデータサイエンスの研究方向や教育システムの開拓を目指す。不定期に開催する。

 No. 20 (第20回)

  • Date: April 22, 2024 (Monday), 16:30–18:00 JST

  • Place: Zoom (Zoom registration)

  • Speaker:
    Prof. Youness EL YAZIDI (Abdelmalek Essaadi University, MA)

  • Title:

    Stabilization and convergence analysis of the singular identification problem of an unknown discontinuous diffusion parameter in an elliptic equation with total variation


  • Abstract:

    The inverse identification problem of an unknown discontinuous parameter in elliptic equations from boundary observations has garnered significant interest in recent decades. In this work, we reformulate this type of inverse problem into a constrained optimization problem through a combination the Kohn-Vogelius and Total Variation functionals. The latter term is introduced to absorb the effects of noise and singularities. To address this regularization functional, stabilization terms are commonly added to the constrained optimization problem. Here, we introduce an Alternating Direction Method of Multipliers to preserve the favorable properties of non-smoothness and convexity of the TV norm. The discretization process is performed using a mixed finite element/volume method, and the numerical solutions are iteratively computed using a variant of the Uzawa algorithm. Convergence and stability analyses are investigated in terms of noise level and diameter of the singular set. At the end, we present numerical experiments to illustrate the efficiency of the proposed numerical scheme.


 幹事; Organizers

 後援; Supports


 開催済みの情報


第１９回

  • 日　時：２０２４年４月１２日（金）１６：００−１８：００

  • 場　所：金沢大学角間キャンパス自然科学５号館２階２０９Ａ室
    　　　　+ Zoom によるオンライン配信 (Zoom registration)

  • 講演者：
    小澤 歩 氏 （海洋研究開発機構 数理科学・先端技術開発センター）

  • 題　目：
    Deeper understanding of synchronization and Oscillation quenching through the reduction of dynamics

  • 要　旨：

    Oscillations are observed in various systems, including biological and　mechanical ones. When oscillators, i.e., systems exhibiting sustained　oscillations, are coupled, they often self-organize to realize　nontrivial collective states. For example, they can synchronize their　rhythms to yield macroscopic oscillations. Oscillation quenching,　where each oscillator stops its oscillation, may also occur. Each of　these collective behaviors is often important for systems to function　properly and has been studied by using various models of oscillators.　However, models that allow analytical investigation of both　synchronization and oscillation quenching are still few. In this talk,　I will introduce two such models: (1) a model of interacting　oscillators exposed to global feedback[1] and (2) a model of a　population of oscillators that turn over owing to the removal and　addition of constitutive oscillators[2]. The analyses of these models　can help us unify insights into synchronization and oscillation　quenching and help us design systems that exhibit desirable collective　dynamics.　

    [1] Ozawa, A. & Kori, H. Feedback-induced desynchronization and oscillation quenching in a population of globally coupled oscillators. Phys. Rev. E 103, 062217 (2021).
    [2] Ozawa, A. & Kori, H. Two distinct transitions in a population of coupled oscillators with turnover: desynchronization and stochastic oscillation quenching. Preprint at https://arxiv.org/abs/2307.00630 (2023).



 No. 18 (第18回)

  • Date: March 15, 2024 (Friday), 16:00–17:30 JST

  • Place: Zoom

  • Speaker: Dr. Alef Sterk (Rijksuniversiteit Groningen, NL)

  • Title:

    　Bifurcations in the Lorenz-96 model


  • Abstract:

    　The Lorenz-96 model is widely used as a test model for various geophysical applications, such as data assimilation methods and predictability studies. The model consists of a system of $n$ differential equations which satisfy a circulant symmetry condition. In addition, the model depends on a scalar forcing parameter $F$ which can act as a bifurcation parameter. A question of mathematical interest is to what extent the bifurcation scenarios depend on the dimension $n$ of the model. The aim of this talk is to discuss the circulant symmetry of the model and its effect on the possible bifurcation scenarios. The primary focus will be on the occurrence of finite cascades of pitchfork bifurcations, where the length of such a cascade depends on the divisibility properties of the dimension $n$. A particularly intriguing aspect of this phenomenon is that the parameter values $F$ of the pitchfork bifurcations seem to satisfy the Feigenbaum scaling law.


 No. 17 (第17回)

  • Date: November 24, 2023 (Friday), 9:00–10:30 JST

  • Place: Zoom

  • Speaker: Dr. Matthew Smart (Flatiron Institute, US)

  • Title:

    　Dynamical systems in multicellular development: applications and new directions


  • Abstract:

    　In this talk, I will discuss aspects of multicellular development from the perspective of dynamical systems, focusing on two problems related to growth and patterning of cellular networks [1, 2]. In both cases, the state of a single cell is treated as a nonlinear dynamical system, and systems of many cells are modeled as networks of interacting copies. First, I will describe our recent work on the assembly of small cellular networks that are critical for animal reproduction. We treat cells as simple oscillators and allow each oscillator to replicate after completing a cycle, thereby enabling network growth. By modifying three key parameters, the model synthesizes data from a broad range of naturally occurring cellular networks, thus establishing a foundation for theoretical extensions and experimental validation. Next, I will discuss associative memory models of multistable gene expression states in individual cells (i.e., cell types). Local interactions on networks of identical cells can produce rich tissue patterns, which we study numerically for the case of random interactions. Together, these works suggest the study of “growing” dynamical networks where cell-level events (e.g., limit cycles, attractor switching) can influence the number of interacting copies, thereby enabling hierarchical self-organization.

    [1] A model of replicating coupled oscillators generates naturally occurring cell networks. https://arxiv.org/abs/2305.14338
    [2] Emergent properties of collective gene-expression patterns in multicellular systems. https://doi.org/10.1016/j.xcrp.2023.101247


第１６回

  • 日　時：２０２３年１１月２１日（火）１６：００−１８：００

  • 場　所：金沢大学角間キャンパス自然科学５号館２階２０９Ａ室
    　　　　+ Zoom によるオンライン配信

  • 講演者：國府 寛司 氏（京都大学）

  • 題　目：Learning dynamics by Reservoir Computing

  • 要　旨：

    　I will discuss possible mathematical mechanisms in a successful Reservoir Computing for learning dynamics. Given a discrete time dynamical system (in the form of iterated maps) on a manifold M, a Reservoir Computing at learning stage can be viewed as a semi-direct dynamical system on the product space of M and the reservoir space Y. Under a suitable condition, a successful reservoir dynamics at learning has an invariant subspace on which the induced dynamics is topologically conjugate to the target dynamics for learning.
    　When we pass to the prediction stage after having chosen an appropriate output function from (a subset of) Y to M obtained by learning, the Reservoir Computing now defines an autonomous dynamical system on the reservoir space Y. We consider that a successful reservoir dynamics at prediction stage must have an invariant subspace in Y on which the induced dynamics is topologically conjugate to the target dynamics for learning. In this talk, I will discuss under what conditions such a situation may be attained, and how a usual Reservoir Computing can be understood by this idea.
    　This is a joint work with Masato Hara (Kyoto U).


 No. 15 (第15回)

  • Date: November 10, 2023 (Friday), 16:15–18:15 JST

  • Place: 金沢大学角間キャンパス自然科学５号館２階２０９Ａ室
    　　　+ Zoom

  • Speaker:

    　Dr. Antoine Diez (Ashbi - Institute for the Advanced Study of Human Biology, Kyoto University)


  • Title:

    　Kinetic theory for active particle systems with geometrical constraints


  • Abstract:

    　During the last decades, there has been a growing effort to understand how complex self-organized patterns and structures can emerge from active particle systems when the number of particles becomes very large. Typical examples in biology include the flock of birds, crowd motion or collective swarming of bacteria and other active cells. More recently, this modelling framework has also been applied in socio-economical contexts to model opinion dynamics or wealth distribution as well as in data science and optimization with the development of so-called particle methods. Sensible modeling attempts have been based on classical tools developed in statistical physics to study inert systems and in particular on the kinetic theory of gas. The core idea is the (rigorous) derivation of PDE models from many-particle systems: this is a long-standing mathematical question tracing back to Boltzmann, but which has recently enjoyed some kind of a renaissance. In this talk I will briefly review and discuss some recent trends in the study of collective dynamics and self-organization phenomena and discuss how the behavior of many-particle systems can be inferred by looking at appropriate scaling limits leading to PDE systems (Fokker-Planck, BGK and Euler). Then, I will illustrate these ideas with a system of so-called "body-oriented" particles which is an extension of the classical Vicsek model which demonstrates the influence of stochasticity and geometry on self-organization.


第１４回

  • 日　時：２０２３年１０月１８日（水）１６：００−１８：００

  • 場　所：金沢大学角間キャンパス自然科学５号館２階２０９Ａ室
    　　　　+ Zoom によるオンライン配信

  • 講演者：米田 剛 氏（一橋大学）

  • 題　目：

    　自己回帰的で発散しない時系列データに対するリザバーコンピューティングの完全予測構造について


  • 要　旨：

    　Glipin(2023)は、さまざまなデータを使って24個の代表的な機械学習モデルの比較検討を行った。CNNやRNNなど通常の深層学習では非常に長い学習時間を必要とするが、リザバーコンピューティング(RC)はそれらより2桁少ない学習時間で競争力のある性能を有することが示された。このように、学習コストが低く、高速で計算能力の高いRCが、今後ますます広く使われるようになることに疑いの余地はない。
    　さて、どのようなアイデアで、その学習コスト低減と高速計算を可能にしているのであろうか。RCでは、事前にリカレント重み行列と入力重み行列に対して乱数を振り、出力重み行列のみを学習させている。よって、その凸性を最大限に生かすことがRCの核心ポイントとなる。しかし、逆に言うと、乱数を振ってしまっていることにより、RCの数理構造が見えにくくなってしまっていることも事実である。そこで本講演では、従来乱数を振っている行列に対して自然な数理構造を付与し、その構造を最大限生かすことにより『自己回帰的で発散しない時系列データに対してリザバーコンピューティングが完全予測できる』ことを純粋数学定理として証明する（arXiv:2310.00290）。この数学定理は、RCの数理構造の理解だけではなく、RCモデル自体の改善にも寄与できることと期待される。


  No.13 (第13回)

  • Date: September 20, 2023 (Wednesday), 16:30–17:30 JST

  • Place: Zoom

  • Speaker: Dr. Marius Zeinhofer (Simula Research Laboratory)

  • Title:
    Natural Gradient Methods for Physics Informed Machine Learning

  • Abstract:

    We discuss natural gradient methods as a promising choice for the training of physics-informed neural networks (PINN) and the deep Ritz method. As a main motivation we show that the update direction in function space resulting from the energy natural gradient corresponds to the Newton direction modulo an orthogonal projection onto the model’s tangent space. Empirical results demonstrate that natural gradient optimization is able to produce highly accurate solutions in the PINN approach with errors several orders of magnitude smaller than what is obtained when training PINNs with standard optimizers like gradient descent, Adam or BFGS, even when those are allowed significantly more computation time.


 第１２回

  • 日　時：
    　２０２３年６月３０日（金）１６：００−１８：００

  • 場　所：金沢大学角間キャンパス自然科学５号館２階２０９室
    　　　　+ Zoom によるオンライン配信

  • 講演者：
    　橋本 悠香 氏（NTTネットワークサービスシステム研究所）

  • 題　目：
    　Reproducing kernel Hilbert C*-moduleのデータ解析への応用

  • 要　旨：

    　RKHM (Reproducing kernel Hilbert C*-module) は RKHS (Reproducing kernel Hilbert space) のC*環を用いた一般化である．RKHSにおいて複素数を用いて定義されている概念は，RKHMにおいてはC*環を用いて拡張される．特に，RKHMはC*環値の内積の構造を持つ．RKHSに関しては，データの非線形性を効率的に抽出できるという点において，データ解析への応用が盛んに議論されてきた．RKHSを用いたデータ解析法をC*環を用いて拡張することで，さらに表現力を向上させ，複雑なデータの構造を効率良く解析することが本研究の目標である．
    　本講演では，RKHSにおける重要な定理であるRepresenter定理のRKHMへの拡張について述べ，理論的な側面での難しさに関して議論する．その上で，関数や画像をC*環の元として表すことで，RKHMが関数データや画像データの解析へ有用であることを述べる．


 第１１回

  • 日　時（Date & Time）：
    ２０２２年８月１７日（水）１６：３０−１７：３０

  • 場　所（Place）：
    金沢大学角間キャンパス自然科学５号館２階２０９室

  • 講演者（Speaker）：Tim Muller 氏（University of Nottingham, UK）

  • 題　目（Title）：An Unforeseen Equivalence between Uncertainty and Entropy

  • 要　旨（Abstract）：

    A random variable carries a certain amount of information. Entropy measures the lack of information. If a random variable represents our knowledge, then entropy can be used straightforwardly to measure our uncertainty. However, in reality, uncertainty does not apply to a simple random variable alone. Our motivating example is a coin with an unknown bias. Every time we flip the coin, we can apply Bayes’ theorem to update our knowledge about the coin. A simple measure of certainty is how many flips have been performed, and the uncertainty its inverse. Our knowledge of the bias corresponds to a Beta distribution over the bias. Simply using the entropy of the Beta distribution does not match our intuition of uncertainty, and is therefore not a good measure of uncertainty. Therefore, uncertainty and entropy are treated as separate (albeit similar) ideas. Whereas the entropy is defined for all distributions over the coin’s bias, uncertainty is only defined for Beta distributions. Our contribution is a specific entropy measure (EDRB) that coincides with uncertainty for Beta distributions. As EDRB is defined for all distributions, uncertainty can be generalised to all distributions too. EDRB is defined as the expected Kullback-Leibler divergence from one flip to another, where both flips are drawn from the same distribution of the bias. This finding was unforeseen, as the measure was not designed for the purpose of matching uncertainty. The proof of equivalence is non-trivial, and relies on the coincidences like the derivative of log(x) being 1/x, and a recurrence relation of the incomplete beta function. Finally, we look at applications and extensions of EDRB to general agents.


 第１０回

  • 日　時：２０２２年４月１９日（火）１６：３０−１８：３０
  • 場　所：Zoom によるオンライン開催

  • 講演者：窪田 智之 氏（東京大学大学院情報理工学系研究科）

  • 題　目：ランダム入力に駆動される非線形力学系の情報処理

  • 要　旨：

    　入力付き力学系は情報処理装置とみなせる．力学系は外界からの入力$u_t$を毎時刻受け，状態更新によって入力を処理し，処理結果を状態として保持する．情報処理容量は，ランダム入力で駆動される力学系の計算能力を包括的に調べる指標である．同指標は，入力履歴$\{u_{t-1},u_{t-2},\ldots\}$の直交多項式基底を複数用意し，各基底を状態の線形回帰で再現したときの精度である．十分な数の基底について情報処理容量を計算することで，系の計算能力を漏れなく調べられる．これに関連して，上記の直交基底を用いた状態の展開は“多項式カオス展開”と呼ばれ，情報処理容量と類似した前提条件を有する．
    　本発表では，情報処理容量と多項式カオス展開の関係を示すことで，計算能力についての新たな視点を紹介する．さらに，この関係を用いて，NARMA10ベンチマークタスクを学習したEcho State Network (ESN)の計算能力を調べることで，NARMA10を解くために要請される情報処理とESN内部の処理を解明する．本講演は[1]に基づく．
    [1] Tomoyuki Kubota, Hirokazu Takahashi, and Kohei Nakajima. “Unifying framework for information processing in stochastically driven dynamical systems.” Physical Review Research 3.4 (2021): 043135.


 第９回

  • 日　時：２０２２年２月１５日（火）１６：００−１８：００
  • 場　所：Zoom によるオンライン開催

  • 講演者：田中 吉太郎 氏、豊田 和人 氏（公立はこだて未来大学）

  • 題　目：Belousov-Zhabotinsky反応を用いたレザバー計算の提案と
    　　　　数値シミュレーション

  • 要　旨：
    　機械学習の手法としてよく知られるニューラルネットワークの枠組みの一つにレザバー計算という手法がある．レザバー計算は，中間層であるレザバーに物理現象を用いることができるという特徴があり，そのようなレザバー計算は物理レザバー計算と呼ばれている．しかし物理レザバー計算は現状実装例が少なく，研究が発展途上であるという現状がある．そこで本研究では物理レザバー計算の新たな試みとして，酸化還元状態が周期的に変化するBelousov-Zhabotinsky(BZ)反応と呼ばれる化学反応を駆動力とする物理レザバー計算を提案する．BZ反応は化学反応であるが，時空間パターンの波紋の移動を物理現象と見なし，物理レザバー計算を行なう．BZ反応を用いた物理レザバー計算が理論上可能かどうかを検証するために，反応拡散系の反応項にBZ反応のモデル式を導入した式を用いて数値シミュレーションを行なった．その結果，周期的な時系列，カオス的な時系列が理論上，有限時刻で予測可能であることを明らかにした．


 第８回

  • 日　時：２０２２年２月９日（水）１６：００−１８：００
  • 場　所：Zoom によるオンライン開催

  • 講演者：谷口 晃一 氏（東北大学 材料科学高等研究所）

  • 題　目：リカレントニューラルネットワークのプルーニングと
    　　　　その汎化誤差評価

  • 要　旨：
    　リカレントニューラルネットワーク (以下, RNNと略記) は, 時系列タスクなどを処理するための再帰構造をもつニューラルネットワークの一つである. しかし, 一般に RNN は再帰構造を繰り返すことで膨大な計算コストを伴うという難点がある. これを克服する手法の一つとして, 近年プルーニングが注目されている. プルーニングとは, モデルの性能に対して影響が少ないノードや重みを除去するモデル圧縮方法であり, 適切にプルーニングを行うことで計算コストの大幅な削減が期待される.
    　本研究では, スペクトラル・プルーニングと呼ばれるプルーニング手法を RNN に適用できるように拡張し, その圧縮モデルの汎化性能を調べるため, 汎化誤差評価を示した. さらに数値実験を行い, 既存の手法と比較して提案手法の有効性を示した. 本講演は T. Furuya, K. Suetake, K. Taniguchi, H. Kusumoto, R. Saiin, T. Daimon (2021, arXiv:2105.10832) に基づく.


 第７回

  • 日　時：２０２２年１月１７日（月）１６：００−１８：００
  • 場　所：金沢大学角間キャンパス　自然研５号館２０９Ａ室
    　　　　　　　　　　　　　　　＋ Zoomによるオンライン配信

  • 講演者：中井 拳吾 氏（東京海洋大学 学術研究院
    　　　　　　　　　　　　　　　　　　　　流通情報工学部門）

  • 題　目：機械学習モデルの力学系構造の再現性と流体統計量の予測

  • 要　旨：
    　リザーバーコンピューティングと呼ばれる機械学習が決定論的ダイナミクスの時系列予測に有効であることがわかってきた. 我々は流体マクロ変数の時系列データの学習に基づいて時間発展モデルを構築し, 時間発展を予測することに成功している [Nakai and Saiki (2018, 2021)].
    　本研究では, 低次元の決定論的ダイナミクスの時系列を学習し得られた時間発展モデルが, 背後の力学系構造, 特に不変集合（不動点, 周期軌道, カオスアトラクタなど）や安定多様体と不安定多様体のなす角の分布を再現することを確認した. また, 不安定次元の異なる周期軌道や, 二つの異なる不安定次元をもつ不変集合の近傍間を繋ぐ軌道がひとつの機械学習モデルで再現できることも確認した.
    　この応用として時間発展モデルを用いた流体変数のラミナー継続時間分布予測の結果なども示す. 本結果の一部は, Kobayashi, Nakai, Saiki, Tsutsumi, Phys. Rev. E 104, 044215 (2021)に基づく.


 第６回

  • 日　時：２０２１年１２月６日（月）１６：３０−１８：３０
  • 場　所：金沢大学角間キャンパス　自然研５号館　コロキウム３
    　　　（４階４７１室）

  • 講演者：朝倉 暢彦 氏（大阪大学 数理・データ科学教育研究
    　　　　　　　　　　　　　　　　　　　　　　　　　センター）

  • 題　目：ベイズ統計理論に基づくヒト認知機能の数理モデリング
    　　　　と統計解析

  • 要　旨：
    　現代のデータサイエンスは，古典的な統計理論では想定されてこなかった自明でないデータ取得環境から得られる非構造化データを扱う場面が多い．このような状況では，データ取得環境とそれに起因するあらゆる不確定性のモデリングがデータ解析に先立って必要となる．データサイエンスでは，このデータ生成過程の統計モデリング，すなわちデータ生成モデルの構築と不確定性の定量的評価をベイズ統計理論の枠組みで行うのが主流のアプローチとなっている．さらに，このような観点からからデータサイエンスの課題を考えてみると，それは不確定性をもったデータからの有効な情報の抽出，その確からしさの定量的な評価に基づく解析対象の理解，およびデータを取り巻く環境において適切な意思決定を導くことと言える．
    　本講演では，このデータサイエンスの課題が，ヒトの認知システムにおいても解決すべき同型の課題となっており，データ生成モデルを用いたベイズ推定というデータサイエンスの枠組みがヒト認知機能のモデリングにも極めて有効であるということを講演者の研究事例を踏まえて説明する．


 第５回

  • 日　時：２０２１年９月３０日（木）１６：３０−１８：３０
  • 場　所：Zoom によるオンライン開催

  • 講演者：池田 正弘 氏（理化学研究所）
  • 題　目：ハイパーグラフ上の熱とそのネットワーク解析への応用
  • 要　旨：
    　本講演では, 講演者らのハイパーグラフのコミュニティ検出に関する2つの結果[1][2]を解説する. これらは, 宮内 敦史, 高井 勇輝, 吉田 悠一との共同研究である. ハイパーグラフの研究は, 共著者ネットワーク等の2点以上の関係を調べることに有用である. これは, 通常のグラフの枝は, 2頂点の組であるが, ハイパーグラフの枝は, 3頂点以上も許すことに起因する. [1]のコミュニティ検出法は, 劣モジュラー関数に関連したラプラシアンという通常の無向グラフのラプラシアン行列を拡張した非線形(多値)作用素の性質に基づいている. [1]で, ハイパーグラフ上の熱のwell-definedness, 基本的な性質及びそのグラフ構造解析(理論保証付きコミュニティ検出)への応用を与えた. また, 有向グラフの非線形ラプラシアンを用いて, 類似の結果が有向グラフに対して成立することも示した. [2]で, ハイパーグラフ上のPersonalized PageRank(PPR)に基づく2つの(localとglobal)コミュニティ検出法の提案, 及びその理論解析を行った. さらに, 我々のコミュニティ検出アルゴリズムが, 既存の2つのアルゴリズム(Clique expansion, Star expansion)より, 短い計算時間で良いコミュニティを抽出することを実験で示した. 論文[2]は, データマイニングの分野で最も権威のある国際会議KDD2020に採択されている.

    [1] M. Ikeda, A. Miyauchi, Y. Takai and Y. Yoshida, Finding Cheeger cuts in hypergraphs via heat equation, arXiv:1809.04396.
    [2] Y. Takai, A. Miyauchi, M. Ikeda and Y. Yoshida, Hypergraph clustering based on PageRank, KDD, 2020, 1970—1978.


 第４回

  • 日　時：２０２１年９月１３日（月）１４：００−１６：００
  • 場　所：Zoom によるオンライン開催

  • 講演者：今泉允聡 氏（東京大学）
  • 題　目：関数推定の理論に基づく深層学習の原理解析
  • 要　旨：
    　本研究では、深層ニューラルネットワーク（DNN）が他手法より良い性能を発揮する原理を、統計理論を用いて解析した。DNNは既存手法よりも高い性能を発揮することが経験的に知られているが、なぜその性能が発揮されるのかという原理は充分には解明されていない。既存の統計理論では、データが滑らかな関数から生成されている場合、多くの既存の統計・機械学習の手法が理論上の最適精度を達成することが示されており、DNNの相対的優位を説明することは難しい。本稿はその困難さを解決するため、データが非滑らかな関数から生成されている状況で各手法の汎化誤差評価を行った。具体的には、DNNによる推定量の汎化誤差の収束レートを導出し、そのレートがミニマックスの意味での最適性を満たすことを示した。加えて、いくつかの既存手法がその収束レートを達成しないことを示し、DNNが他手法に理論的な優越する状況を明らかにした。さらに、DNNが最適な精度を達成するためのネットワークの構成法のガイドラインを与えた。


 第３回

  • 日　時：２０２０年１月６日（月）１４：３０−１７：３０
  • 場　所：金沢大学角間キャンパス　自然研５号館　コロキウム３
    　　　（４階４７１室）

  • 講演者：長瀬准平 氏（芝浦工業大学大学院 理工学研究科
    　　　　システム理工学専攻）
  • 題　目：深層ニューラルネットの表現集合に基づく設計
  • 要　旨：
    　深層ニューラルネット（DNN）は“任意の関数を任意の精度で”近似することができるという万能近似性を有した強力な学習機械である．この万能近似性から，理論上は単純なDNNモデルを用いるだけで十分な表現能力をもつものが得られることになるが、実際にはより良い学習性能をもつ複雑なモデルが実験的に提案され続けている．それらのモデルに組み込まれている様々な構造・仕組みについては体系的な理論は未だ整備されておらず，理論と実装の間には大きな乖離があると考えられる．
    　本発表では，近年のDNNの特徴的な構造の一つであるスキップ接続について着目し，万能近似性とは異なる視点で表現能力の議論を行う．いくつかのスキップ接続を等価な設計として表せることを数学的に示すことで，モデルの設計に関する一般的な結果を述べる．


 第２回

  • 日　時：２０１９年１１月２７日（水）１５：００−１８：００
  • 場　所：金沢大学角間キャンパス　自然研５号館 ２２３室

  • 講演者：園田翔 氏（理化学研究所 革新知能統合研究センター）
  • 題　目：連続モデルによるニューラルネットの解析
  • 要　旨：
    　今日のニューラルネットは数億個にものぼるパラメータをもつ巨大な学習機械である。学習後のパラメータの解釈は困難であることから，しばしばブラックボックスと呼ばれる。講演者は，ニューラルネットを連続化することでブラックボックスの仕組みを理解する研究に取り組んでいる。連続化理論には２種類あり，１つの中間層を連続化する幅方向の理論（積分表現理論）と，中間層同士の繋がりを連続化する深さ方向の理論（輸送解釈，ODE-Net）からなる。幅方向の理論は関数解析や調和解析の対象として学習機械を調べる理論であり，歴史的な経緯から従来の統計的学習理論とも相性がよい。一方，深さ方向の理論は微分方程式論の対象として学習機械を調べる理論であり，機械学習の文脈では比較的新しい切り口の研究である。本講演では，まず幅方向の理論について説明し，次に深さ方向の理論を説明する。


 第１回

  • 日　時：２０１９年１１月２２日（金）１６：００−１８：００
  • 場　所：金沢大学角間キャンパス　自然研５号館 ２２３室

  • 講演者：本多泰理 氏（東洋大学 情報連携学部 情報連携学科）
  • 題　目：Analysis on graphon-based reservoir computing
  • 要　旨：
    　時系列データ解析に適した機械学習の枠組みの一つとして reservoir computing が注目されている。Reservoir computing は RNN (recurrent neural network) の一種であるが、中間層における重みパラメータを固定し、出力層における重みパラメータのみ学習するというアプローチにより、誤差逆伝播における勾配損失問題や計算コストの増大を防ぐ効果が期待される。その定式化には、echo state network (ESN) と liquid state machine (LSN) という大きく２つのルーツが存在するが、ここでは主に ESN による定式化に着目して議論を進める。ESN では、中間層 (reservoir) は一般に非線形の活性化関数をもつ再帰的なネットワークにより構成されるが、その適切な動作の条件として知られるいくつかの性質 (echo state property, edge of chaos 等) を満たすことが望ましいとされる。
    　本講演では、reservoir computing における中間層のネットワークをグラフの連続極限として知られる graphon/digraphon としてまず定義し、そこからサンプリングを行うことを提案する。また時間に関しても連続的な極限を考え、連続時間の力学系として echo state property を満たすように graphon/digraphon を構成し、その時間・空間に関する離散版として ESN を捉えることで、echo state property がどこまで満たされるかを議論する。