Abide by the Law and Follow the Flow: Conservation Laws for Gradient Flows. (arXiv:2307.00144v1 [cs.LG])

勾配流が持つ保存則の理論解析．多項式的な保存量を列挙するアルゴリズムを提案．また，（多項式に限らない）全ての独立な保存量の数を計算する方法を導出．これを用いて，行列分解の場合に既知の保存量の保存量が存在しないことを示した．

基本情報

@misc{marcotte2023abide,
      title={Abide by the Law and Follow the Flow: Conservation Laws for Gradient Flows}, 
      author={Sibylle Marcotte and Rémi Gribonval and Gabriel Peyré},
      year={2023},
      eprint={2307.00144},
      archivePrefix={arXiv},
      primaryClass={cs.LG}
}

論文リンク

arXiv

著者・所属

• Sibylle Marcotte, Rémi Gribonval, Gabriel Peyré

新規性

保存則に関する先行研究はいくつかあるが，それらは既知の対称性や保存則に基づく解析であった．それに対して，本研究は先験的に対称性の知識を持たない時に如何にして保存則を導くか，という問いに答えたもの．

手法

結果

議論・コメント

• 損失関数とNNアーキテクチャについて，局所的には式(2)が成り立つことが仮定されている

関連文献

Tags