The Implicit Bias of Batch Normalization in Linear Models and Two-layer Linear Convolutional Neural Networks. (arXiv:2306.11680v2 [cs.LG] UPDATED)

バッチ正規化の暗黙的バイアスについて．バッチ正規化付き線形モデルは，最大マージン解ではなく一様マージン解に収束する．一様マージンが最大マージンよりも有利である問題設定があることを議論．タイトルを見てBNは「暗黙的」ではないバイアスではないかと考えてしまったが，BNがあっても仮説空間は変わらない（線形モデルは線形モデルのまま）なのでやはり「暗黙的」なのか．

基本情報

@misc{cao2023implicit,
      title={The Implicit Bias of Batch Normalization in Linear Models and Two-layer Linear Convolutional Neural Networks}, 
      author={Yuan Cao and Difan Zou and Yuanzhi Li and Quanquan Gu},
      year={2023},
      eprint={2306.11680},
      archivePrefix={arXiv},
      primaryClass={cs.LG}
}

論文リンク

arXiv

著者・所属

• Yuan Cao, Difan Zou, Yuanzhi Li, Quanquan Gu

新規性

手法

結果

議論・コメント

関連文献

Tags