chevron_left

メインカテゴリーを選択しなおす

cancel
Parco1021
フォロー
住所
未設定
出身
未設定
ブログ村参加

2019/10/24

arrow_drop_down
  • SGDを使うにあたってのハイパーパラメータの設定(論文紹介③ Control Batch Size and Learning Rate to Generalize Well: Theoretical and Empirical Evidence)

    概要 深層学習において、確率的勾配降下法(SGD)はOptimizerとして良い結果を出しており、SGDをより良く動かすためにハイパーパラメータの調整が必要。複数あるハイパーパラメータのうち、特にバッチサイズ(Batch Size)と学習率(Learning Rate)に着目し、どのように設定すべきかを解析的に考えた論文。数値解析の結果、バッチサイズの大きさSと学習率ηの比S/ηが小さいほどより良い結果となる。 papers.nips.cc 予測損失と経験損失 本来最小化したい損失は予測損失である。 しかし、データの分布Dがわからないため予測損失と近似することのできる経験損失を用意する。 でき…

arrow_drop_down

ブログリーダー」を活用して、Parco1021さんをフォローしませんか?

ハンドル名
Parco1021さん
ブログタイトル
情報学部大学生のだらだら日記
フォロー
情報学部大学生のだらだら日記

にほんブログ村 カテゴリー一覧

商用