https://arxiv.org/pdf/1905.04753.pdf
特徴
・限定されたエポック数で精度を最大にする学習率スケジュールの提案。
・エポック数を変えた場合の適応的スケジュールはMask R-CNN論文[23]で示唆されていたが、これを一般化し、多様なスケジュールとタスクにおいて改善効果を検証したのが新規性。
・線形スケジュールが最高性能であることを検証した。
β：学習率、t：エポック、p=t/T、T：変更後の総エポック数、T0：変更前の総エポック数、f：学習率減衰係数（下図参照）
左：従来の学習率スケジュール、右：提案された線形スケジュール
[23] K. He, G. Gkioxari, P. Dollar, and R. B. Girshick. Mask r-cnn. ICCV, pages 2980–2988, 2017.
性能
・下表は、5タスクでのstep decayとの比較結果。
・Budgetはエポック数の縮小比。
実装
・公開されていない。
