https://arxiv.org/pdf/1905.04919.pdf
分類
Neural Architecture Search (NAS)
特徴
・One-Shot手法の2つの課題
1.前後レイヤ間の依存性が考慮されていなかった
2.ノードの重みに基づく消去(pruning)は根拠が乏しい
・これらへの対策として、hierarchical automatic relevance determination (HARD) priorを導入。
・これが"Bayesian"の由来。ベイズアプローチのNASへの導入は初めて。
・重みW、アーキテクチャパラメータwに対し仮定するpriorは下式のGauss分布。
・ハイパーパラメータ(λ、σ)はGamma分布に従うと仮定。
・1エポックの学習で済むため非常に高速。
アルゴリズム
性能
・同じ勾配ベースの手法であるDARTSに対し、1/20の探索時間で精度改善。
・4/29に公開されたP-DARTS(別記事)に近い性能。
実装
・公開されていない。