BayesNAS: A Bayesian Approach for Neural Architecture Search (2019)

https://arxiv.org/pdf/1905.04919.pdf

分類

 Neural Architecture Search (NAS)

特徴

・One-Shot手法の2つの課題

 1.前後レイヤ間の依存性が考慮されていなかった

 2.ノードの重みに基づく消去(pruning)は根拠が乏しい

・これらへの対策として、hierarchical automatic relevance determination (HARD) priorを導入。

 ・これが"Bayesian"の由来。ベイズアプローチのNASへの導入は初めて。

 ・重みW、アーキテクチャパラメータwに対し仮定するpriorは下式のGauss分布。

  ・ハイパーパラメータ(λ、σ)はGamma分布に従うと仮定。

f:id:deconvo:20190519131426p:plain

・1エポックの学習で済むため非常に高速。

アルゴリズム

f:id:deconvo:20190519125939p:plain

性能

f:id:deconvo:20190519124136p:plain

・同じ勾配ベースの手法であるDARTSに対し、1/20の探索時間で精度改善。

・4/29に公開されたP-DARTS(別記事)に近い性能。

実装

・公開されていない。