分類
Neural Architecture Search
特徴
・構造探索の圧倒的な高速性。
アルゴリズム
探索空間を動的にpruningする。
探索空間はDARTSと同じで、全結合DAGによるnormal/reduction cellの組み合わせ。
エッジを表すone-hot vector;αを離散化したことで高速化。
探索初期ではvalidation精度は信頼できないため[1]、エポック数に従い悪いモデルを漸進的にpruningしていく方法を採用。
誤差上限を理論的に与えた。
[1]Chris Ying, Aaron Klein, Esteban Real, Eric Christiansen, Kevin Murphy, and Frank Hutter. Nasbench-101: Towards reproducible neural architecture search. arXiv preprint arXiv:1902.09635, 2019.
ネットワーク構造
詳細な説明なし？
性能
・0.06GPU daysと、速度面はSOTA。
実装
・著者PyTorch実装公開。
GitHub - tanglang96/DDPNAS: Dynamic Distribution Pruning for Efficient Network Architecture Search
