Single-Path NAS: Device-Aware Efficient ConvNet Design (2019)

https://arxiv.org/pdf/1905.04159.pdf

特徴

・探索時のネットワーク構造を、マルチパスからシングルパスに変更。

f:id:deconvo:20190518222844p:plain

 ・畳み込みのカーネルをサイズ・チャネル数に関して分解した“superkernel”を導入することで、

  従来複数カーネルに分岐させていたものをシングルパスの表現にした。

f:id:deconvo:20190518224818p:plain

性能

アーキテクチャ探索に要した時間は3.75hrs(8 epochs)。

 ・TensorFlow on TPUs-v2

・MnasNetに対し5000倍高速化し、ImageNetでSOTAの精度。

f:id:deconvo:20190518223343p:plain

実装

・TensorFlow実装が公開されている。

 https://github.com/dstamoulis/single-path-nas