EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks (2019)

分類

 Model Scaling

特徴

・精度低下を最小に抑える構造のパラメータ(width, depth, resolution)調整のバランシング(Compound Scaling)。

f:id:deconvo:20190602185109p:plain

 

f:id:deconvo:20190602185332p:plain

ネットワーク構造

MnasNet[1]で構築されたベースネットは以下。

f:id:deconvo:20190602190500p:plain

[1]Tan, M., Chen, B., Pang, R., Vasudevan, V., and Le, Q. V. Mnasnet: Platform-aware neural architecture search for mobile., 2018.

 

性能

・SOTA[2]より6.1倍高速、パラメータ数1/8.4。

f:id:deconvo:20190602185543p:plain

[2]Huang, Y., Cheng, Y., Chen, D., Lee, H., Ngiam, J., Le, Q. V., and Chen, Z. Gpipe: Efficient training of giant neural networks using pipeline parallelism., 2018.

実装

・公開されていない。