特異階段追跡法を用いたサンプリング法による多層パーセプトロンモデル選択

摘要

Multilayer perceptron (MLP) is one of singular statistical models, where it is not guaranteed that any parameter is uniquely identified. Then it is questioned that any information criterion developed for regular models can be applied to selection of singular models. Followed by this situation, several model selection criteria have been proposed. This paper evaluates several information criteria by applying them to MLP model selection problems having about 20 hidden units as a true model. Moreover, as a search method we employ SSF which guarantees the successive improvement of solution quality as the number of hidden units is increased.%多層パーセプトロン(MLP)は，パラメータ一意識別が保証されない特異モデルであり，正則モデルの情報量規準をモデル選択に使用するのは適切でないとされ，理論研究に基づいて各種の情報量規準が提案されてきた.本稿では，MLPのモデル選択において各情報量基準がどのように働くかを実験し評価する.なお，正解の隠れユニット数が小さいと性能差が出難いため，正解が20位であるデータを用いる.情報量基準には，最尤推定量を用いるものとサンプリング法を用いるものがあるが，ここではその両方に対して，隠れュニット数の増加とともに必ず解品質を改善できる特異階段追跡(SSF)法を用いる.