分散並列環境における準ニュートン学習アルゴリズムの有効性

摘要

This paper describes the feasibility of quasi-Newton method for training feedforward neural networks on the parallel distributed environment. Recently, we have to deal with large data in machine learning. Parallel distributed environment is one of the means to solve this problem. Most of the learning method with huge samples are based on the first order gradient algorithms. The quasi-Newton method is one of the most effective method to training feed forward neural networks. This study verify practiced effectiveness method through computer simulations.%ニューラルネットワークの主な学習にはバックプロパゲーション法や準ニュートン法など、1次収束性や超1次収束性を持つ勾配法に基づくアルゴリズムが用いられている。特に、学習が困難な問題に対しては準ニュートン法などの超1次収束性を持つアルゴリズムを用いる必要がある。また、これらの学習法は学習データの扱い方の違いからバッチ学習法とオンライン学習法とに分かれている。一方、分散並列環境下における機械学習では、オンライン学習と同様に学習データを分割し，これら分割された学習データを各マシンに分散させ、各マシンごとに1次収束性のアルゴリズムを用いて学習を行うことが主流である。本研究では、準ニュートン法に基づく学習アルゴリズムの分散並列環境における有効性に関してシミュレーションを用いて検証する。