online/batchハイプリット型準ニュートン法による階層型ニューラルネットワークのロバスト学習に関する研究

摘要

Various techniques based on the gradient descent method have been studied as training algorithms for neuralnetworks. Neural network training poses data-driven optimization problems in which the objective function involves thesummation of loss terms over a set of data to be modeled. For a given set of training data, the gradient-based algorithmsoperate in one of two modes: stochastic (online) or batch. Recently, the robust training algorithm based on quasi-Newtonmethod has been introduced improving the feeding-technique of training data. The algorithm combines the "stochastic(online)" mode with the "batch" one.The new learning method which online and batch error function are associable by a weighing coefficientparameter was introduced. In this paper, the neural training algorithm is which two technique are hybridized, is proposed. The proposed algorithm isverified about the validity of training for feedforward neural networksusing computer simulation.%ニューラルネットワークの学習に対して，勾配法に基づくアルゴリズムが様々提案されている．その中で，学習データの与え方に関する研究として，オンライン学習及びバッチ学習法に関する研究がある．近年，準ニュートン法に対して学習データの与え方を改良した改良型オンライン準ニュートン法が提案され，オンライン学習及びバッチ学習法よりも収束性が大幅に向上することが示された．一方，学習データの与え方をパラメータ化した新たな学習法として，パラメータ化オンライン準ニュートン法が提案された．この手法は改良型オンライン準ニュートン法における学習データの与え方を一般化し，その学習能力の有効性に関して，考察することが可能となった．本研究では，学習データの与え方に関する新たな手法を提案する．提案手法では，オンライン学習からバッチ学習への変化を，これまでの学習データの与え方により実現する手法とパラメータにより変化させる手法を結合することにより実現する．階層型ニューラルネットワークの学習に対する有効性についてコンピュータシミュレーションを用いて検証する．