ベき乗関数活性化関数を持つニューラルネットワークによる乗算とパラメトリックReLU関数を有するニューラルネットワークの多項式関数包囲

摘要

ReLUs関数を持つディープニューラルネットワークの一連の成功以来，ReLUs数，PReLUs関数，RePUs関数を有するニューラルネットワークによる多くの近似が注目されている．しかしながら，多項式関数を近似するPReLUs関数を持つニューラルネットワークのパラメータをどのように求めるのかについての議論が十分にされていない．本論文ではそのようなパラメータを見つけるために，n次元のべき関数の活性化関数を持つニューラルネットワークの乗算とPReLUs関数を持つニューラルネットワークの多項式関数包囲について議論する．