Twitter 中の使用単語の変化に基づく未知語の発見とそれに基づく音声認識用言語モデルの適応

摘要

本稿では，Twitter を用いて新しく使用されるようになった音声認識システムにとって正しく認識されないと考えられる未知語の発見手法の提案と，発見した未知語に対応した言語モデルを作成し，音声認識システムに適用する手法の提案を行った．Twitterから取得したツイートを，新しいツイートと過去のツイートとで比較することにより，ユーザー間の使用単語の変化が取得でき，そこから新しく使用されるようになった未知語の取得が可能となる．これらの未知語を基に未知語事例とBCCWJ を用いて言語モデルを作成する手法と，BCCWJ に未知語トークンを挿入する手法を用いて言語モデルを作成する手法を提案した．提案手法を用いて作成した言語モデルでは，ベースラインと比較して補正パープレキシティの改善が得られ，取得した未知語が含まれる評価セットにおいてパープレキシティ及び補正パープレキシティの改善が得られた．音声認識実験では，作成した言語モデルを適用した音声認識システムで未知語が含まれる文を認識した場合，音声認識システム全てにおいて，ベースライン音声認識システムより良い単語誤り率と未知語誤り率を得られた．BCCWJ に未知語トークンを約25,000 個挿入する手法を用いて作成した言語モデルを適用した音声認識システムが，単語認識において最も良い結果となり，ベースラインシステムと比較して相対的に約52%の単語誤り率の改善された．BCCWJ に未知語トークンを約50,000個挿入する手法を用いて作成した言語モデルを適用した音声認識システムが，未知語認識において最も良い結果となり，ベースラインシステムと比較して相対的に約91%の未知語誤り率の改善が得られた．これによって，未知語誤り率の改善が全体的な単語誤り率の改善へと繋がる結果となった．