基于R语言的自然语言文本预处理和统计学分析流程分析

摘要

随着时代的发展,语言学的发展也迎来了新的阶段,感性的、 抽象的分析越来越不能说服绝大多数读者.而随着相应技术的普及和发展,以及越来越多语言相关类技术的实现和广泛应用,越来越多的场景呼唤精准而有效的语言分析.使用计算机程序、借助庞大的网络资源库,成了时代的号召、广大用户的需求,也自然成了语言学发展的新桥头堡.在统计学分析中起到至关重要作用的R语言,正在越来越成为语言文字处理者手头上的利器.本文将以知名流行小说《哈利波特》为蓝本和研究对象,借助R语言提供的丰富高效的自然语言处理生态环境,尝试对小说进行预处理和基本的统计学分析,从而为后续的语言分析打下扎实的基础,同时也是一次大胆而新颖的尝试.