信息论在深度学习中的应用概论

摘要

信息论发展的80多年中在通信、计算机、统计等诸多领域取得了广泛应用;深度学习兴起的10多年间在图像识别、医学诊断、路线规划、语音识别等领域取得了巨大成功。最近几年,深度学习和信息论发展出了新的交叉学科,采用信息论的观点度量深度学习引发了学术界广泛关注。本文在总结深度学习和信息论领域之后分析了简单网络的互信息,提出星座图对互信息压缩的影响。