一种基于语义识别的自动配色方案辅助设计工具

摘要

计算机辅助艺术设计例如计算机绘画、计算机自动上色等是科研人员长期进行探索的问题，因为与人类多样化的表达方式相关，而人类感受与复杂多变，使其成为一个挑战性强而又持续探索的领域。随着人工智能与机器学习最近几年的发展，计算机艺术与设计辅助系统有了新的突破，例如GAN能够自动生产图片，pixel2pixel能够自动依据已有风格进行色彩填充，PaintsChainer能在标注颜色的情况下为二次元图片自动上色等。
　　本文提出了一种基于语义智能理解的自动配色和上色系统。该系统主要解决了目前自动上色系统只能通过标注色彩、有限类型进行色彩填充或依赖已有色彩风格进行迁移的局限，使得系统更加智能，可以直接对人类的语言进行响应。对于设计师而言，本系统可以将文本的描述，即时转化为配色方案对设计线稿进行填充，大大方便了其使用。而配色方案来自于艺术作品，其独特的审美丰富不死板，可以帮助设计师开拓思路，得到更好的色彩方案。
　　本文包含3个创新点:1.设计实现了深度学习模型对艺术品相关的词语进行理解和编码;2.本文使用独创的TRSV模型实现了轻量且高效的句子向量编码，实现了句子的实时语义检索;3.将图片信息与语义层面的隐藏信息进行关联，其图片风格相似性的偏序特性被保持到其语义描述的偏序特性中，据此提取图片色彩以及自动上色。
　　文本解决的难点一共3点:1.语言表征:如何对输入的文字、艺术品的文本信息进行语义理解，获得带有语义信息的编码形式，为了模型的有效性和高效性的平衡，设计实现了新的算法模型并取得了良好的效果2.语义搜索:输入文字的编码信息与艺术品文本的编码信息对比，搜索算法，涉及语义空间相似度、建模编码、高维向量检索等问题;3.艺术品的色彩特征提取需要满足:灵活、准确、概括，以及自动上色需要考虑到色彩连续性、色彩比例、效果图的光影效果，本文设计实现了多种算法，用以实现可以实时批量预览的的自动上色。
　　此算法在室内设计线稿图纸的实际测试中取得了良好的结果。基于设计师的实际使用反馈，达到了目前业界的最好效果。

目录

声明

摘要

插图

表格

缩写、符号清单、术语表

1 绪论

1．1 课题背景

1．2 拟解决的问题

1．3 国内外现状分析

1．3．1 表示学习与Embedding

1．3．2 计算机自动图像生成

1．4 本文的实现方式

1．5 本文结构安排

1．6 本章小结

2 词向量的构建

2．1 词向量在本课题中的研究背景

2．2 单词向量化的必要性

2．3 单词向量化的基本原理

2．4 word2vec单词向量化

2．5 本课题单词向量化算法的创新点与具体实现

2．6 本章单词向量化方法的结果分析

2．7 本章小节

3 句子向量以及句子向量的构建

3．1 句子向量简介

3．2 句向量的现有方法

3．3 本文句向量的方法

3．3．1 艺术品语句中各类文本的编码方式

3．3．2 主题权重加权(Topic Reweighted Sentence Vector)

3．3．3 加权的科学原理

3．3．4 句子向量的实验结果

3．4 本章小结

4 基于句子向量自动上色的实现

4．1 搜索算法：如何实现从向量到颜色的搜索

4．2 色彩提取：如何实现颜色的自动提取

4．2．1 系统结构之色彩提取

4．2．2 色彩模式

4．2．3 色彩提取

4．3 上色算法：如何实现颜色的自动上色

4．3．1 系统结构之自动上色

4．3．2 泛洪填充算法

4．3．3 一些问题

4．4 本章小结

5 实验结果

5．1 输入语句的测试案例

5．2 效果图类型的测试案例

5．3 本章小结

6 总结与展望

参考文献

致谢

附录