一种基于去重系统的分层编码方法、装置及去重系统

摘要

本发明公开了一种基于去重系统的分层编码方法、装置及去重系统，计算机存储领域，包括：预先将数据块的被引用次数划分为N个层级，并在内存中对应创建N个缓存区作为N个数据容器；编码时，当一个数据块经过去重之后，若是唯一块，则将其被引用次数记为1；否则，将其被引用次数加1；之后，将被引用次数记录到数据块的元数据中，并确定数据块所处的层级，将其存储到对应的数据容器中；当数据容器满时，按照其所处层级对应的编码方式进行编码，并将同一条带中的分块存储到不同的节点中；层级越高，对应的被引用次数范围越大，编码条带越短。本发明能够保证去重系统具有良好的存储效率，同时又保证在数据节点失效时，去重系统具有良好的修复速率。