一种基于多模态数据的面向糖尿病患者的实时饮食健康监控方法

摘要

一种基于多模态数据的面向糖尿病患者的实时饮食健康监控方法，包括数据库构建、检索模型构建、检索模型训练、预警精度测试和监控方法的使用五个过程。利用卷积神经网络与BERT分别学习食品图像模态和描述文本模态中的语义表征，在提取特征的同时帮助处理各形态特征之间的潜在联系，其将第三模态的数据引入跨模态检索方法中，以缩小模态间的语义鸿沟。本发明利用实时摄取的生活记录图像作为输入来检测食品并进行检索，在输出部分增添食品组成数据来提高输出信息的实用性。以上改进均可以提高跨模态检索的精确度与稳定性，从而实现准确的跨模态检索。同时，该方法还可用于辅助分析致糖尿病食物成分与个体身体状况的相关性。