信息所科研人员研究提出基于图像与文本跨模态特征的虫害识别模型
文章来源:科学数据研究室 作者:樊景超 发布时间:2023-10-12
点击量:
【字体:大 中 小】
近日,中国农业科学院农业信息研究所樊景超团队提出了基于图像与文本编码器跨模态特征融合的深度学习ITF-WPI模型,通过两种模式的互补信息,旨在提高害虫识别的准确性和适用性。相关研究成果发表于《Computers and Electronics in Agriculture》上。
枸杞作为中国和其他许多国家重要的经济作物之一,被多种虫害寄生且产生极易受到影响。另一方面,农业虫害背景复杂,当涉及到识别它们时,单一模态模型无法跨模态利用多元化类型的数据,导致识别准确性与数据利用率低下,传统单模态识别模型已不能满足农业多模态数据发展的需求。
该研究以枸杞虫害为研究对象,提出了一种基于图像与文本编码器跨模态特征融合的深度学习ITF-WPI模型,实现在同时利用图像与文本场景中对枸杞的17类虫害进行识别。实验证明,引入的余弦退火热重启调整策略算法、SGDR优化器与早停法帮助模型获得了更好的分类性能并缩短训练时间,研究提出的虫害识别模型ITF-WPI在图像与文本并行输入下的识别准确率为97.98%,在复杂背景枸杞虫害识别中展现出了巨大的潜力,对促进跨模态模型在农业领域的发展和枸杞虫害防治研究、提高枸杞产量具有重要的实际应用价值。
该研究得到国家农业科学数据中心(NASDC2023XM00-05)项目资助。
原文链接:https://www.sciencedirect.com/science/article/pii/S0168169923005173