混合现实装配检测中深度学习的数据增强方法

doi:10.13196/j.cims.2021.03.006

计算机集成制造系统 ›› 2021, Vol. 27 ›› Issue (3): 716-727.DOI: 10.13196/j.cims.2021.03.006

混合现实装配检测中深度学习的数据增强方法

王帅^1,2,郭锐锋²⁺,董志勇³,王鸿亮²,张晓星^1,2

1.中国科学院大学计算机与控制学院
2.中国科学院沈阳计算技术研究所
3.陆军炮兵防空兵学院士官学校

出版日期:2021-03-31 发布日期:2021-03-31
基金资助:
国家科技重大专项资助项目(2019ZX04014001-004);辽宁省重点研发计划资助项目(2018225096)。

Data enhancement method for deep learning in mixed reality assembly inspection

Online:2021-03-31 Published:2021-03-31
Supported by:
Project supported by the National Science and Technology Major Project,China(No.2019ZX04014001-004),and the Liaoning Provincial Key Research and Development Program,China (No.2018225096).

摘要/Abstract

摘要： 针对混合现实装配检测中,装配者的视觉检测位姿具有不确定性极易发生误检漏检的问题,提出一种混合现实装配检测中深度学习的数据增强方法。采用人为最佳数据增强策略的数据预处理方法,通过图像增强、几何变换、少量噪声干扰和随机遮挡的方式生成增强数据集,并改善图像增强过程中的特征失真,不仅能有效解决深度学习中人工标注样本任务量大的问题,还有助于提升检测模型的泛化能力。实验结果表明,该方法训练得到的新模型对汽车装配生产线零件的检测精度提升了11.38%。

关键词: 混合现实, 装配件检测, 深度学习, 数据增强

Abstract: Aiming at the problem that the assemblers visual inspection pose was uncertain and prone to error inspection and missed detection in the mixed reality assembly inspection,a data enhancement method for deep learning in mixed reality assembly inspection was proposed.Using an human-best data enhancement strategy,the data preprocessing method generated an enhanced data set by image enhancement,geometric transformation,small noise interference and random occlusion,and the feature distortion in the image enhancement process was weakened,which could not only effectively solve the problem of the large task of manual labeling sample in deep learning.It also helped to improve the generalization of the inspection model.The experimental results showed that the new model trained by the proposed method improved the inspection accuracy of parts of the automotive assembly line by 11.38%.

Key words: mixed reality, assembly inspection, deep learning, data enhancement

中图分类号:

王帅,郭锐锋,董志勇,王鸿亮,张晓星. 混合现实装配检测中深度学习的数据增强方法[J]. 计算机集成制造系统, 2021, 27(3): 716-727.

[1]	张旭辉,张雨萌,王岩,杜昱阳,王妙云,谢楠,鞠佳杉. 融合数字孪生与混合现实技术的机电设备辅助维修方法[J]. 计算机集成制造系统, 2021, 27(8): 2187-2195.
[2]	陆志强,任逸飞,许则鑫. 基于深度学习的资源投入问题算法[J]. 计算机集成制造系统, 2021, 27(6): 1558-1568.
[3]	苏兆婧,余隋怀,初建杰,段晓赛,宫静. 面向云服务平台的产品感性评价及标注模型[J]. 计算机集成制造系统, 2021, 27(3): 868-877.
[4]	李树飞,郑联语,刘新玉,王天睿. 增强现实眼镜辅助的线缆连接器装配状态智能检错方法[J]. 计算机集成制造系统, 2021, 27(10): 2822-2836.
[5]	刘惠,刘振宇,郏维强,张栋豪,谭建荣. 深度学习在装备剩余使用寿命预测技术中的研究现状与挑战[J]. 计算机集成制造系统, 2021, 27(1): 35-53.
[6]	肖鹏飞,张超勇,孟磊磊,洪辉,戴稳. 基于深度强化学习的非置换流水车间调度问题[J]. 计算机集成制造系统, 2021, 27(1): 193-206.
[7]	刘坤华,钟佩思,徐东方,夏强,刘梅. 基于双曲正切函数的修正线性单元[J]. 计算机集成制造系统, 2020, 26(第1): 145-151.
[8]	刘庭煜,陆增,孙毅锋,刘芳,何必秒,钟杰. 基于三维深度卷积神经网络的车间生产行为识别[J]. 计算机集成制造系统, 2020, 26(8): 2143-2156.
[9]	陈晟恺,方水良,唐任仲. 基于需求预测的云制造服务租赁配置优化[J]. 计算机集成制造系统, 2020, 26(11): 2944-2954.
[10]	张小俊,李辰政,孙凌宇,张明路. 基于改进3D卷积神经网络的行为识别[J]. 计算机集成制造系统, 2019, 25(第8): 2000-2006.
[11]	宋亚,夏唐斌,郑宇,卓鹏程,潘尔顺. 基于Autoencoder-BLSTM的涡扇发动机剩余寿命预测[J]. 计算机集成制造系统, 2019, 25(第7): 1611-1619.
[12]	刘庭煜,钟杰,刘洋,何必秒,段华,陆增. 面向车间人员宏观行为数字孪生模型快速构建的小目标智能检测方法[J]. 计算机集成制造系统, 2019, 25(第6): 1463-1473.
[13]	朱建楠,梁玉琦,顾复,郭剑锋,顾新建. 基于深度学习的机械智能制造知识问答系统设计[J]. 计算机集成制造系统, 2019, 25(第5): 1161-1168.
[14]	王万良,张兆娟,高楠,赵燕伟. 基于人工智能技术的大数据分析方法研究进展[J]. 计算机集成制造系统, 2019, 25(第3): 529-547.
[15]	王亚辉,余隋怀,陈登凯,初建杰,刘卓,王金磊,马宁. 基于深度学习的人工智能设计决策模型[J]. 计算机集成制造系统, 2019, 25(第10): 2467-2475.

混合现实装配检测中深度学习的数据增强方法

Data enhancement method for deep learning in mixed reality assembly inspection

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics