一、项目名称
面向特殊车辆安全预警需求的视觉感知关键技术及应用
二、提名者及提名意见
提名者:陕西省教育厅
提名意见:
项目针对客运车辆、急救车辆、公务车辆、危货和特货等特殊车辆实时安全预警和防控需求,深入研究特殊车辆危险态势感知关键技术,突破了现有常规监控摄像头在复杂环境下对车内外环境感知的精度与速度瓶颈,显著提升了特殊车辆安全预警的实时视觉感知能力。在此基础上,研制了北斗定位综合业务平台,并广泛应用于特殊车辆中,取得了重大的经济效益和社会效益。
本项目由西北大学、西北工业大学和易迅通科技有限公司共同组成的团队完成,成果材料齐全、规范,无知识产权纠纷,人员排序无争议,符合陕西省科学技术进步奖提名要求。特提名为陕西省科学技术进步奖一等奖。
三、项目简介
特殊车辆的安全预警和防控是目前车辆管理尚未解决的问题之一。现有基于机器视觉的车辆运输安全监测系统,难以实现在复杂环境下对车外环境的精确、实时监控,同时缺乏对驾驶员生理心理状态的动态监测,无法满足特殊车辆危险全方位态势感知要求。本项目研究自适应场景图像增强、危险行为视觉感知、驾驶员身份验证与生理心理状态全程视觉监测等视觉感知技术,研制了北斗定位综合业务平台,取得的主要成果包括:
(1)提出了基于常规监控摄像头的低成本、高性能解决方案,研制了北斗定位综合业务平台。
(2)提出了基于本质图像分析框架的图像增强技术,能够针对暗光照、雾霾以及遮挡等问题实现统一框架下的自适应图像增强。
(3)提出了基于超像素频繁项挖掘、回归窗口与全局判别以及卷积与多尺度滤波的检测和跟踪技术,构建了快速、鲁棒车辆外部环境感知模式,实现了车辆周围危险行为高效感知与预警取证。
(4)提出了基于对抗学习、真实或类颜色空间和多层协同编码的感知技术,构建了智能化、快速化的人本计算模型,实现了驾驶员身份验证与生理心理状态全程视觉监测。
项目获得的核心知识产权包括授权发明专利8项和论文2篇。相关方法与技术已经在第三完成单位易迅通科技有限公司得到应用。
四、客观评价
项目所研制的北斗定位综合业务平台,具有行人过近报警、车距过近报警、行人异常行为报警、驾驶员身份验证和负向生理指标检测、驾驶行为分析等功能,其行人检测准确率为97.7%,虚假人脸识别准确率为99.4%。
项目所提出的本质图像分析方法,在常用ShapeNet,BOLD和MIT公开数据集上进行测试,与CVPR2018 Fan等方法相比,其提取的本质图像结果均值平方误差(MSE)提升了40.9%,局部均方误差(LMSE)提升了21.3%,结构相似性指标(DSSIM)提升了43.6%。
项目所提出的显著区域检测方法,与CVPR2015中LWS方法相比,Fβ指数和平均绝对误差MEA作为评判标准,分别提升了4.2%和17.39%。
项目所提出的身份验证技术,在Replay-attack和Oulu-NPU公开数据集上,取得了HTER、APCER、BPCER、BPCER20四种攻击错误率的最优结果,比TIFS2018的3DCNN方法性能提升了41%。
五、应用情况
项目所研制的北斗定位综合业务平台,已成功应用于陕西、甘肃、山西、海南、河北、宁夏、湖南、湖北等8个省份中3万多家单位,服务客运车辆、急救车辆、公务车辆、危货和特货等特殊车辆超5万台,取得了显著的经济效益和社会效益。
六、主要知识产权和标准规范等目录
知识产权类别 | 知识产权 具体名称 | 国家 (地区) | 授权号 | 授权日期 | 证书 编号 | 权利人 | 发明人 | |
1 | 发明专利 | 一种运用卷积神经网络提取本质图像的方法 | 中国 | ZL201810407424.8 | 2021.09.17 | 4687306 | 西北工业大学 | 蒋晓悦,冯晓毅,李会方,吴俊,何贵青,谢红梅,夏召强 |
2 | 发明专利 | 一种全天时雾霾图像清晰化恢复方法 | 中国 | ZL 201611240103.0 | 2019.11.08 | 3586330 | 西北大学 | 姜博,汪霖,何金红,刘成,周延,陈晓璇 |
3 | 发明专利 | 一种基于生成式对抗网络的阴影去除方法 | 中国 | ZL 201910256619.1 | 2020.07.14 | 3886272 | 西北工业大学 | 蒋晓悦,胡钟昀,冯晓毅,夏召强,吴俊,李煜祥 |
4 | 发明专利 | 一种图像显著区域检测方法 | 中国 | ZL 201810743521.4 | 2020.09.01 | 3968122 | 西北大学 | 王世峰,彭进业,王琳,祝轩,王珺,李展,艾娜,樊萍 |
5 | 发明专利 | 一种基于神经网络的快速行人检测方法 | 中国 | ZL 201710051125.0 | 2020.01.31 | 3679104 | 西北大学 | 彭进业,胡洋,王珺,李展,祝轩,王琳,文才,艾娜 |
6 | 发明专利 | 基于卷积特征和全局搜索检测的长时遮挡鲁棒跟踪方法 | 中国 | ZL201710204379.1 | 2019.09.24 | 3537605 | 西北工业大学 | 李映,林彬,杭涛 |
7 | 发明专利 | 基于人脸图像的年龄估计模型构建方法及估计方法 | 中国 | ZL 201810563826.7 | 2020.09.01 | 3967313 | 西北大学 | 彭进业,李帆,李展,王珺,章勇勤,祝轩,唐文华 |
8 | 发明专利 | 基于多尺度LBP和稀疏编码的大规模人脸表情识别方法 | 中国 | ZL 201410195403.6 | 2017.02.01 | 2365847 | 西北工业大学 | 彭先霖,夏召强,冯晓毅,彭进业,王珺,毛晓菲,崔明辉,胡旭涛 |
9 | 论文 | Replayed video attack detection based on motion blur analysis | 中国 | 2019, 14(9): 2246-2261 | 2019.09 | IEEE Transactions on Information Forensics and Security | 西北工业大学 | 李磊,夏召强,Abdenour Hadid,蒋晓悦,张海曦,冯晓毅 |
10 | 论文 | Non-contact pain recognition from video sequences with remote physiological measurements prediction | 中国 | 2021: 1231-1237 | 2021.08 | 30th International Joint Conference on Artificial Intelligence (IJCAI 2021) | 西北大学 | 杨瑞靖,管子玉,余梓彤,冯晓毅,彭进业,赵国英 |
七、主要完成人
姓名 | 排名 | 职称/职务 | 工作单位 | 完成单位 | 对本项目贡献 |
彭进业 | 1 | 教授 | 西北大学 | 西北大学 | 视觉感知与情绪感知技术 |
冯晓毅 | 2 | 教授 | 西北工业大学 | 西北工业大学 | 图像增强与情绪感知技术 |
刘艳华 | 3 | 董事长 | 易迅通科技 有限公司 | 易迅通科技 有限公司 | 平台与技术集成 |
蒋晓悦 | 4 | 副教授 | 西北工业大学 | 西北工业大学 | 图像增强技术 |
夏召强 | 5 | 副教授 | 西北工业大学 | 西北工业大学 | 情绪感知技术 |
王珺 | 6 | 副教授 | 西北大学 | 西北大学 | 图像显著区域检测技术 |
李映 | 7 | 教授 | 西北工业大学 | 西北工业大学 | 目标跟踪技术 |
张友斌 | 8 | 技术 总监 | 易迅通科技 有限公司 | 易迅通科技 有限公司 | 平台与技术集成 |
姜博 | 9 | 副教授 | 西北大学 | 西北大学 | 图像增强技术 |
汪霖 | 10 | 副教授 | 西北大学 | 西北大学 | 图像增强技术 |
彭先霖 | 11 | 讲师 | 西北大学 | 西北工业大学 | 情绪感知技术 |
八、主要完成单位及创新推广贡献
西北大学主要贡献集中在技术方案设计、安全性及实验研究方面,对项目第二、第三和第四方面的成果均做出了创造性贡献:(1)提出了雾霾图像清晰化的图像增强技术;(2)提出了显著区域检测和快速行人检测等感知技术;(3)提出了年龄估计模型构建和估计方法。
西北工业大学主要贡献集中在视觉感知技术相关技术和系统验证方面,对项目第二、第三和第四方面的成果均做出了创造性贡献:(1)提出了本质图像分析和阴影去除等图像增强技术;(2)提出了鲁棒跟踪技术;(3)提出了面向驾驶员异常状态个性化精准估计的快速人本计算技术。
易迅通科技有限公司主要贡献在应用相关创新技术进行系统设计开发与性能评估、技术集成与推广应用。
九、完成人合作关系说明
西北大学完成人(彭进业等)和西北工业大学完成人(冯晓毅等)在面向特殊车辆运输安全的视觉感知技术等方面展开技术合作,并将研发的技术成功应用于易迅通科技有限公司完成人(刘艳华等)研制的北斗定位综合业务平台中。