前言:一篇好文章的诞生,需要你不断地搜集资料、整理思路,本站小编为你收集了丰富的计算机视觉运用主题范文,仅供参考,欢迎阅读并收藏。
关键词 计算机;视觉技术;应用研究
中图分类号:TP212 文献标识码:A 文章编号:1671-7597(2013)16-0114-01
计算机视觉技术自20世纪70年代产生以来就得到了全世界的广泛关注。作为一种多学科综合应用下的新技术,随着专家对其研究会的不断深入,其应用领域也越来越广,给人们的生产生活带来了极大方便。
1 计算机视觉技术
计算机视觉技术是在计算机技术应用下发展起来的一种新技术,主要用来研究计算机模拟生物的宏观或外显功能。该技术在应用过程中会涉及到计算机科学、神经生物学、人工智能、模式识别以及图像处理等多个学科,多学科技术的综合运用使得计算机具有了“感知”周围世界的能力,这也正是该技术发挥作用的核心所在。计算机视觉技术的特点就在于,首先,它能在不接触被测者的前提下完成对被测者的检测;其次,该技术应用的领域和检测的对象非常广,能在敏感器件的应用下,完成对人类难以观察到的超声波、微波和红外线等的检测;最后,该技术还突破了人在视觉观察上长时间工作的限制,能对检测对象进行长时间观察。
2 计算机视觉技术在各领域的应用分析
随着计算机视觉技术研究的不断加深,该技术的应用领域也越来越广,下面,本文就选取工业、农业、林业、农产品检测、电力系统自动化及图书馆工作这6个方面对计算机视觉技术的应用进行简要分析。
2.1 在工业领域中的应用
工业生产对产品的质量要求极高,计算机视觉技术在工业上的应用主要集中在以下3方面:1)产品形状和尺寸的检测上。对制造业而言,产品的形状和尺寸是否合格直接影响到产品在实际应用过程中作用的发挥。计算机视觉技术的应用能对产品进行二维和三维等几何特征的检测,如产品的圆度、位置及形状等。2)产品零部件缺失情况的检测。在生产线运行过程中,计算机视觉技术能准确检测出产品在生产过程中是否存在铆钉、螺丝钉等零部件的缺失以及产品内部是否在生产过程中掺进杂质等。3)产品表面质量的检测。为了从各个方面保证产品的合格性,对其进行表面质量的检测也是一个极其重要的环节。计算机视觉技术实现了对产品表面的纹理、粗糙度、划痕、裂纹等各方面的有效检测。
2.2 在农业生产领域中的应用
该技术在农业领域的应用主要集中在以下两方面:1)对病虫害的预测预报。预测预报作用发挥的关键环节是建立起计算机视觉技术对所有昆虫的识别体系。对昆虫图像识别系统进行数字化建模所使用的方法主要以下2种,一种是运用数学形态学的方法对害虫的边缘进行检测,进而提取害虫的特征;第二种是从昆虫的二值化图像中提取出昆虫的周长、面积和复杂度等基本信息,并对这些信息建立害虫的模板库以实现对昆虫的模糊决策分析。2)对农作物生长的监测。常用的方法就是运用计算机视觉技术下的非接触式监测系统对农作物生长环境下的光照、温度、湿度、风速、营养液浓度等相关因素进行连续地监测,进而判断出农作物长势。
2.3 在林业生产中的应用
该技术在林业生产中的应用主要集中在农药喷洒和林木球果采集这两方面。就林业的农药喷洒而言,常规的农药喷洒方式易造成农药的大量流失,不仅达不到防止林业有害生物的目的,还浪费了大量的人力、物力和财力。计算机视觉技术的应用能通过对施药目标图像进行实时分析,得出具体的施药量和准确的施药位置,该技术指导下的施药工作极大发挥了农药的效果。就林木球果采集而言,该采集工作的操作难度一直都很大,我国当前使用的方法主要是人工使用专业工具下的采集以及机械设备运用下的高空作业车采集和摇振采种机采集,这两种方式都存在一定的安全性和效率问题。计算机视觉技术的应用能通过对需要进行采集的林木球果进行图像采集来得出球果所处的具置,再结合专业机械手的使用完成球果采集。该技术不仅节省了大量劳动力,还极大提高了采摘效率。
2.4 在农产品检测中的应用
农产品在生产过程中受自然环境的影响比较大,所以农产品不仅会产生质量上的差异,还会造成颜色、大小、形状等外观上的极大不同。由于农产品在出售时大多要进行产品等级的划分,所以将计算机视觉技术运用到对其颜色和外形尺寸的检测上,有效达到了对农产品进行检测的目的。通过对外观大小尺寸的检测,不仅提高了对农产品进行分门别类地等级划分的效率,还在很大程度上减少了对产品的损坏;通过对西瓜等农产品进行颜色上的检测,能准确判断其是否成熟,有效避免了人工操作下的失误。
2.5 在电力系统自动化中的应用
计算机视觉技术在电力系统自动化应用的表现当前主要表现在以下2个方面:1)在人机界面中的应用。人机界面在运行过程中更加强调人的主体地位,实现了用户对各种效应通道和感觉通道的运用。具体来讲,计算机视觉技术在用户向计算机的输入方面,效应通道实现了手动为主向手、足、口、身体等的转变;在计算机向用户的输出方面,感觉通道实现了视觉为主向触觉、嗅觉、听觉等的转变。2)在电厂煤粉锅炉火焰检测中的应用。对煤粉锅炉火焰的检测既能有效判断锅炉的运行状况,又能在很大程度上实现电厂的安全性运营。由于煤的负荷变化和种类变化会在使着火位置发生移动,所以为了保证炉膛火焰检测的准确性,必须弥补之前单纯应用火焰检测器只能判断有无火焰开关量信号的弊端。计算机视觉技术的应用,就在弥补火焰检测器应用弊端的基础上,实现了对火焰形状的进一步检测。
2.6 在图书馆工作中的应用
随着当前数字图书馆和自动化管理系统的建立,计算机技术在图书馆方面的应用越来越广泛。当前计算机视觉技术在图书馆方面的应用主要集中在古籍修补和书刊剔旧这两方面。就古籍修补而言,古籍图书等在收藏的过程中,受温度、湿度、光照等的影响,极易导致纸张变黄、变脆以及虫洞等现象的出现。在进行修补时,依靠计算机视觉技术开展具体的修补工作,能在很大程度上提高修补工作的效率。就书刊剔旧而言,由于图书馆藏书众多,对那些使用率低且较为陈旧的文献资料进行及时地剔除,能实现图书资源的及时更新。计算机视觉技术在该方面的应用,极大地保证了工作的准确性和效率性。
3 结束语
通过以上对计算机视觉技术在工业、农业、林业、农产品检测、电力系统自动化及图书馆工作这6个方面的研究可以看出,随着计算机技术的进一步发展以及计算机与各专业学科的不断渗透,该技术的发展前景和应用领域都将更加广阔。
参考文献
(1)课程内容方面:工程应用价值较小的内容居多;具备工程应用价值的方法,如基于结构光的3D信息获取,在课程内容中却极少出现。
(2)课程定位方面:现有课程体系中未能体现最新研究成果,而掌握世界最新工程应用成果是卓越工程师的基本要求之一。
(3)教学形式方面:传统计算机视觉课程侧重基本原理,尽管范例教学被引入到课堂教学中,在一定程度上帮助学生理解,但卓越工程师培养目标是培养学生解决实际工程问题的能力。针对卓越工程师培养目标,以及目前计算机视觉课程中存在的问题,本文提出工程应用导向型的课程内容、面向最新成果的课程定位、理论实例化与工程实践化的教学形式,以培养具有扎实理论基础及工程实践能力的卓越工程师。
1工程应用导向型的课程内容传统计算机视觉课程围绕Marr理论框架展开教学,其中部分原理仅在理想状态或若干假设下成立,不能直接运用到工程实践中。近年来已具备工程应用基础的原理及方法,在传统课程内容中较少出现,如已在工业测量、视频监控、游戏娱乐等领域中应用的主动式三维数据获取方法等。我们对工程应用价值高的课程内容,增加课时,充分讲解其原理及算法,并进行工程实例分析;对工程应用价值较低内容,压缩课时,以介绍方法原理为主。例如,在教授3D信息获取部分时,课时主要投入到工程应用价值较大的内容,如立体视觉、运动恢复结构、基于结构光的3D信息获取等;而对于基于阴影的景物恢复等缺乏应用基础的内容主要介绍其基本原理,并引导学生进行其工程应用的可行性分析,培养学生缜密的思维习惯,训练学生辩证的分析能力。
2面向最新成果的课程定位计算机视觉近十年来发展迅速,新方法和新理论层出不穷,在现有课程体系中未能得以体现。跟进世界最新成果是卓越工程师的基本要求之一,因此计算机视觉课程定位应当面向国际最新成果。为实现这一目标,我们主要从以下两方面入手。
(1)选用涵盖最新成果的教材。我们在教学中加入国际最新科研成果及应用范例,在教材选取上采用2010年RichardSzeliski教授所著《Computervision:algorithmsandapplications》作为参考教材。该书是RichardSzeliski教授在多年MIT执教经验及微软多年计算机视觉领域工作经验基础上所著,涵盖计算机视觉领域的主要科研成果及应用范例,参考文献最新引用至2010年。这是目前最新的计算机视觉著作之一,条理清晰,深入浅出,特点在于对计算机视觉的基本原理介绍非常详尽,算法应用紧跟国际前沿。
(2)强化学生调研及自学能力。“授之以鱼”,不如“授之以渔”。在教授学生的同时,更重要的是培养学生调研、跟踪、学习并分析国际最新科研及工程应用成果的能力。为强化学生的知识结构,培养学生跟踪国际前沿的能力,我们在教学中加入10%的课外学时,指导每位学生完成最近三年本领域的国际最新文献调研及工程应用新技术调研,并撰写相关调研论文。同时,设置2学时课内学时,让每位学生介绍调研成果,并进行课堂讨论。在调研基础上,选择相关算法进行了实验证明,进一步强化学习成果。实践证明,由于学生能够根据自己的兴趣,选择本领域感兴趣的课题进行深入调研,极大地调动了学生的积极性,强化了学生调研、跟踪、学习并分析国际最新科研及工程应用成果的能力。
3工程实践化的教学形式我们在教学中提出工程实践化的教学形式,即以人类视觉功能为背景,由相应工程实例引出相关理论,并最终将理论运用到工程实例中的算法和方法传授给学生。
关键词:农业机械;新技术;发展
1.农业机械新技术的应用和发展的重要性
我国是一个农业大国,农业是我国国民经济的基础,农业机械新技术的应用和发展具有重要的意义。
第一,提高机械的运作效率。目前在农业机械的使用方面,有的机械在使用过程中不能清晰地识别农作物的位置,比如,在收割小麦的过程中,有的小麦受到大风影响产生倒伏,对这些倒伏区域,机械在收割过程中很容易漏掉。所以在农业机械中使用新技术有利于弥补农业机械的漏洞,提高机械的运作效率。
第二,解放劳动力,促进经济发展。农业是一个需要大量年轻劳动力的行业,农业机械新技术的应用有利于实现农业种植、收割的自动化,解放劳动力。这些年轻的劳动力投入到其他的领域,有利于促进我国经济的发展。
2.农业机械新技术的应用
21世纪是个科技迅速翻新的时代,目前农业机械领域的新技术也层出不穷,下面介绍几种最新出现的农业机械新技术。
(1)计算机视觉技术。计算机视觉技术出现于20世纪70年代末,主要利用计算机视觉技术进行农产品品质和农产品等级的检查。计算机视觉是一种以图像处理为基础而兴起的学科,主要对视觉信息处理的计算理论、表达与计算方法进行研究。[1]随着计算机视觉技术应用领域的不断扩展,目前在农业机械生产方面,计算机视觉技术不仅能够用于检查农产品品质和分级,还可以用于播种和收割。但是由于计算机视觉技术在农业机械方面的使用时间比较短,一些技术难题还没有得到解决,所以计算机视觉技术在农业机械方面的应用还需要继续研究。
(2)人工智能技术。随着智能化的发展,智能技术在农业机械方面的应用也得以实现。美国运用人工智能技术发明了激光拖拉机,不仅可以控制拖拉机的行进方向,还能够对拖拉机进行具体的定位。[2]通过人工智能技术,人们建立了一个庞大的数据库,通过这个数据库可以对土地的具体情况进行掌握,以设计出具体的农业生产所需的化肥、种子、农药、水等原料的用量。
(3)机器人技术。比智能化更进步的就是机器人技术,机器人技术在农业机械中的应用,这是计算机信息网络和计算机视觉技术以及自动化控制等技术的结合的产物。目前研发出了除草机器人、播种机器人、浇水机器人、施肥机器人等,利用机器人进行农业生产活动,可以节省人工费用,解放劳动力,避免有些农业生产活动,对人体产生危害。
(4)自动控制技术。在农业机械中运用自动控制技术,可以帮助操作者降低操作难度,同时可以根据地势的高低和秸秆的长短来调节高度,保证机械使用过程中的安全性,提高农业机械使用的可靠性,提高农业生产效率。
3.农业机械新技术的发展
农业机械新技术的应用和发展都是为了提高农业的生产率服务的,所以农业机械新技术的发展主要表现为以下几点:
第一,加速新技术的使用和推广。科学技术是第一生产力,加速计算机视觉技术、自动控制技术、智能化技术等新技术在农业机械中的使用,同时引进国外先进的机械新技术,对推动我国农业的发展,提高农业的生产效率具有重大的意义。
第二,政府补贴。新型机械的购买都是生产个体自行组织的,资金压力大,使得机械新技术难以推广,所以对于农业机械新技术的推广使用,政府要在物质上予以补贴,拓展新机械的使用范围。
第三,提高农业资源利用效率。机械使用的目的就是为了提高农业的生产效率,提高农业资源的利用率。例如,在传统的农业生产过程中,对农作物秸秆的处理方式,绝大多数情况就是焚烧,不仅浪费资源,而且污染空气。但是农业机械新技术的使用通过将农作物的秸秆进行粉碎处理,将农作物秸秆转化为肥料,不仅提高了农作物资源的使用效率,也减小了空气的污染程度。
4.结语
随着科技的发展,计算机视觉技术、自动控制技术、智能化技术等新技术在农业机械方面的应用越来越广,农业机械新技术的应用和推广将大大提高我国农业的生产效率,提高农业资源的利用率,促进国民经济的发展。
参考文献:
[1]田 静.探讨农业机械新技术的应用与发展[J].中国农资,2013(36): 74.
关键词:OpenCV;人脸检测;实时
中图分类号:TP391.41
人脸检测(Face Detection)是指对于给定的图像或视频,采用一定的策略对其进行搜索以确定其中是否含有人脸,如果是则返回一脸的位置、大小和姿态。人脸检测是人脸识别的重要环节,运用摄像机或摄像头采集含有人脸的视频流,并进行实时的人脸检测是目前主流的应用。
OpenCV(Open Source Computer Vision Library)是开源的计算机视觉代码库,它轻量级而且高效,由一系列C函数和少量C++类构成,实现了图像处理和计算机视觉的接口,实现了图像处理和计算机视觉方面的很多通用算法[1]。
1 系统设计
本系统采用了OpenCV的基于boost筛选式级联Haar分类器,该分类器是通过成千上万的物体各个角度的训练图像训练出来的,它先对图像进行直方图均衡化处理,并将图像归一化到同样大小,然后标记是否包含要检测的物体,在人脸检测方面比较擅长。系统加载分类器后,利用OpenCV的视频捕获函数实时捕获连接在电脑上的摄像头读入的视频流,并将抓取的视频帧转换为图像,然后对图像进行人脸检测和标定,具体流程图如图1所示:
图1 系统流程图
2 系统实现
本系统在WindowsXP操作系统下使用VC++6.0基于OpenCV1.0进行开发。系统具体实现如下:
(1)初始化声明。通过CvMemStorage*captureFaceStorage=cvCreateMemStorage(0);语句创建一个内存存储器,来统一管理各种动态对象的内存,参数为0时创建的内存块默认大小为64k。然后分别声明分类器对象、图像对象级联名称及识别函数等成员:
Static CvHaar Classifier Cascade* cascade=0;
Ipl Image *frame,*frame_copy=0;
Char* capture Face Cascade_name=haarcascade_frontalface_alt2.xml;
(2)加载分类器。通过cvLoad函数,加载调用CvHaarClassifierCascade类的分类器文件“haarcascade_frontalface_alt2.xml”:
cascade=(CvHaarClassifierCascade*)cvLoad(captureFaceCascade_name,0,0,0);
(3)捕获视频。通过cvCreateCameraCapture函数捕获摄像头,捕获视频后循环执行抓取帧操作cvGrabFrame(cap)和获取图像操作cvRetrieveFrame(cap)操作,从而将帧转换成图像,以便于处理。
(4)图像格式转换。一般从硬盘读入的图片或者通过cvCreateImage方法创建的IplImage图片默认的origin属性为0,即显示的时候都是正的。而由摄像头或者视频文件获取的帧图像origin属性为1,此时显示的图像扫描顺序是从下到上,它会将帧图像的第i行赋值给图像的第height-i行,因此采集的图像会出现倒立现象,为此,应将复制的图像的origin属性调整为与帧图像的origin属性一致。此时需要使用cvFlip(frame,frame_copy,0)函数,实现对帧图像沿X轴的翻转。
(5)识别与检测人脸。本部分主要实现人脸检测功能,首先将从实时视频中提取的图像进行灰度化处理:
然后调整新图像gray,使它精确匹配目标small_img的大小,并利用cvEqualizeHist函数进行灰度图像直方图均衡化处理,最终通过cvHaarDetectObjects函数检测出人脸:
(6)标定检出的的人脸。绘制目标圆形区域,标定出检测出的人脸:
最后通过cvShowImage("result",img)显示出检测后的图像,如果检测到人脸,显示效果图。
3 结束语
基于的摄像头实时人脸检测系统的实现充分说明了OpenCV技术在实现人脸检测方面的效率高、功能强的特点,OpenCV必将在计算机视觉、图形图像处理领域有着广泛地应用前景。
参考文献:
[1]Gray Bradski,Adrian Kaebler.Learning OpenCV:Computer Vision with the OpenCV Library[M].USA:O Reilly media,2008.
[2]梁路宏.人脸检测研究综述[J].计算机学报,2002(05):449-458.
作者简介:徐占鹏(1979.01-),男,山东栖霞人,讲师,硕士,研究方向:计算机应用、计算机图形图像处理和计算机视觉。
关键词:农业机械;技术手段;应用;发展前景
我国在国际上的地位正在逐渐提高,这与我国的经济发展是分不开的,经济的发展需要基础的支持,农业就是我国的基础,我国是农业大国,农村人口基数大。随着近几年我国农业的发展,很多高新技术也被运用到农业的机械设备中,使农机设备向着智能化的方向发展,有效地提升了农业生产的整体效率。在农业的生产中使用高新技术还能够提高农业的生产效率,保证农机相关机械的正常运作。
1农业机械技术的应用分析
1.1计算机技术
这里所说的计算机技术主要指的是计算机视觉技术,这一技术最早被运用在农业机械上是在20世纪70年代中期,当时主要运用的是计算机技术中的视觉技术,利用这一技术的主要目的是可以对农产品的品质质量进行分级别检查。计算机视觉技术是以图像处理为基准,随着图像处理以及视觉模拟技术的发展,计算机视觉技术不仅可以用来检查农产品的品质,而且还可以用来对农产品进行播种、收割。虽然计算机视觉技术在我国农业技术领域的应用时间还不是很长,在实际的使用中还有很多的问题出现,但是相信随着科学技术的不断发展,计算机视觉技术必将会改变传统的农业作业模式,为现代化农业发展提供技术上的支持。
1.2网络信息技术
网络信息技术在我国农业机械上的应用是非常成功的,信息技术与地理信息系统的有机结合不仅可以为农业的生产提供高精度的监控,而且还能够对农业生产中出现病虫害的情况进行及时的检测,然后根据定位系统来进行田间作业。
1.3液压技术
液压技术主要依靠的是微电子技术和工业传感技术,在数据的采集上,运用液压技术主要完成的是能量的转换和匹配,其目的是为了让农业机械的效率能够得到进一步的提高,让机械设备的相关系统特征可以得到完善,让机械设备的可靠性能够得到提升,这也很好地符合了环境保护的相关标准要求。而大部分的农业机械都是采用内燃机作为原动力,所以很多时候都会出现工作负荷,一般情况下,我们都是通过电液控制手段来完成负载与原动力之间的匹配情况,尽可能地减少功率传输过程中出现的损失,从而提高农业机械系统的工作效率。
1.4人工智能技术
随着信息全球化的不断深入,高端技术不仅在大型的企事业单位中被运用,在农业中也得到了广泛的应用,比较有成果的就是美国利用人工智能技术研发出激光拖拉机、机械的内部导航装置,等等,这些装置可以对拖拉机的运行方向及所处位置进行实时的测定,在了解地区土地信息之后,再制定合理的土地种植方案、农药及种子的数量,等等。
2农业机械技术的发展趋势
2.1推广农业机械产品的技术发展
目前在我国的农业机械发展上,已经开始运用机电智能化技术和计算机技术,这使得农业机械化设备的科技含量有了极大的提高,不仅有效地提高了农业机械的作业效率,而且也提升了农业的生产效率。
2.2农业资源的利用率得到了提升
只有提高了农业资源的开发利用率,才能够确保农业实现可持续发展,同时也为保护生态环境奠定基础,如回收农业生产的废弃物,普及无害化的处理设备,运用无害化技术来处理废水可以有效地达到保护环境的作用。而在农业种植的过程中,使用有机肥料还可以进一步提高农业资源的利用效率。除此之外,大力发展节能型动力机械设备可以有效地避免出现资源浪费,从而提高农业资源的整体利用效率。
2.3提高农业机械产品的质量监督水平
要想提升农业的机械化水平,还要从规范设计的基本要求出发,全面提高农业产品的质量。在质量提升的过程中,还要注重农业产品的整体造型和外观,农机设备的耐久性也要经得起考验。选用与农机设备相配套的发电机及元件,能够最大程度上提高农业机械产品的质量。在农业机械设备完成安装之后,还要对其进行试运行,只有保证了设备各项指标都正常的基础上,才能够真正的投入使用,这也是提高农业机械产品可靠性的前提。
2.4加大政府的补贴力度
各级地方政府要加大农业机械的技术推广,做好农业机械的培训工作。国家还要将拖拉机、插秧机等农机具作为农具购置补贴的关键,普及农业机械知识。这样也能够更好地提高农业机械化的发展进程。
2.5确保农业机械技术的安全生产
关注安全监督管理及装备的创建工作,加大农业机械的安全投入,以便更好地满足农业机械工作安全监督管理的需求。除此之外,最重要的是,要将农业机械的安全检验工作纳入到各级县市政府的财政预算当中。
3结语
随着科学技术的飞速发展,一些高新技术正在逐渐地被运用到农业的机械设备中,这些机械设备的出现不仅提高了农业的整体生产水平,而且还进一步提升了农业的生产效率,很好地实现了农业的可持续发展。在今后的农业发展过程中,农业机械也必定是智能化的,所以要求操作人员要不断地提高自己的专业素养,全面推广农业机械新技术,只有这样才能够真正意义上实现我国农业机械的智能化。
作者:徐家亮 刘晓鹏 单位:黑龙江省克东县农机安全监理站
参考文献:
[1]陶乐然.长春星宇小区新技术应用[C]//增强自主创新能力促进吉林经济发展———启明杯•吉林省第四届科学技术学术年会论文集(下册).2006.
[2]刘蒙之.传播新技术与国家发展———一种政治经济学的观察[C]//中国传播学会成立大会暨第九次全国传播学研讨会论文集.2006.
[3]张仁江,田莉.制造业企业新技术采纳:动因、路径及障碍分析———基于T公司的纵向案例研究[C]//第六届(2011)中国管理学年会———技术与创新管理分会场论文集.2011.
[4]胡札进,姚尚斌,徐七三“.双低”储藏与四项储粮新技术的综合应用[C]//全面建设小康社会:中国科技工作者的历史责任———中国科协2003年学术年会论文集(上).2003.
[5]柳旭.浅析电视空间新技术对审美体验的影响[C]//2009中国电影电视技术学会影视技术文集.2010.
关键词:视觉注视;移动端;数据集;行为推测
中图分类号:TP391 文献标识码:A 文章编号:1009-3044(2017)01-0254-03
Abstract: With the development of computer vision application technology, the behavior prediction of eye gaze has been widely concerned by many scholars at home and abroad, and also has important research significance in the field of biological information recognition. In the era of smart phone tablet popularity to improve human-computer interaction and accurate prediction of the mobile side of the user gaze behavior becomes particularly important. Based on the existing research on visual technology, this paper proposes a scheme to solve the gaze behavior of mobile users by using large data combined with machine learning and convolution neural network knowledge, and analyzes the importance of large-scale data sets in visual application.
Key words: visual gaze; mobile end; data set; behavior conjecture
1 概述
伴S着计算机软硬件性能和互联网技术的迅猛发展,大规模的并行计算技术突飞猛进,不断地发展使各种现有技术变得越来越成熟,同时机器学习和计算机视觉领域也都得到了飞速发展。视觉技术的发展变得越来越重要,并且可以应用到实际生活中的很多方面。人类大量的视觉信息现在可以利用计算机来辅助处理,并完成相关的一些工作。相对于生物信息识别技术这一计算机视觉领域的热点技术来说,也已广泛应用于日常生活中[1]。比如指纹识别器,人脸考勤器等平时在许多地方可以经常见到,还有居民家用的摄像头智能报警系统以及近期炒得火热的运用支付宝进行刷脸而完成的支付技术等,这些都是运用了生物信息识别技术。现实中的种种迹象已经表明运用生物信息识别的计算机技术已渐渐的渗透到人们的日常生活中并成为不可或缺的组成部分。时下发展较快也比较常见的生物特征有视网膜、指纹、人脸和人眼等。这些生物信息比如人脸具有个体差异性和自身稳定性特点,从用户的角度来看该特征具有便携和低侵入等一些优点。而人眼作为人脸中最显著的特征,又是人们获取外界信息最直接最方便的途径。都说眼是心灵的窗户,因为眼睛中蕴含着表情、意图等多种信息。因此,眼睛注视的行为预测受到了国内外众多学者的广泛关注,同时在生物信息识别领域中也具有重要的研究意义[2]。
2 注视预测问题
2.1 问题的背景
在心理、认知和用户交互研究中的注视跟踪最近已朝向移动解决方案发展,因为它们使得可以直接评估用户在自然环境中的视觉注意。 除了注意,注视还可以提供关于用户的动作和意图的信息:用户正在做什么以及接下来将做什么。然而,在自然状态下非结构化的任务中注视行为是相当复杂的,并且不能使用在受控的实验室环境中创建的模型来得到令人满意的解释。自然条件下和实验室环境有着很大的不同。为了演化在自然环境中对注视行为的推断,需要一种更加整体的方法,将从认知科学到机器学习的许多学科结合在一起[3]。
从人机交互技术到医学诊断到心理学研究再到计算机视觉,眼睛注视跟踪在许多领域都有应用。注视是外部可观察的人类视觉注意的指标,许多人试图记录它。对于眼睛视线方面的研究可以追溯到十八世纪后期。而现如今已经存在各种解决方案(其中许多是商业化的),但是所有的解决方案都具有以下一个或多个方面的问题:高成本(例如,Tobii X2-60),定制或侵入性硬件(例如,Eye Tribe,Tobii EyeX)。然而在现实中的自然条件下,这些因素对实际的应用会造成一些障碍影响,使得眼睛注视跟踪不能成为任何具有合理的相机(例如,智能手机或网络摄像头)的人应该可以使用的普及技术。如何才能使得这种技术普及并且得到应用,提出了一种解决方案。
2.2问题的提出
研究中首先要解决的就是用户的约束问题,也就是自然条件下使用过程中所受到的各种限制问题。到目前为止,基于注视数据推断用户动作的研究受到许多的限制,特别是在自然环境中。限制因素可能包括可用的商业解决方案的昂贵性,其专有性和封闭性以及缺乏实时交互能力等方面。目前的注视跟踪系统,只是尽量在移动设置中设置各种条件进行补救。商业化定制化的解决方案都有其独自的闭合性质,因此阻碍了注视跟踪算法的发展,并且使得不同方法之间的客观比较变得不可能[4]。此外,注视是一种复杂的现象,涉及认知过程的相互作用。这些过程在设置计算上的建模是非常困难的,尤其是涉及一些未知因素,使得构建实验设置成为一个很大的挑战。此外,来自跟踪实验的数据因为其商业化的原因很少共享,即使共享数据很大部分也是有其独立的实验条件。这些方面的问题都阻碍了跨学科方法在分析和利用注视数据和实验的相关研究与发展。
2.3 解决问题的研究方向
对基于注视的推断的个体贡献通常保持孤立,不能形成更大的整体以促进对注视动作行为的研究。随着这方面的技术发展和应用,最近出现了一些开源的解决方案。虽然在不同的应用和用户界面中使用注视已经相当有限,但是移动注视跟踪的新颖应用开始出现并得到了很快的发展。然而使用移动注视跟踪来推断用户动作的问题是高度多学科的,需要深入理解各个研究领域,包括人眼的功能,数学建模,计算机视觉,机器学习,信息技术,认知过程,用户交互以及心理学。任何一个研究员或甚至任何研究小组都不可能拥有所有研究领域的专家,因此需要相互的协作共同推进技术的发展[5]。
目前的研究主要是从以下几个方面进行:
1)研究移动注视跟踪的认知方面,例如增强对任务中的注视行为的理解或识别不同任务的特征和阶段;
2)开发用于从注视数据推断用户动作的计算方法,诸如应用机器学习用于行为推断,优选地实时地;
3)增强用于改善移动注视跟踪方法和性能的技术软件/硬件解决方案,并使得设备更容易访问;
4)发现注视数据在自然环境和虚拟和增强现实应用中的潜在用途,以及定义任务,其中注视可以是用户动作的有用的预测器。
3 解决方案
首先选择移动端进行研究,因为目前比较普遍的移动设备比如智能手机、平板电脑都有自己可靠的工作系统,且不需要外部附件。移动设备相对于其他平台具有以下优势:
1)使用的广泛性。据估计,到2019年,世界上超过三分之一的人口拥有智能手机,远远超过台式机/笔记本电脑用户;
2)软硬件技术升级的采用率较高。大部分的移动设备具有允许使用拥有计算复杂数据方法的实时的最新软硬件;
3)移动设备上相机的大量使用已经导致相机技术的快速开发和部署;
4)相机相对于屏幕的固定位置减少了未知参数的数量,潜在地允许开发高精度的校准跟踪应用。
3.1 注视类型分析
注视估计方法可以分为基于模型或基于外观[6]。基于模型的方法使用眼睛的几何模型,并且可以被细分为基于角膜反射和基于形状的方法。另一方面,基于形状的方法从观察到的眼睛形状观察注视方向。这些方法倾向于具有低的图像质量和可变的照明条件。基于外观的方法直接使用眼睛作为输入,并可能在低分辨率图像上工作。相比基于模型的方法,基于外观的方法被认为需要更大量的用户特定的训练数据。通过使用深度学习和大规模数据不必依赖于视觉,以实现准确的无校准注视估计。这种方案提出建立一个基于外观的数据模型,而不使用任何手工设计的功能,例如头部姿势或眼球中心位置。
3.2 技术方案
深度学习的最近成功在计算机视觉的各种领域中是显而易见的,但是它对改善眼睛跟踪性能的影响还是相当有限。因为深度学习是需要大量的数据作为支持,而视线追踪这方面的数据集还比较少,普通的研究所得到的稻菁比较有限,最大的数据集通常只是具有50个受试者左右,由于缺乏大规模数据的可用性,因此发展比较缓慢。因而提出了使用深度学习进行研究的一套方案,就是构造大规模的数据集。利用网络资源构造一个大规模的基于移动的眼动跟踪数据集,它包含来自各种背景的大量的受试者,在可变照明条件和不受限制的头部运动下记录[7]。运用现有的智能算法得到一个可以进行卷积神经网络学习端到端的注视预测的后台决策网络。不依赖任何预先存在的系统,不需要头部姿态估计或其他手动设计的特征用于预测。使用只有双眼和脸部的特征训练网络,在这个领域的性能优于现有的眼睛跟踪方法。虽然现在的决策网络在精度方面实现了很先进的性能,但是数据输入的大小和参数的数量使得难以在移动设备上实时使用。 为了解决这个问题,需要培养学习得到一个更小更快的网络,在移动设备上实现实时性能,使得精度损失进一步降低。
3.3 大规模数据集
为了达到这一方案的预测效果,首先要进行的是数据集的建立。网络上相关的研究中有许多公开的注视数据集[8]。总结对比这些相关的数据集,分析出有些早期的数据集不包含显著性的头部姿势变化或具有粗略的注视点采样密度。需要对这些数据进行筛选,使得到的数据具有随机分布特点。虽然一些现代数据集遵循类似的方法,但它们的规模(尤其是参与者的数量)相当有限。大多数现有的眼动追踪数据集已经由邀请实验室参与者的研究人员收集,这一过程导致数据缺乏变化,并且成本高且效率不高。因此需要大量的进行数据收集和筛选分析。大规模数据可以通过卷积神经网络有效地识别人脸(他们的眼睛)上的细粒度差异,从而做出准确的预测。
收集眼动跟踪数据应该注意的方面:
1)可扩展性。数据应该是自然条件下的使得用户具有灵活性;
2)可靠性。运用现有的智能移动设备真实的应用图像而非设计处理过的图像;
3)变异性。尽量使数据具有较大的变异性,使得模型更加稳健,适应各种环境下的操作。
4 结束语
文章介绍了一种针对移动设备的用户注视行为推测解决方案。首先建立一个大规模眼动跟踪数据集,收集大量的注视数据。大型数据集的重要性,以及具有大量各种数据以能够训练用于眼睛跟踪的鲁棒模型。然后,训练得到一个深层卷积神经网络,用于预测注视。通过仔细的评估,利用深度学习可以鲁棒地预测注视,达到一个较好的水平。此外,虽然眼睛跟踪已经存在了几个世纪,相信这种新方案的策略可以作为下一代眼动跟踪解决方案的关键基准。希望能通过这方面的研究,使人机交互得到更好的发展。
参考文献:
[1] 崔耀 视控人机交互系统技术研究与实现[D].西安,西安电子科技大学,2013.
[2] 迟健男, 王志良, 张闯.视线追踪[M].北京: 机械工业出版社, 2011.
[3] Alireza Fathi, Yin Li, and James M Rehg 2012 Learning to recognize daily actions using gaze In Computer VisionCECCV 2012. Springer, 314-327.
[4] Makeroni Labs 2016 Eye of Horus. https://hackaday.io/project/
6638-eye-of-horus-open-source-eye-tracking-assistance (2016) Accessed: 2016-02-26.
[5] Francisco J Parada, Dean Wyatte, Chen Yu, Brandi Emerick, and Thomas Busey,2015.Expert Eyes: Open-source, high-definition eyetracking Behavior research methods ,2015.
[6] 杨彩霞.基于近红外光源的非接触式视线跟踪技术研究 [D].山东:山东大学,2012.
在用常见的手势进行交流时,人们很容易就能互相理解,在经过学习之后,聋哑人或是正常人都可以运用手语进行交流。不过,想象一下,当你对计算机(或机器)做一个手势,它就能领会你的意图会是怎样的情景呢?如果计算机(或机器)看得懂手语,又意味着什么呢?姑且不管实现这样的人机交流有何深远的意义,还是先让我们来探究一下这样的可行性吧,想想看得懂手语的计算机(或机器)能有什么用途。
人机交互:从呆板到员活
人类之间的交流往往声情并茂,既采用自然语言(口语、书面语言),还广泛采用人体语言(表情、体势、手势)。与人类之间的交流相比,人机交互就显得呆板多了。以计算机的输入方式为例,人要向计算机下达指令,最常见的方式还是通过键盘输入。当然,手写输入也正为许多人所接受和喜爱,语音输入的研究也进行得热火朝天,最初单一而呆板的输入方式已经得到了扩展。然而,科学研究是永无止境的,人体语言这种简单快捷的信息交流方式得到了很多研究者的关注,他们想,能不能把这种灵活的信息交流方式也引进人机交互中呢?
于是研究人员展开了对人体语言理解的研究。人体语言的感知、人体语言与自然语言的信息融合对提高计算机的人类语言理解水平,加强人机接口的可实用性有着积极的意义。手语(手势)是人体语言的一个非常重要的组成部分,它是包含信息量最多的一种人体语言,它与语言、书面语等自然语言的表达能力相同。因而完全可以把手语作为人机交互的一种手段,它具有很强的视觉效果,生动、形象、直观。可见,将手势运用于计算机能够很好地改善人机交互的效率。
计算机怎样识别手势?
从不同的角度可以对手势进行不同的分类。分为交互性手势和操作性手势,前者手的运动表示特定的信息(如乐队指挥),靠视觉来感知,后者不表达任何信息(如弹琴);分为自主性手势和非自主性手势,后者需要与语音配合用来加强或补充某些信息(如演讲者用手势描述动作、空间结构等信息),分为离心手势和向心手势,前者直接针对说话人,有明确的交流意图,后者只是反应说话人的情绪和内心的愿望。
手势的各种组合、运动相当复杂,不过简单来看,手势主要有如下的特点:手是弹性物体,因此同一手势之间差别很大,手有大量冗余信息,由于人识别手势关键是识别手指特征,因此手掌特征是冗余的信息:手的位置是在三维空间,很难定位:手的表面是,非平滑的,容易产生阴影。
了解了手势的这些特点,就可以在手势研究中对手势做适当的分割、假设和约束。例如,可以给出如下约束:如果整个手处于运动状态,那么手指的运动和状态就不重要,如果手势主要由各手指之间的相对运动构成,那么手就应该处于静止状态。比如鼠标和笔式交互设备就是通过识别手的整体运动来完成人与计算机的交互,但它们不能识别手指的动作,其优点是仅利用软件算法就能实现,适合于一般桌面系统。只有当用鼠标或笔式交互设备的运动或方向变化来传达信息时,才可将鼠标或笔式交互设备看作手势表达工具。笔式交互设备发展很快,它提供了充分的交互信息,如压力、方向、旋转和位置信息,但现有交互主要是简单地替代鼠标。
计算机识别手势的手段主要有两种:
1.数据手套。数据手套是虚拟现实系统中广泛使用的传感设备,用户通过数据手套,能做出各种手势向系统发出命令,与虚拟世界进行各种交互操作:比如通过一只与数据手套对应的在计算机屏幕上显示的虚拟手,使用户成为虚拟世界中的一员:抓取物体,如果手套有力反馈,还能让用户感觉到物体的重量和材质等。美国在“洞穴”虚拟系统中就是利用数据手套来研制武器。数据手套的主要优点是可以测定手指的姿势和手势,但是相对而言代价较为昂贵,并且有时会给用户带来不便(如出汗)。
2.计算机视觉。即利用摄像机输人手势,其优点是不干扰用户,这是一种很有前途的技术,目前有许多研究者致力于此项工作。但在技术上存在很多困难,目前的计算机视觉技术还难以胜任手势识别和理解的任务。
目前较为实用的手势识别是基于数据手套的,因为数据手套不仅可以输入包括三维空间运动在内的较为全面的手势信息,而且比基于计算机视觉的手势在技术上要容易得多。
更好地为人服务
日本三菱电子研究实验室的研究人员已经使用低成本的视觉系统,通过手势就可以控制一台电视机。由计算机控制的美国航空航天局虚拟太空站也是采用美国Cybernet公司开发的手语识别软件,通过一部架设在顶部的摄像机来追踪指挥者的手势。当系统捕捉到挥手等手势时,就会做出相应的反应,让指挥者像航天员一样在计算机虚拟的阿尔法国际太空站上移动(确切地说是飘动)。
Cybemet公司的软件还能识别一系列的特定手势,就像工地上的工人或交通警察经常用的那种手语,通过这些手势你能够旋转在虚拟旅行中看到的三维图像,还可以向上或是向下改变你的视角。美国航空航天局正在考虑把这套系统用于真正的太空站,因为笨重的航天服和微重力环境使得鼠标和键盘都变得难以操纵。也许不久之后,航天员就能用简单的手语来控制机器人在太空中抓取物体。
手语(手势)识别系统的研究还有助于改善和提高聋哑人的生活学习和工作条件,为他们提供更好的服务。同时也可以应用于计算机辅助哑语教学、电视节目双语播放、虚拟人的研究、电影制作中的特技处理、动画的制作、医疗研究、游戏娱乐等诸多方面。另外,手语识别系统的研究涉及到教学、计算机图形学、机器人运动学、医学等多学科。因此,手语识别系统的研究非常有意义。
李飞飞在新泽西读高中期间,家中难以支付她的教育费用,她只能勤工俭学,自己想办法挣钱读书。在初到美国的前两年里,李飞飞利用课余时间,做过街头清洁工、餐馆收银员,还做过照看宠物狗的服务员。
不仅生活艰苦,她的英语成绩也不好,美国的学生比较势利,同学不想和她来往。初到美国的几年里,她基本上没有朋友。幸运的是,她读高中时遇到几位特别善良的老师,在老师们的关怀和鼓励下,她逐渐祛除了自卑心理,增添了奋斗的勇气。
临近高中毕业时,李飞飞申请了很多大学,也收到不少录取通知书。只有普林斯顿大学给予李飞飞近乎全额的奖学金,这也让李飞飞的生活开始发生改变。
父母依然在困境中挣扎。李飞飞在进入普林斯顿大学读书时,就决定在课余时间自己去打工挣钱,为父母在帕西帕尼开设一个干洗店,让他们每个月有稳定收入,摆脱窘境。开店的钱最终还是不够,她只得向高中数学老师借钱。
在老师热情支持下,干洗店终于开业。李飞飞从此在学校和店铺之间奔波,周一到周五在学校攻读物理学,辅修工程物理专业,周末就回到帕西帕尼,在干洗店里帮忙。尽管干活用去很多时间,不过李飞飞的成绩还是相当优秀。大学毕业时,她以最高荣誉取得普林斯顿大学物理学学士学位。
李飞飞大学毕业时,金融证券市场无比火爆,对来自华尔街的征召,她居然不接受邀请,认为自己应该去,研究藏医。在父母耐心劝说下,她才改变想法,打算继续深造。
随后,李飞飞进入加州理工大学攻读电子工程的硕士、博士学位,开始研究人工智能和计算神经科学。在李飞飞读研期间,她的母亲患癌症,还有中风症状,家庭生活再次陷入困境。这种境遇会压垮很多人,李飞飞竟然没有垂头丧气,她积极寻找办法度过难关、完成学业,取得了博士学位。
李飞飞博士一毕业,高盛就投来橄榄枝,愿意给予她高薪工作;麦肯锡等公司也希望她前去工作。这是很大的诱惑,能极大改变家庭的生活状况。可是,她并拒绝了,“我几次拒绝高薪工作,父亲都没有轻易反对。非常感激他们对我追寻梦想的支持。”
“我的研究兴趣,集中在视觉研究领域,主要是计算机视觉和视觉心理学。我将利用大数据训练计算机学习视觉认知、记忆、推理和与环境互动。”用两年时间,李飞飞通过网络众包技术,建立起含有1500万张照片、涵盖22000种物品的全球最大图像识别数据库ImageNet。李飞飞希望研究界能从中受益。
无论数量还是质量,ImageNet都是规模空前的数据库。所陈列的物品,是根据日常英语单词进行分类组织的。光是猫,就有62000多只,长相各异,姿势多样,涵盖了各种家猫和野猫。李飞飞将数据库免费提供给全球的研究团体,很快被研究者广泛运用。
博士毕业四年后,李飞飞来到斯坦福大学计算机科学系任教。在上课的时候,她娓娓而谈,学生们都全神贯注地聆听。仅用三年时间,李飞飞就晋升为终身教授,并成为斯坦福大学人工智能实验室及斯坦福大W视觉实验室的主任。
从1955年起,美国斯隆基金会每年颁发斯隆研究奖,专门奖励科学领域最杰出的年轻教授。获奖者来自美国和加拿大54所高等院校,涵盖七大科学领域。2011年3月1日,斯隆基金会授予李飞飞“计算机科学奖”,表彰她在这一领域的重要贡献。
2015年9月4日,斯坦福大学宣布,丰田汽车公司投资2500万美元,在校园内设立人工智能研究中心,利用人工智能教计算机与现实世界互动,发展出突破性的技术,普遍运用于日常生活之中。首先展开的研究项目,是教机械人安全地自动驾驶无人车。
李飞飞担任斯坦福大学人工智能研究中心主管,由她领军研发无人车技术。李飞飞觉得无人车自动驾驶,是计算机学习人脑的极佳研究,基本目标是让计算机学习人脑做决定的方法。研究中心迅速制作出多个计算机系统,推进自动驾驶的技术。
2016年11月,李飞飞加盟谷歌云担任首席人工智能和机器学习科学家。同时,她仍担任斯坦福大学副教授,负责斯坦福人工智能实验室和斯坦福视觉实验室。
摘要:介绍了数据融合技术的基本概念和内容,分析了该技术在森林防火、森林蓄积特征的估计和更新、森林资源调查等方面的应用,提出该技术可应用于木材无损检测及精确林业。融合机器视觉、X射线等单一传感器技术检测木材及木制品,可以更准确地实时检测出木材的各种缺陷;集成GPS、GIS、RS及各种实时传感器信息,利用智能决策支持系统以及可变量技术,能够实现基于自然界生物及其赖以生存的环境资源的时空变异性的客观现实,建立基于信息流融合的精确林业系统。
多传感器融合系统由于具有较高的可靠性和鲁棒性,较宽的时间和空间的观测范围,较强的数据可信度和分辨能力,已广泛应用于军事、工业、农业、航天、交通管制、机器人、海洋监视和管理、目标跟踪和惯性导航等领域。笔者在分析数据融合技术概念和内容的基础上,对该技术在林业工程中的应用及前景进行了综述。
一、数据融合
1.1概念的提出
1973年,数据融合技术在美国国防部资助开发的声纳信号理解系统中得到了最早的体现。70年代末,在公开的技术文献中开始出现基于多系统的信息整合意义的融合技术。1984年美国国防部数据融合小组(DFS)定义数据融合为:“对多源的数据和信息进行多方的关联、相关和综合处理,以更好地进行定位与估计,并完全能对态势及带来的威胁进行实时评估”。
1998年1月,Buchroithner和Wald重新定义了数据融合:“数据融合是一种规范框架,这个框架里人们阐明如何使用特定的手段和工具来整合来自不同渠道的数据,以获得实际需要的信息”。
Wald定义的数据融合的概念原理中,强调以质量作为数据融合的明确目标,这正是很多关于数据融合的文献中忽略但又是非常重要的方面。这里的“质量”指经过数据融合后获得的信息对用户而言较融合前具有更高的满意度,如可改善分类精度,获得更有效、更相关的信息,甚至可更好地用于开发项目的资金、人力资源等。
1.2基本内容
信息融合是生物系统所具备的一个基本功能,人类本能地将各感官获得的信息与先验知识进行综合,对周围环境和发生的事件做出估计和判断。当运用各种现代信息处理方法,通过计算机实现这一功能时,就形成了数据融合技术。
数据融合就是充分利用多传感器资源,通过对这些多传感器及观测信息的合理支配和使用,把多传感器在空间或时间上的冗余或互补信息依据某些准则进行组合,以获得被测对象的一致性解释或描述。数据融合的内容主要包括:
(1)数据关联。确定来自多传感器的数据反映的是否是同源目标。
(2)多传感器ID/轨迹估计。假设多传感器的报告反映的是同源目标,对这些数据进行综合,改进对该目标的估计,或对整个当前或未来情况的估计。
(3)采集管理。给定传感器环境的一种认识状态,通过分配多个信息捕获和处理源,最大限度地发挥其性能,从而使其操作成本降到最低。传感器的数据融合功能主要包括多传感器的目标探测、数据关联、跟踪与识别、情况评估和预测。
根据融合系统所处理的信息层次,目前常将信息融合系统划分为3个层次:
(l)数据层融合。直接将各传感器的原始数据进行关联后,送入融合中心,完成对被测对象的综合评价。其优点是保持了尽可能多的原始信号信息,但是该种融合处理的信息量大、速度慢、实时性差,通常只用于数据之间配准精度较高的图像处理。
(2)特征层融合。从原始数据中提取特征,进行数据关联和归一化等处理后,送入融合中心进行分析与综合,完成对被测对象的综合评价。这种融合既保留了足够数量的原始信息,又实现了一定的数据压缩,有利于实时处理,而且由于在特征提取方面有许多成果可以借鉴,所以特征层融合是目前应用较多的一种技术。但是该技术在复杂环境中的稳健性和系统的容错性与可靠性有待进一步改善。
(3)决策层融合。首先每一传感器分别独立地完成特征提取和决策等任务,然后进行关联,再送入融合中心处理。这种方法的实质是根据一定的准则和每个决策的可信度做出最优的决策。其优点是数据通讯量小、实时性好,可以处理非同步信息,能有效地融合不同类型的信息。而且在一个或几个传感器失效时,系统仍能继续工作,具有良好的容错性,系统可靠性高,因此是目前信息融合研究的一个热点。但是这种技术也有不足,如原始信息的损失、被测对象的时变特征、先验知识的获取困难,以及知识库的巨量特性等。
1.3处理模型
美国数据融合工作小组提出的数据融合处理模型,当时仅应用于军事方面,但该模型对人们理解数据融合的基本概念有重要意义。模型每个模块的基本功能如下:
数据源。包括传感器及其相关数据(数据库和人的先验知识等)。
源数据预处理。进行数据的预筛选和数据分配,以减轻融合中心的计算负担,有时需要为融合中心提供最重要的数据。目标评估。融合目标的位置、速度、身份等参数,以达到对这些参数的精确表达。主要包括数据配准、跟踪和数据关联、辨识。
态势评估。根据当前的环境推断出检测目标与事件之间的关系,以判断检测目标的意图。威胁评估。结合当前的态势判断对方的威胁程度和敌我双方的攻击能力等,这一过程应同时考虑当前的政治环境和对敌策略等因素,所以较为困难。
处理过程评估。监视系统的性能,辨识改善性能所需的数据,进行传感器资源的合理配置。人机接口。提供人与计算机间的交互功能,如人工操作员的指导和评价、多媒体功能等。
二、多传感器在林业中的应用
2.1在森林防火中的应用
在用MODIS(ModerateResolutionImagingSpectroradiometer)数据测定森林火点时的20、22、23波段的传感器辐射值已达饱和状态,用一般图像增强处理方法探测燃烧区火点的结果不理想。余启刚运用数据融合技术,在空间分辨率为1000m的热辐射通道的数据外加入空间分辨率为250m的可见光通道的数据,较好地进行了不同空间分辨率信息的数据融合,大大提高了对火点位置的判断准确度。为进一步提高卫星光谱图像数据分析的准确性与可靠性,利用原有森林防火用的林区红外探测器网,将其与卫星光谱图像数据融合,可以使计算机获得GPS接收机输出的有关信息通过与RS实现高效互补性融合,从而弥补卫星图谱不理想的缺失区数据信息,大大提高燃烧区火点信息准确度和敏感性。
2.2森林蓄积特征的估计
HampusHolmstrom等在瑞典南部的试验区将SPOT-4×S卫星数据和CARABAS-IIVHFSAR传感器的雷达数据进行了融合,采用KNN(knearestneighbor)方法对森林的蓄积特征(林分蓄积、树种组成与年龄)进行了估计。
KNN方法就是采用目标样地邻近k个(k=10)最近样地的加权来估计目标样地的森林特征。研究者应用卫星光谱数据、雷达数据融合技术对试验区的不同林分的蓄积特征进行估计,并对三种不同的数据方法进行误差分析。试验表明,融合后的数据作出的估计比单一的卫星数据或雷达数据的精度高且稳定性好。
2.3用非垂直航空摄像数据融合GIS信息更新调查数据
森林资源调查是掌握森林资源现状与变化的调查方法,一般以地面调查的方法为主,我国5年复查一次。由于森林资源调查的工作量巨大,且要花费大量的人力、物力和资金。国内外许多学者都在探索航空、航天的遥感调查与估计方法。
TrevorJDavis等2002年提出采用非垂直的航空摄影数据融合对应的GIS数据信息实现森林调查数据的快速更新,认为对森林资源整体而言,仅某些特殊地区的资源数据需要更新。在直升飞机侧面装上可视的数字摄像装置,利用GPS对测点进行定位,对特殊地区的摄像进行拍摄,同时与对应的GIS数据进行融合,做出资源变化的估计或影像的修正。
试验表明,融合后的数据可以同高分辨率矫正图像相比,该方法花费少,精度高,能充分利用影像的可视性,应用于偏远、地形复杂、不易操作、成本高的区域,同时可避免遥感图像受云层遮盖。
三、数据融合在林业中的应用展望
3.1在木材检测中的应用
3.1.1木材缺陷及其影响
木材是天然生长的有机体,生长过程中不可避免地有尖削度、弯曲度、节子等生长缺陷,这些缺陷极大地影响了木材及其制品的优良特性,以及木材的使用率、强度、外观质量,并限制了其应用领域。在传统木制品生产过程中,主要依靠人的肉眼来识别木材缺陷,而木材板材表面缺陷在大小、形状和色泽上都有较大的差异,且受木材纹理的影响,识别起来非常困难,劳动强度大,效率低,同时由于熟练程度、标准掌握等人为因素,可能造成较大的误差。另外在集成材加工中,板材缺陷的非双面识别严重影响了生产线的生产节拍。因此必须开发一种能够对板材双面缺陷进行在线识别和自动剔除技术,以解决集成材加工中节子人工识别误差大、难以实现双面识别、剔除机械调整时间长等问题。
3.1.2单一传感器在木材检测中的应用
对木材及人造板进行无损检测的方法很多,如超声波、微波、射线、机械应力、震动、冲击应力波、快速傅立叶变换分析等检测方法。超声技术在木材工业中的应用研究主要集中在研究声波与木材种类、木材结构和性能之间的关系、木材结构及缺陷分析、胶的固化过程分析等。
随着计算机视觉技术的发展,人们也将视觉传感器应用于木材检测中。新西兰科学家用视频传感器研究和测量了纸浆中的纤维横切面的宽度、厚度、壁面积、壁厚度、腔比率、壁比率等,同时准确地测量单个纤维和全部纤维的几何尺寸及其变化趋势,能够区分不同纸浆类型,测定木材纤维材料加固结合力,并动态地观察木材纤维在材料中的结合机理。
新西兰的基于视觉传感器的板材缺陷识别的软件已经产业化,该软件利用数码相机或激光扫描仪采集板材的图像,自动识别板材节子和缺陷的位置,控制板材的加工。该软件还具有进行原木三维模型真实再现的计算机视觉识别功能,利用激光扫描仪自动采集原木的三维几何数据。
美国林产品实验室利用计算机视觉技术对木材刨花的尺寸大小进行分级,确定各种刨花在板中的比例和刨花的排列方向;日本京都大学基于视觉传感器进行了定向刨花板内刨花定向程度的检测,从而可以通过调整定向铺装设备优化刨花的排列方向来提高定向刨花板的强度。在制材加工过程中,利用计算机视觉技术在线实时检测原木的形状及尺寸,选择最佳下锯方法,提高原木的出材率。同时可对锯材的质量进行分级,实现木材的优化使用;在胶合板的生产过程中,利用计算机视觉技术在线实时检测单板上的各种缺陷,实现单板的智能和自动剪切,并可测量在剪切过程中的单板破损率,对单板进行分等分级,实现自动化生产过程。Wengert等在综合了大量的板材分类经验的基础上,建立了板材分级分类的计算机视觉专家系统。在国内这方面的研究较少,王金满等用计算机视觉技术对刨花板施胶效果进行了定量分析。
X射线对木材及木质复合材料的性能检测已得到了广泛的应用,目前该技术主要应用于对木材密度、含水率、纤维素相对结晶度和结晶区大小、纤维的化学结构和性质等进行检测,并对木材内部的各种缺陷进行检测。
3.1.3数据融合在木材检测中的应用展望
单一传感器在木材工业中已得到了一定程度的应用,但各种单项技术在应用上存在一定的局限性。如视觉传感器不能检测到有些与木材具有相同颜色的节子,有时会把木板上的脏物或油脂当成节子,造成误判,有时也会受到木材的种类或粗糙度和湿度的影响,此外,这种技术只能检测部分表面缺陷,而无法检测到内部缺陷;超声、微波、核磁共振和X射线技术均能测量密度及内部特征,但是它们不能测定木材的颜色和瑕疵,因为这些缺陷的密度往往同木板相同。因此,一个理想的检测系统应该集成各种传感技术,才能准确、可靠地检测到木材的缺陷。
基于多传感器(机器视觉及X射线等)数据融合技术的木材及木制品表面缺陷检测,可以集成多个传统单项技术,更可靠、准确地实时检测出木材表面的各种缺陷,为实现木材分级自动化、智能化奠定基础,同时为集裁除锯、自动调整、自动裁除节子等为一身的新型视频识别集成材双面节子数控自动剔除成套设备提供技术支持。
3.2在精确林业中的应用
美国华盛顿大学研究人员开展了树形自动分析、林业作业规划等研究工作;Auburn大学的生物系统工程系和USDA南方林业实验站与有关公司合作开展用GPS和其他传感器研究林业机器系统的性能和生产效率。
目前单项的GPS、RS、GIS正从“自动化孤岛”形式应用于林业生产向集成技术转变。林业生产系统作为一个多组分的复杂系统,是由能量流动、物质循环、信息流动所推动的具有一定的结构和功能的复合体,各组分间的关系和结合方式影响系统整体的结构和功能。因此应该在计算机集成系统框架下,有效地融合GPS、GIS、RS等数据,解决这些信息在空间和时间上的质的差异及空间数据类型的多样性,如地理统计数据、栅格数据、点数据等。利用智能DSS(决策支持系统)以及VRT(可变量技术)等,使林业生产成为一个高效、柔性和开放的体系,从而实现林业生产的标准化、规范化、开放性,建立基于信息流融合的精确林业系统。
南京林业大学提出了“精确林业工程系统”。研究包括精确林业工程系统的领域体系结构、随时空变化的数据采集处理与融合技术、精确控制林业生产的智能决策支持系统、可变量控制技术等,实现基于自然界生物及其所赖以生存的环境资源的时空变异性的客观现实,以最小资源投入、最小环境危害和最大产出效益为目标,建立关于林业管理系统战略思想的精确林业微观管理系统。
[参考文献]
[1]高翔,王勇.数据融合技术综述[J].计算机控制与测量,2002,10(11):706-709.
[2]龚元明,萧德云,王俊杰.多传感器数据融合技术(上)[J].冶金自动化,2002(4):4-7.
[3]钱永兰,杨邦杰,雷廷武.数据融合及其在农情遥感监测中的应用与展望[J].农业工程学报,2004,20(4):286-290.
[4]高德平,黄雪梅.多传感器和数据融合(一)[J].红外与激光工程,1999,28(1):1-4.