前言:一篇好文章的诞生,需要你不断地搜集资料、整理思路,本站小编为你收集了丰富的图像识别技术的基本原理主题范文,仅供参考,欢迎阅读并收藏。
【关键词】智慧交通 信息化监理 监控系统
1 城市交通监控系统概述
城市交通监控系统是采用先进的图像识别技术、计算机网络与通信技术、数据库管理技术等高新技术手段形成的一个特殊系统。城市交通监控系统架构如图1所示。
系统通过位于感知层的前端监控设备对视频图像进行采集和初步的分析,然后利用有线通信网或无线网络将各监控点的交通实时情况快速、准确地传回后台。后台建设有C合的交通管理和指挥平台。在这个高度集成的平台上,交通管理人员可以了解和掌控布设监控区域的车辆通行状况、流量等信息。同时可以对车辆违法、交通堵塞、突发事件等进行视频取证并及时处理,从而达到非现场执法的目的。城市交通监控系统还贯穿于智慧交通体系之中,满足了交通管理不同岗位上的工作者的业务需求。城市交通监控系统的功能主要体现在交通信息的采集与处理,交通信息管理以及智能交通调控等几个方面。
2 城市交通监控系统的关键―图像识别技术
交通监控系统的图像识别技术是通过成像传感器获取道路交通图像,然后利用前端设备的嵌入式芯片或中心机房的服务器对图像进行处理与识别,以模仿人的视觉功能,获得智能交通系统所需的有用信息。图像识别的处理过程如图2所示。图像识别技术主要应用在车辆的检测、识别、跟踪、违章报警、流量统计等。
近年来,随着经济的发展,城市中的机动车保有量不断增加,而受限于城市规划和地理环境,城市的交通道路不可能无限制增加,拥堵成为大多数一线城市共同面对的难题。车辆与道路的矛盾除了导致拥堵,随之而来的是各种交通违章、交通事故的增多。交通部门的压力与日俱增,由于警力有限,不可能纯粹依靠人力对所有路段、路口实施全天候、全方位的监控管理,所以只能依靠现代化科学技术手段来进行交通协管。利用图像识别技术可以完成自动交通监管功能,即建立所谓的“电子警察”。通过交通路口安装摄像机,拍摄交通路口的视频,经过计算机对数字图像信号的阀值比对和分析处理,完成自动违章识别和自动车牌识别的任务。
自动违章识别是对动态物体(如车辆)进行识别,并对其运动轨迹进行跟踪,然后依靠监控区域内的道路标志和路口信号灯状态自动判断车辆违章情况。其中涉及的关键环节有:
2.1 对运动目标的检测。
在这一环节主要采用的技术手段有背景图像差分法、帧间差分法和光流法等图像识别方法。这三种方法各自拥有自己的特点,结合不同实际情况使用可以取得很好的应用效果。
2.1.1 背景图像差分法
其基本原理是首先将监控视野内的静态背景储存起来。在实际运行中通过将拍摄到的实时图片与静态背景进行减除,将所得差的每一像素的值和预定阈值相比较,若这个像素值大于阈值,则认为这点是前景点,否则是背景点。利用这种技术解决方案时,受光线和天气等外界条件的影响较大。因为在不同天气、不同光照的情况下,背景图像并不是一成不变的,因此很难构造一个理想的静态背景图像作为基础;另一个问题在于预定阈值的确定,只有恰当的阈值才能正确分割出目标所占的区域,而这也需要根据实际情况进行调整和确定。
2.1.2 帧间差分法
这种解决方案是通过将记录的视频图像中一系列的相邻两帧作差分运算来获得目标轮廓。在多个运动目标的识别中该方案可以取得良好的效果。由于视频中两帧图像间隔时间很短,所以背景的变化也非常小,对差分的影响很小。其缺点在于所差分的图像并不是由理想封闭的轮廓区域组成,得出的目标往往是局部的、不连续的,这对运动目标的识别是不利的。
2.1.3 光流法
其基本原理是给视频中的每一个像素都设定了一个速度矢量,形成一个整体的图像运动场,在运动的定格时刻,图像上的点与三维物体上的点一一对应,再根据各像素点的速度矢量特征对图像进行动态分析,根据图像的光流矢量分析这一区域是否是连续变化,从而判断是否有运动目标。光流法方法规避了差分时基础静态背景和阀值的选取工作,但是对每个像素的矢量进行分析,计算量大、易受视频噪声影响,依照现有的硬件处理能力,还不能做到图像的实时处理,应用范围受到一定限制。
2.2 对多目标的跟踪
在视频流中分割目标,再将分割的目标与上一帧图像的目标进行匹配,从而达到跟踪的目的。一些文献介绍了利用目标匹配的方法实现多目标跟踪,其基本原理是将当前图像帧中的区域和已知图像的目标区域进行匹配,如果已知的目标区域表示为一个目标列表,将当前图像帧中的所有区域表示为一个测量列表,针对测量列表中的每一个元素,在目标列表中找到与之最相似的元素,这类方法适用于目标之间相互作用较小的情况,且与目标特征的选取关系较大。
2.3 对车辆违章的判别
在车辆运动轨迹提取之后,根据红绿灯信号和道路交通标志线自动判别车辆违章情况。在对交通违章行为进行处理时必须记录三个重要证据:违章画面;违章车辆全景位置,表明该车当时确实处在违章位置;清晰的车牌号码,明确违章车辆身份。所以只有利用了基于计算机技术的视频监控系统才能完成自动监控。
车辆自动识别作为当前智能交通系统的重要组成部分,逐渐形成几种成熟、有效的识别技术,如射频识别、车牌识别以及条形码识别。其中条形码识别以及射频识别都隶属于间接识别,很难对车辆同其车牌信息是否相真实相符进行有效识别。车牌识别是一种直接识别,不需要在车辆当中安装相应的条形码或者其他的射频识别标志,且维护和使用简便。
车牌自动识别是以摄像机拍摄的车辆画面作为输入图像,利用计算机图像处理和模式识别技术识别车牌字符。目前的技术水平为字母和数字的识别率可达到96%,汉字的识别率可达到95%。中国软件评测中心同时提供专业的第三方测试服务,为项目建设成果保驾护航。
车牌识别系统有两种触发方式,一种是外设触发,另一种是视频触发。如图3所示。
外设触发工作方式是指采用线圈、红外或其他检测器检测车辆通过信号,车牌识别系统接受到车辆触发信号后,采集车辆图像,自动识别车牌,以及进行后续处理。
视频触发方式是指车牌识别系统采用动态运动目标序列图像分析处理技术,实时检测车道上车辆移动状况,发现车辆通过时捕捉车辆图像,识别车牌照,并进行后续处理。视频触发方式不需借助线圈、红外或其他硬件车辆检测器。
3 城市交通信息管理系统的应用
城市交通信息管理系统包含车辆信息采集、数据传输、数据集中管理以及信息存储于一体的综合系统,将采集的信息经过分析、处理、提炼,并结合地理信息系统(GIS,Geographical Information System)可以动态查询车辆信息、跟踪车辆、自动形成路况信息,通过现代通信手段向外实时相关信息,以及发送相关车辆的违章信息。
城市交通信息管理方式是以车牌号作为车辆的唯一身份,配合自动车辆识别系统进行半自动或人工方式进行管理。因此,有必要在城市交通信息管理系统中引入更先进的身份标识传感器以实现自动化管理。
4 城市交通监控系统建设监理措施
北京赛迪工业和信息化工程赛迪监理中心有限公司隶属于国家工业和信息化部中国电子信息产业发展研究院,依托工业和信息化部计算机与微电子发展研究中心(中国软件评测中心)和赛迪信息产业(集团)有限公司的优质资源,业务涵盖信息工程、智能交通、智慧城市、工程、运维管理等类型。城市交通监控系统建设的监理工作将重点放在感知系统设备安装,软件系统开发两方面。本节主要对城市交通信息管理系统开发整个赛迪监理实施进行阐述,对前端设备选型、监控点位进行描述,具体设备安装工艺不再作具体介绍。
4.1 城市交通监控系统感知设备选型监理措施
前端监控设备系统建O主要包括监控点位确认、现场踏勘、施工图纸设计、立杆、设备安装调试、缆线敷设、系统联调测试、系统验收等施工工作。设备选型需从视频采集、传输、控制、显示、存储等方面进行考虑。同时还要考虑因素,如存储设备接入视频流的最少节点、读写速度、网络带宽等。选择符合本项目需求的设备不仅可以达到项目建设的最终目的,也可以减少因设备问题后续施工产生的不良后果。所以在设备选型上,赛迪监理人员应坚持设备选型一致性、确保技术参数相同,减少设备与设备间的数据传输等一系列问题。保证了应用效果的统一,为项目整体系统扩充、更新换代打好了基础。项目所用产品必须满足合同和规范要求,国家强制执行第三方检测的设备需提供检测报告上交赛迪监理人员审查。
4.2 城市交通监控系统监控布点监理措施
监控点的分布设计主要以道路、交通设施情况、人口分布程度等因素共同决定。对重点政府机构、军队驻地、繁华商业街区、城市公共交通枢纽,人口稠密地区,易拥堵的道路周边监控点分布密度相对较大。对稀疏地区,山林等交通顺畅地区,监控点宜减少。
赛迪监理应参与监控点设备的到货安装全过程,因城市交通系统前端感知点位较多,赛迪监理方可采取分批检查或抽查的方式对承建方的工作进行监督和管理。在后期设备全部接入后,可要求承建单位提交监控测试计划,制定监测摄像机检查方案。
4.3 城市交通信息管理系统建设监理措施
对交通信息管理系统开发需求内容的确认是整个软件开发实施阶段尤为重要的工作。此阶段监理人员应对承建单位需求分析和设计阶段工作成果进行评审,保障软件需求分析设计过程和产品符合规范和要求。
4.3.1 城市交通信息管理系统需求分析阶段
赛迪监理主要任务是听取业主单位从业务角度出发提出的对开发方设计的意见,对软件交通信息管理系统需求分析过程、需求分析活动、概要设计内容、详细设计内容等进行审查,确认是否满足要求:给出是否符合要求的结论;确定其可否作为软件开发的前提和相关依据。从文档的规范性、可实施性出发,以国家相关标准为依据,从软件工程学的角度对承建单位提出意见与建议,配合业主单位工作,敦促承建单位做好工程项目的设计工作。在设计阶段,赛迪监理主要针对需求的覆盖性及可跟踪性、模块划分的合理性、接口的清晰性、技术适用性、技术清晰度、可维护性、约束与需求的一致性、可测试性、对软件设计的质量特性的评估、对软件设计的风险评估、对比情况、文档格式的规范性等方面进行评审。在此过程中,业主单位也需要对设计文档进行检查,主要在功能设计是否全面准确地反映了需求、输入项是否完全与正确并符合需求、输出项是否符合需求、与外界的数据接口是否完全与正确并符合需求、各类编码表是否完全与准确并符合需求、界面设计是否符合需求、维护设计是否符合需求、各类数据表格式和内容是否符合要求、是否存在其他有疑问的设计等方面进行核查。
4.3.2 城市交通信息管理系统设计阶段
在交通监控系统软件开发过程中,赛迪监理应监督承建单位严格按照工程设计阶段所制定的进度计划、质量保证计划、系统设计进行开发工作,检查承建单位是否按照设计中制定的规范与计划进行编码与测试。同时注意软件版本控制,检查单元测试、集成测试、系统测试。如有必要,宜进行压力测试、安全性测评等。确认测试是否按计划进行并有测试与修改记录、测试环节是否按计划进行,问题发现与解决是否有文档记录。
本类系统涉及多个子系统,多类接口的接入,多种数据输入,实现图像处理、数值分析、数据传输等功能。系统较为复杂,功能点多。赛迪监理应积极协助建设单位检查违章车辆的抓拍能力,是否有漏拍情况,车牌拍摄质量等合同中提及的内容进行主观筛查。要求承建单位制定系统功能测试表,包括图像接入情况、信息处理的真实性、违章环节的处理情况等,以便各方人员的检查、问题统计、解决情况等。赛迪监理此时应积极做好业主方和承建方之间的协调工作,在保证项目质量前提下确保项目顺利推进。
【关键词】 手势识别 虚拟现实 人机交互
一、引言
人与计算机的交互活动越来越成为人们日常生活的一个重要组成部分,特别是近年来虚拟现实技术的迅猛发展,为人机交互技术的发展提供了全新的技术支持。目前,人机交互已经摆脱了传统技术手段的限制,开始“以人文本”越来越注重用户自身的体验。在人类的自然信息交流中,手势是语音之外的一种最为常用的、自然直观的交流方式,如果能利用手势代替传统的计算机输入硬件对机器进行控制,那么人与机器的交流将更加流畅自然。针对多媒体的发展潮流以及人机交互的创新技术开发一套基于手势识别的多媒体交互系统。
本文实现了通过手势识别来操作计算机的人机交互系统,通过摄像头采集使用者的手势,并传输给计算机进行处理,通过对手势几何特征的分析和决策来判定手势类型,最后驱动多媒体的效果表现,进而控制计算机。
二、系统实现
系统的基本原理是利用摄像头采集方式获取使用者的手势,并将该动作传输绐计算机进行处理,计算机内的应用程序则根据所捕捉的画面进行分割、识别、处理,最后驱动多媒体的效果表现。
2.1手势输入与识别
使用高清摄像头作为采集单元,保证在合适的视野和景深范围内对目标(手势)的检测和识别。检测过程采用非接触方式,目标(手势)识别检测率高。然后采用模式识别算法,对输入的手势图像进行分析与处理,来进行目标(手势)的检测。
通过高清摄像头获取视频数据流,将数据流分割、识别、处理从而将交互手势从数据流中剥离,然后将输入手势与预先手机的手势命令库进行特征配准,最后,形成驱动相关应用的交互指令。
2.2噪声去除与信息增强
从视频流的输入,到手势识别,再到信息转换,这些过程的每一个环节都有可能受到设备电磁干扰、算法局限性等各方面的影响,这些干扰与影响最终将形成数据噪声,对噪声的处理不当将使手势图像产生畸变,从而影响最终的交互指令。
因此,在手势图像处理之前,本文加入了一个图像平滑/锐化处理的噪音过滤预处理,其目的是尽量消除噪声保证手势图像的质量。
2.3手势分割与特征提取
通过实现建立手势模型数据库,然后根据数据库对数据流中的手势进行分割与特征提取。本文主要采用串行边界分割技术和并行区域分割技术实现手势模型的特征参数提取,并最终依据手势模型数据库特征配准形成最终的交互命令。在手势识别过程中,可以根据图像边缘像素值、手势轮廓、手势形状、运动方向、骨骼等数据建立手势特征向量。首先,通过背景分离算法将图像背景与手势图像进行分离,然后根据数据流中剥离的手势图像与特征库中的手势图片中的各维属性映射到特征向量中从而完成手势图像的特征提取。
2.4特征分类
手势特征被提取出来后,通过模式识别智能算法对手势进行分类,并最终对应到一组具体的功能命令。本文采用基于统计学的决策树做分类器,决策树实际上利用了“分治”的思想,结合建立的手势-命令对照表,使用决策树算法对数据表经行遍历从而将手势特征与功能命令进行匹配,最终完成从手势到制酸剂指令的转换。
三、结语
基于虚拟现实与手势识别的人机交互系统计算机通过摄像头理解人们的手势并做出相应的反应,从而使人们摆脱了传统键盘和鼠标的种种束缚和弊端,以达到更加方便、人性化的交互方式。该系统可用于家庭娱乐,会议展示,商品展示,校园展示。在众多公司产品展示中应用广泛,但以往很多传统展示系统难以达到人们要求,该系统更人性化,更美观,更直观。
详细通讯地址:四川省南充市顺庆区师大路一号西华师范大学实验中心 邮编:637002
联系电话:13890857890
参 考 文 献
[1]童小念,刘娜.一种基于遗传算法的最优阈值图像分割算法[J].武汉理工大学学报. 2008.32(2):301-304.
[2]郑友莲.钢筋自动计数系统中图像识别算法的研究[J].武汉工程职业技术学院学报. 2008.20(1):31-34.
关键词:AR;教育教学;多平台;移动技术
引言
在当前以信息技术为背景的现代教育教学中,学生的学习兴趣得到了提高,主体性得到了较大的发挥。但是,大部分多媒体信息存在一定的局限性,它只能按照时间的流程,按电脑中程序设计的流向有限制地浏览。早在2011年的《地平线报告》中,增强现实与游戏学习(Game-Based Learning)同被列为未来两三年内将会广泛使用的技术。[1]
随着科学的发展虚拟现实技术应运而生,虚拟现实是利用计算机发展中的高科技手段构造出一个虚拟的境界,使参与者获得与现实一样的感觉。增强现实(AR)是一种新兴的体验形式。运用增强现实技术,又称扩增内容(Augmented Content,计算机依据现实环境的相关信息实时生成)可以无缝地整合到现实环境中,为人类所感知。扩增内容可以是二维及三维物体、视频及音频材料、文本信息等,甚至可以是嗅觉及触觉信息。总体而言,增强现实技术可以帮助个体了解背景、获取信息、扩充知识,能形象生动地表现教学内容,营造一个跟随技术发展的教学环境,提高学生掌握知识、技能的效率,真正使教学者更容易地去表达自己的教学思想和内容,使学习者更直观、更容易理解教学者的教学思想和教学内容。可以预言,增强现实技术将是继多媒体、计算机网络之后,在教育领域内最具有应用前景的一项技术。[2][3]
增强现实技术
AR技术是通过摄像头采集现实数据(如mark),然后调用虚拟的三维数据,并且交互的实时性强,现已广泛应用于各个行业(如科学实验、商业应用、科学教育、娱乐、文化等)和各种平台(如Windows、IOS、Android)。其基本原理如图1。
1.主要原理
现在AR设备层出不穷,如头盔式、桌面式、手持式等,最基本的设施就是采集现实信息的摄像头,一个数据处理终端和一个显示器。基本的原理:①通过摄像头对现实的场景进行实时的采集,并将采集的信息传输给处理器。②当场景中出现marker时,处理器就会做出相应的工作,将虚拟的三维信息与marker的信息相关联。③处理器处理完后将信息传输到显示器。④人眼通过观看显示器即可看到虚拟的三维物体。
2.关键技术
AR系统中关键的技术就是信息识别的技术,现在比较流行的三种技术是GPS+Sensor、marker识别和图像识别。本文介绍的是marker识别的技术,marker的信息主要是一个关于灰度值大小的数组。[4]marker识别型的增强现实系统将marker图像的信息事先保存,通过识别技术,在当前的图像中查找识别marker图像,从marker图像中获取位置信息,然后在marker图像上叠加显示。[5]
Unity3d开发环境搭建
1.Unity3d概览
Unity3d是一款可以轻松创建三维视频游戏、建筑可视化、实时三维动画等互动内容的、多平台的综合游戏开发工具。支持多种主流三维建模软件的模型格式,其编辑环境可运行在Windows和Mac OS X下,可以游戏至Windows、Mac、iPhone和Android平台,也可以利用Unity web player插件网页游戏,支持Mac和Windows的网页浏览(如图2)。[6]
2.开发环境的搭建
在Windows和Mac OS X环境下安装Unity3d软件,Unity到Android和IOS平台是需要相应的SDK来支持的,所以需要在电脑上安装Android-sdk和ios-sdk。并且还要注意,在Windows下是不能到IOS平台的,所以本文介绍的案例是使用两种系统环境完成的。
3.基于Unity3d的AR技术原理
基于Unity3d的AR案例的开发,主要是运用marker识别的技术,其原理框图如图3。
在Unity3d开发环境中具体的工作如图4,在场景中主要存在一个主camera就是在显示器看到的内容,一个承载摄像头拍摄的真实场景,当摄像头检测到marker后,会将模型的信息与marker的信息绑定在一起。当制作完成后可以到不同的平台。
案例介绍――magic book
该案例是一本讲述关于恐龙的科普书(如图5),讲述的是霸王龙、副栉龙、三角龙、翼龙的生存时代和生活习性。不仅能阅读文字,同时可以通过电脑或者手持的移动设备看到三维的恐龙。改善原有纯粹以静态二维文本、图像为主的教育教学方式,通过增强现实技术应用于教学环境中,可以大大提高学习者的兴趣。
当程序到Windows,在光线明亮处,将书放到摄像头下,立刻在屏幕中出现恐龙。其效果图如图6。
移动技术的发展和智能终端的出现,使增强现实技术从固定的电脑上转移到了不受地理限制的智能终端上,可以随时随地的学习。以智能Android手机和苹果iPad为应用实例,到Android环境后生成了一个*.apk文件,安装在Android手机上后打开即可,其效果如图7。
到IOS环境需要经过Xcode编译后才能安装到iPad。其效果如图8。
总结与展望
本文主要介绍了AR技术,并基于Unity3d的开发平台制作增强现实的教育教学案例,在制作之前Unity的环境一定要搭建好,在此之后进一步的工作是要以故事作为内容,加入3D角色、声音及互动道具,实现更多的交互操作,设计更加美观的、有意义的教学应用案例。
随着计算机技术的不断进步,很多实用新技术将不断出现,AR技术也将会出现新的挑战,如怎样在其中创建教学活动,学习者之间如何更直接地交流?如何与现有的学习管理系统整合?这些都需要我们在面对挑战的同时,探讨怎样将增强现实技术更有效地应用于学习系统,以使学习媒体在情境化、沉浸感及自然交互性方面有所突破。
参考文献:
[1]The Horizon Report 2011 Edition[EB/OL].
[2]增强现实学习系统开发之研究[EB/OL].http:///club/bbs_58209.shtml,2012.
[3]张宝运,恽如伟.增强现实技术及其教学应用探索[J].实验技术与管理,2010.
[4]ARToolkit.[EB/OL]. [2011-05-21].http://hitl.washington.edu/artoolkit.
在现代交通管理和道路规划中,交通流量和通行车辆的类型、速度是重要的参数。自动获取这些数据的方法大致可以分为两类:一类是利用压电、红外、环形磁感应线圈等传感器获得车辆本身的参数, 这类方法跟踪识别率较高,但是容易损坏,安装也不方便;还有一类就是基于图像处理和模式识别的方法,克服了前面一类方法的局限,由于图像处理识别技术的进步和硬件性价比的大幅提高,有一定实用价值的系统已经出现。这些系统的使用证明;图像处理识别车辆的方法晶趋成熟,环境适应能力较强,能长期稳定工作,但是计算量大,识别正确率不如感应线圈、激光读卡等方法高。本文的研究属于后者,利用安装在高处的单个静止摄像头监视路面,利用运动分割与模型匹配的方法,检测并统计多车道的车流信息。
识别过程分三步:分割、跟踪和车型判定。运动目标的分割常采用幅差法。在监控场合,摄像头大多是固定的,背景基本没有变化或者变化缓慢,可以从图像序列中逐渐取出背景图像,然后利用帧差法检测出目标区域,同时还可以检测静止目标。由于识别过程中利用二值边缘,所以本文在图像分割中对输入图像进行了梯度二值化处理。三维空间和二维图像平面之间映射关系的确定,采用基于针孔模型的摄像机定标来计算。对目标区域的跟踪,采用了区域特征向量的匹配跟踪方法,减小了运算量。由于图像处理的方法很难提取轮数、轴距等车辆本身参数,所以在图像车型识别中一般都采用三维模型在图像上投影和车辆边缘相匹配的方法。
1 背景重建和图像分割
由于摄像头固定,背景变化缓慢,因此,可以利用图像序列逐渐恢复出背景图像。其基本原理是:对每一个像素进行监控,如果在较长时钟内灰度不发生明显变化,则认为该象素属于背景区域,将该象素灰度值复制到背景缓冲区,否则属于前景区域。由于光照以及车辆阴影等影响,采用这种方法恢复出来的 背景图像存在较大噪声。因此大实验中对原始输入图像进行了梯度二值化处理,然后进行背景重建。这样可以减小阴影的干扰,加快背景重建速度。由于识别是利用边缘信息,所以度化对后面的识别过程没有影响。
在得到背景边界图像后,利用帧差法可以分割出感兴趣的目标。但是,如果目标区域和背景边界后果合(都兴趣的目标。但是,如果目标区域和背景边界重合(值都为“1”),相减之后该目标区域被错误判定为背景区域(来"0")。为了减小错误判决区域,本文在分割时参考了相邻两帧的二值化帧差fdmask,判决准则如下:如果fdmask中革像开绿素为“0”,则输入图像和背景图像相应像素相减;否则直接复制输入图像中相应的像素值。分割结果经过噪声消除、形态学平滑边办、种子填充、区域标记等后续处理,就分字出了目标。
2 摄像机定标
在模型匹配中,需要从二维图像恢复目标三维信息,同时将三维模型投影到图像平面上,因此必须计算三维空间到图像平面的投影关系矩阵。这个过程就是摄像机定标。本文采用基于针孔模型的摄像机定标方法,其基本原理是利用给定的一组三维世界的点坐标和这些点在图像中的坐标,求解线性方程组,计算透视投影矩阵中的各个元素。透视投影矩阵如下:
其中:(u,v)是图像坐标,(Xw,Yw,Zw)是三维坐标,M为投影矩阵,Zc为三维空间中点到摄像机镜头的矢量在光主轴上的投影距离。要求解M的各个元素,通常方程组不独立,没有唯一解,采用近似计算的误差罗大。在(21)式基础上经过变形,将12阶方程分拆成三个4阶方程组,只需要利用4个点的投影关系,方程组的阶次也只有4阶,可以有效避免出现奇异矩阵,求出唯一解。由式(1)可以得出:
另外,除了4组点的坐标之外,还需测定镜头主光轴的水平垂直倾角。
3 车辆的跟踪和分类
在区域分割后,接下来进行区域跟踪,利用相邻两帧的区域匹配从而图像序列中建立目标链,跟踪目标从进入监视范围到驶离监视范围的整个过程。首称要确定区配准则。常用的图像匹配方法有Hausdorff距离区域法和图像互相关。这两种方法都需要逐个含金量纱的计算。为了减小计算量,采用区域特片跟踪法。目标区域的特征包括区域形心坐标、区域包围矩形、区域运动速度及运动方向和区域面积。本文匹配准则采用了两个假定:同一目标所对应区域在相邻两帧中面积相近;同一目标在前一帧中的区域形心加上运动速度所得到的形心预测值与后一帧中区域形心距离相近。跟踪过程如下:
(1)将第一帧的各个区域当作不同的目标,对各个目标区域启动目标链。
(2)根据判决准则,如果某目标链中的区域在当前帧找到了匹配区域,则用找到的的匹配区域特片更新该目标链中的区域特征。
(3)如果在形心预测值所在位置,当前帧区域和目标链中区域面积相差很大,则可以认为发生了合并或者分裂现象。对目标链中的区域包围矩形,在本帧查找该矩形覆盖了几个区域,如果多于一个区域,则认为发生了分裂现象。对分裂现象出现的新区域,启动新目标链。同理,对于本帧区域的包围矩形,查找该矩形覆盖了几个目标链中的区域,如果多于一个,则认为发生了合并现象,利用合并区域启动新的目标链,同时终止那些被合并区域的目标链。
(4)对于目标链中的区域,如果在本帧没有与之相匹配的区域存在,则认为发生了消失现象。目标链并不立即终止,只有在经过数帧仍没有找到匹配之后,才终止该目标链。
(5)查找本帧是否还存在新进入的区域,如果存在,则启动新的目标链。
采用这种方法可以快速跟踪图像序列中的目标,同时得到车辆在监视范围的平均速度。在计数时,只有目标在连续数帧里出现才认烛一个真正的目标区域,只有目标在连续数帧都没有出现才认为消失,因此可以消除那些暂时消失引起的计数错误。
车辆分类是个很复杂的问题。图像处理方法要获得轮数、轴距等车辆本身参数比较困难,因此图像识别车型通常采用模型匹配方法。现有的研究大多是先抽取车辆的几条直线边缘,然后用线条和模型边缘匹配。由于在图像中抽取直线本身的计算量相当大,所以本文没有抽取车辆边缘直线,而是直接利用了Canny边缘检测的整体结果与模型相匹配。Canny边缘与模型边缘之间存在较大的形变,Hausdorff距离匹配对形变不敏感,所以采用Hausdorff距离作为匹配准则是很适宜的。
设有两组有限点集A={a1,…,ap}和B=={b1,…,bq},则二者之间的Hausdorff距离定义为:
H(A,B)=max(h(A,B),h(B,A)) (3)
其中: ||bj-ai||,h(A,B)被称为从A到B的有向Hausdorff距离,它反映了A到B的不匹配程度。h(B,A)的意义与h(A,B)相似。在具体计算Hausdorff距离时,通常采用距离变换的方法。车辆分类步骤如下:
(1)在分割结果的基础上,对目标区域进行Canny算子边缘检测,仅仅处理分割出目标区域的边缘,减小了运算量。
(2)对Canny边缘,采用串行距离变换,得到距离变换图像。距离变换图像的每个像素灰度值等于该像素到目标边缘的最近距离。
(3)对各分割目标,恢复车辆的三维信息,只计算长度和宽度。由于二维图像平面上一点对应了摄像机坐标中不同深度的一第洌 点,所以在从图像上一点恢复该点在世界傺 标中的信息时,首先要给定该点在世界坐标值中一个分量以减少不确定度(这样恢复出来的数值有些误差,通常给出Z方向高度值Zw)。
(4)在计算目标区域长度和宽度的同时,可以求出车辆底盘形心在地面上的位置(X,Y),根据速度方向判断车辆在地面上的角度α。利用车辆本身的三维模型数据以及(X,Y,α),通过式(1)透视投影,消隐处理,可以确定车辆模型在图像平面上的投影。
(5)当目标进入指定区域后,以模型投影图像为模板,将投影图像在距离变换图像上移动,在每一个位置,求出模型影图像下距离变换图像被模型轮廓线覆盖的像素值之和,以这个和值作为在该位置当前模型与实际车辆的匹配程度。将当前模型在各位置所得区配程度的最小值作为当前模型与车辆的实际匹配程度,该最小值除以模型轮廓线的像素数目,即该模型与车辆之间的Hausdorff距离。对各种模型,分别求出它们与车辆之间的Hausdorff距离,取其中最小值对应的那种模型那为车型识别结果。实验过程中为了减小计算量,搜索方法采用了三步搜索法。
4 实验结果
本实验所采用的352×288视频图像,来自采用单个固定CCD摄像机于杭州天目山路拍摄的交通场影片断。主要算法在Trimedia1300 DSP上用C语言实现,在图像分割过程中进行了较多的梯度、降低噪声、填充和标记运算,平均处理一帧大约耗时0.3s。算法流程全过程如图1所示。
实验证明,抽取背景和当前帧之间进行差异检测,分贫穷交为准确。对于比较淡的阴影,用梯率二值化方法可以部分消除阴影影响。由于只监视边缘变化部分,背景重建速度比直接利用灰度图像重建背景快很多,干扰也较小。梯度二值化处理之后得建背景只需150-200帧,而不经过新颖度二值化处理在上升帧之后仍然没有较好的背景,并且点状噪声和去雾状模糊比较严重。
【关键词】图像边缘; 边缘检测; 微分算子
1、引言:
边缘检测是图像处理中的重要内容。它如此重要主要有以下几个理由:首先,人眼通过追踪位置物体的轮廓而扫视一个未知的物体。第二,经验告诉我们:如果我们能够成功的得到图像的边缘,那么图像分析就会大大的简化,图像识别就会容易多。第三,很多图像并没有具体的物体,对这些图像的理解取决于他们的纹理性质,而提取这些纹理性质与边缘检测有及其密切的关系[1]。计算机视觉处理实质上就是简化信息的一个过程。这就意味着要扔掉一些不必要的信息而尽可能的利用物体的不变性质,而边缘就是最重要的性质。因此边缘检测是图像处理中最基础和最重要的任务之一[2]。因此,边缘检测在图像分割、模式识别、计算机视觉等众多方面都有着非常重要的地位[3]。
2、图像边缘特征
图像边缘存在于图像灰度剧变处,能够反映出图像边界。通常图像边缘分为阶跃边缘和屋顶边缘(也称为线状边缘)。这些图像边缘是根据图像灰度变化特征来划分的,在图2.1(a)中,灰度值呈现阶跃性变化,在边缘点的左右两侧,灰度信息明显从一个级别跳到另一个级别,灰度信息变化非常明显。图2.1(b)中是线性边缘,从图上显示可知,在边缘附近,灰度信息逐渐增加,直到另一个级别以后又开始逐渐减小,在图中显示出一个尖峰。
(a)阶跃边缘 (b)线状边缘
图2.1 边缘分类
根据以上图像边缘的特性,我们主要分析一下阶跃边缘的提取方法。根据上图2.1(a)阶跃边缘灰度值变化的特征,我们很容易将提取图像边缘问题转化为数学问题,我们对阶跃边缘求一阶导和二阶导数,结果如图2.2所示:
(a)一阶导数 (b)二阶导数
图2.2 阶跃边缘的微分特征
从上图中可以看出,图像边缘点就存在于图像一阶导数的局部最大值,或者是二阶导数的过零点处。边缘具有两个很重要的属性,分别是幅度和方向,幅度反映的是图像灰度变化程度,并且是图像中局部幅值最大的点。而在数学理论中梯度就反应了变化速率,所以可以把求局部幅值最大问题转换为求梯度幅值最大问题。
3、边缘检测基本实现步骤
图像边缘检测可以从图像的灰度曲线着手,根据曲线变化来寻求边缘点,这就是边缘检测的基本原理。在我们实际应用中,在我们进行边缘检测过程中,通常既要求检测到的边缘定位准确,又要尽可能减少假边缘的出现,因此,在我们进行边缘检测的过程中,通常会包含四个过程:
1)滤波:由于我们实际看到的图像往往都携带着很多噪点,然而,噪点经过求导以后,会被大大增强,给边缘检测造成很大影响,所以,我们就希望在进行求导之前先对噪点进行滤波,尽量滤去更多噪点,以减少其对检测效果的影响。
2)增强:图像可能受到各方面的影响,比如照相机像素低,或者是晚上、阴暗处光线弱、环境差,或者照片放的时间过久导致图像褪色等问题,造成图像模糊,这时候直接处理起来可能会丢失很多信息,如果在进行处理之前,对图像进行增强处理,从而可以大大提高检测效果。
3)检测:检测过程主要是从很多梯度幅值相对比较大的点中来检测边缘点,虽然,我们对于边缘点的定义是可以通过梯度的大小来确定的,然而在实际操作中,并不是所有梯度幅值大的点都是边缘点,有可能是噪点,所以,我们还需要再一次进行边缘检测,从而得到更准确的边缘点。
4)定位:我们虽然已经检测出来边缘点,然而这些边缘点有可能和真正的边缘点的位置有落差,这时候我们需要精确定位。边缘检测的基本步骤如图3.1所示。
图3.1 边缘检测的基本步骤
4、常用算子
根据上面图像边缘的分析,衍生出来一阶微分算子和二阶微分算子。一阶微分算子的主要思想就是对边缘求一阶导数,认为局部最大值点是图像边缘点,其中,Roberts算子在水平和垂直方向检测效果较好,但对噪点比较敏感,并且定位精度低;Sobel算子总体上检测效果较好,对噪点有抑制作用,但是运算量大,定位精度不高;Prewitt算子和Sobel算子大致相同,对噪点有抑制作用,但同样存在定位精度不高的问题;Kirsch算子能够减少细节丢失问题,但是计算量比较大。总的来说,在一阶微分算子中,利用某一阈值来确定边缘点,检测出来的边缘通常都比较粗,导致边缘定位精度低。
二阶微分算子的主要思想是,对边缘求二阶导数,认为过零点即是图像边缘点,其中,在无噪情况下,Laplacian算子和Log算子两者的检测效果都差不多,而当对含噪图像进行检测时,拉普拉斯算子受到噪点的影响较大,检测出许多假边缘,而Log算子对噪点有一定的抑制作用,检测效果相对来说比较好,所以在以后的检测中,Laplacian算子就慢慢的被Log算子所代替。
5、总结
图像边缘检测技术是图像处理学科中最基础也是最重要的部分,目前,边缘检测依旧受到人们的关注,本文主要是对传统算子进行了分析总结。目前,边缘检测算子相对较多,而且效果越来越完善,在对边缘没有特殊要求的情况下,传统算子是一个不错的选择。
参考文献:
[1]康牧,王宝树.图像处理中几个关键算法的研究[D].西安:西安电子科技大学,2009.
0引言
水产养殖是指商业性的饲养水生生物(包括鱼类、软体动物、甲壳类动物和水生植物)的活动[1],按操作的基面性质可分为陆地、水面和滩涂等3大类。以陆地为主的系统主要包括池塘、稻田以及在陆地建造的其他设施;以水面为基础的养殖系统包括拦湾、围栏、网箱及筏式养殖,通常位于设有围场的沿海或内陆水域;以滩涂为基础的养殖系统包括基塘养殖和高位池养殖[2]。我国是世界第一水产养殖大国,也是世界唯一的养殖产量超过捕捞产量的国家,而且目前水产养殖规模仍在继续快速增长中。在为满足世界水产品需求做出巨大贡献的同时,我国的水产养殖正面临着水环境状况的日益恶化、社会舆论的监督、政策与法规的监控及水产品质要求日益提高等各方面的压力,水产养殖日益成为当前研究热点之一。
遥感具有探测范围广、获得资料速度快、周期短、时效性强、成本低、经济效益大等优点。利用遥感图像能快速提取所需水产养殖的专题信息,可帮助养殖场选址、决定养殖品种,开展养殖密度、养殖水体污染(赤潮、水质等)监测;结合GIS技术,还可对养殖区进行规划和管理,评估水产养殖区对环境的影响,加深对鱼类等水生生物栖息地的理解和认识[3-4]。以往由于农业活动和降水作用导致的水质随季节变化明显,导致水产养殖遥感识别需要更高的时间分辨率数据来获取信息等原因,相对于在其他领域(如地质学和林学等)的应用,遥感在水产养殖方面的应用发展较迟缓[5]。近年来,随着遥感技术的发展,日益丰富的多平台、多种类、多分辨率的遥感数据为水产养殖信息获取提供了新的契机;许多研究人员也对水产养殖专题信息的快速、高精度提取方法进行了积极的探索和研究,使得遥感在水产养殖中的应用日趋广泛。本文针对目前的研究现状,对用于水产养殖区域识别的遥感数据源、识别方法进行分析和总结,并进一步探讨其研究和应用的趋势。
1多源遥感数据源
随着遥感技术的发展,越来越多的不同类型的遥感传感器数据被用于对水域的观测。不同类型的遥感数据在水产养殖信息提取中具有各自的优势和特性,因而也对应有不同的应用领域和信息提取精度。一般来说,多光谱遥感记录了地物的反射、辐射波谱特征,拥有丰富的地物空间分布及光谱信息,有助于识别水产养殖区域,是目前水产养殖区信息提取的主要信息源。但大多数多光谱遥感图像数据空间分辨率相对较低,即空间的细节表现能力比较差,将多光谱图像和全色图像融合,可有效提高图像解译能力。目前常用的识别水产养殖区的卫星遥感数据主要有全色图像、多光谱图像和微波雷达图像等,具体参数如表1所示。SAR具有全天时、全天候、多波段、多极化工作方式、可变侧视角、穿透能力强等特点,SAR图像中则含有丰富的地表纹理结构信息。在沿海水域,由于海水对微波雷达的回波能量较弱,而养殖用的基座、围栏和网箱等回波能量较强,色调比周围的海水更亮,二者对比度较大,因而可从SAR图像中提取养殖区域的相关信息。此外,在进行精度验证时,还可利用GoogleEarth平台提供的在线照片,这为实地调查验证提供了便利。2水产养殖区域的识别方法由于受研究时间、研究区域和数据源等客观因素的限制,还没有一种方法是最普遍和最佳的水产养殖区的识别方法。目前常用的水产养殖区识别方法主要有目视解译、基于比值指数分析的信息提取、基于对应分析的信息提取、基于空间结构分析的信息提取以及基于面向对象的信息提取等。
2.1目视解译
目视解译是遥感应用最常用、最基本的方法之一。它根据遥感图像目视解译标志(位置、形状、大小、色调、阴影、纹理、图形及相关布局等)和解译经验,与多种非遥感信息资料相结合,运用相关知识,采用对照分析的方法,进行由此及彼、由表及里、去伪存真、循序渐进的综合分析和逻辑推理,从遥感图像中获取需要的专题信息。目前,目视解译一般都采用人机交互方式。在解译前先通过遥感图像处理软件对图像进行必要的预处理,包括图像增强、图像融合等,有效地改善图像的可识别能力,突出主要信息,提高判读的精度。杨英宝等依据6景TM图像和3期高精度航片,利用人机交互式解译方法分析了东太湖20世纪80年代以来网围养殖的时空变化情况[6];李新国等采用3景航空图像对东太湖的网围养殖面积动态变化进行人机交互目视解译[7];樊建勇等在经过增强处理后的SAR图像上,对胶州湾海域养殖区进行了交互跟踪矢量化[8];褚忠信等利用不同时期的TM图像,对黄河三角洲平原水库与水产养殖场面积进行了人机交互解译[9];吴岩峻等用4景ETM+图像,经过多次外业调查,建立解译标志,采用人机交互方法,对海南省海水和岛上水产养殖区进行了勾画[10];宫鹏等借助1987—1992年和1999—2002年的TM/ETM+图像及GoogleEarth平台提供的高分辨率图像和部分在线照片,对包括海水养殖场在内的全国湿地分布进行了目视解译,并绘制了专题图[11]。目视解译简单易行,而且具有较高的信息提取精度,适用于绝大多数养殖区域的识别,但是也存在一定的缺点。当解译人员的专业知识背景、解译经验不同时,可能得到不同的结果,其结果往往带有解译者的主观随意性。当养殖区域水体同非养殖区域水体的光谱特征或空间结构特征等相似时,解译人员就很难根据标志将其区分开来,使精度受到影响;而且目视解译工作量大、费工费时,难以实现对海量空间信息的定量化分析和保证信息的时效性,因此研究遥感信息的自动提取方法已成必然。
2.2基于比值指数分析的信息提取
比值型指数[12]创建的基本原理就是在同一图像的多光谱波段内,求得每个像元在不同波段的亮度值之比,构成新的图像,以压制某些造成光照差异的因子或背景的影响,增强地物光谱特征的微小差别,突出目标地物的辐射特征。比值型指数通常又会作归一化处理,使其数值范围统一到-1~1之间。马艳娟等利用ASTER数据,分析养殖水体与非养殖水体在图像各波段上的特征差异,构建用于提取图像中水产养殖区域的指数(normalizeddifferenceaquacultureindex,NDAI);并分析用NDAI提取得到的结果中错分的受大气、传感器影响的水体与自然水体的各波段灰度值的分布,构建了用来进一步提取深海区域的指数(marineextractionindex,MEI),将近海水产养殖区的养殖水体与其他水体区分开[13],取得了较高的精度。由于比值指数分析的信息提取方法只考虑各波段上的灰度信息,当部分养殖区在光谱上与深海水域接近或是当深海水域光谱并非均一时,会导致错分。该方法适用于养殖区与背景环境光谱差异大的地区,否则将无法克服传统遥感分类方法所普遍存在的“椒盐”噪声,从而影响信息提取的精度。
2.3基于对应分析的信息提取
对应分析是在因子分析的基础上发展起来的分析方法,又称“R-Q型因子分析”[14]。该方法已在生物和统计领域得到广泛的认同和应用,但在遥感领域的应用相对较少。在遥感应用中对应分析方法既研究图像波段特征属性及其相互关系,也研究像元特征之间的关系,有利于提高信息提取的精度。王静等应用该方法快速有效地进行了滆湖围网养殖区湖泊围网分布信息的提取[15]。该方法对遥感图像的质量要求较高,并在分析前要进行严格有效的图像预处理。此外,该方法并无法有效地解决“异物同谱”和“异物同纹理”的分类问题。
2.4基于空间结构分析的信息提取
空间结构分析的处理方法有邻域分析、纹理分析、线性特征提取等。其中,邻域分析是对波段每一个像元依据四周邻近的像元对其进行空间分析的方法[16],分析和运算的像元数目和位置由扫描窗口确定;纹理表现是指图像灰度在空间上有序重复出现的特征,反映了一个区域中某个像元灰度级的空间分布规律,其基本分析方法有3类:统计分析方法、结构分析方法和频谱分析方法。周小成等采用ASTER遥感图像,以九龙江河口地区为研究示范区,利用卷积算子,采用邻域分析法来增强水产养殖地的空间纹理信息[17];李俊杰等利用纹理统计分析方法中的灰度共生矩阵(graylevelco-occurrencematrices,GLCM),选用中巴资源卫星02星多光谱数据,以白马湖为试验区,提取湖泊围网养殖区,实验表明纹理量化的均值指标能够较好地反映自然水体、围网养殖区和其他地物内部结构的异质性,取得了较理想的效果[18];林桂兰等利用方差算法对厦门海湾海上的吊养和网箱养殖进行纹理分析,得到养殖专题图[19];初佳兰等选用长海县广鹿岛海区的SAR图像,统计有效视数(ef-fectivenumberoflooks),并对图像进行多种方法滤波分析,提取了浮筏养殖信息[20]。基于空间结构分析的养殖区识别方法,适用于近海水产养殖地的自动提取,而不适用于内陆水产养殖地,因为后者在空间上的分布孤立,斑块小,与其他农用坑塘水体的空间特征类似,但仍可以作为一种遥感图像识别的辅助方法。
2.5基于面向对象的信息提取
面向对象的图像分析主要思想是:首先将图像分割成具有一定意义的图像对象,然后综合运用地物的光谱特征、纹理、形状、邻近关系等相关信息,在最邻近法和模糊分类思想的指导下,确定分割对象所属类别,得到精度比较高的遥感图像分类结果[21]。对于养殖区分布的提取,面向对象的图像分析方法基本步骤包括多精度图像分割、面向对象的水陆划分和非养殖水域剔除。首先,使用多精度图像分割对原始图像进行分割以获得分割图斑,并计算各个图斑的特征,为后继分析服务;然后,根据遥感图像中水域的辐射特性进行水陆分割;接着根据图斑的光谱、形状及空间特征提取出面状、线状非养殖水域部分;最后,在水陆划分得到的水域全图的基础上剔除以上提取的面状水系和线状水系,得到养殖水域提取结果[22]。谢玉林等利用该方法,对珠江口养殖区域进行了提取,验证该方法在水产养殖区提取上的可行性[22];关学彬等采用该方法对海南省文昌地区的水产养殖区进行监测,取得了理想效果[23];孙晓宇等采用该方法,利用多时相遥感数据对珠江口海岸带地区水产养殖场的变化进行了提取[24]。面向对象的图像分析将处理的对象从像元过渡到了图斑的对象层次,更接近人们观测数据的思维逻辑,更利于知识与规则的融合。在很多情况下,面向对象的遥感图像分析方法会比基于像元的分析方法取得更好的效果。采用面向对象技术,在解决常规图像分类时的椒盐噪声效应、结果的可解释性上有很大优势,因此在高分辨率图像信息提取中能够发挥更大的作用。但是当特征及隶属度函数选取不当时,会出现较严重的误分现象,此时要结合目视解译方法,判别分类结果的合理性,优化隶属度函数,重新进行分类。
3总结与展望
关键词:牛肉分级;边缘检测;二值化处理;自动分级
中图分类号:TS251.52 文献标志码:A 文章编号:1001-8123(2013)04-0010-05
2003年10月我国农业行业标准《牛肉质量分级标准》开始实施,鉴于牛肉眼肌横切面包含了大理石纹、肉色、脂肪色、背膘厚度和眼肌面积等评定指标,所以在牛肉质量的分级标准和体系中,进行牛肉等级评定时,通常都将眼肌面积横切面作为主要的评定对象。但目前为止,国内外的牛肉分级体系采用的分级方法还是以主观的视觉评定为主,评定过程受到人为因素的干扰,不仅效率低,而且还会产生较大的误差。因此,计算机视觉、人工神经网络和图像处理技术,被认为是实现牛肉自动分级的最有效的方法。在国外,1989年Chen Shengwei等[1]首次针对美国牛肉大理石花纹标准图版,应用图像处理技术对美国牛肉的肌肉脂肪面积进行计算,用于牛肉质量分级,并将其作为判定牛肉质量等级的定量指标,在随后的相关研究中,研究学者运用图像处理方法等技术分别有效的预测大理石纹、颜色等级、脂肪面积比、脂肪颗粒分布均匀度等特征参数,探讨了基于图像处理的牛肉等级评定技术[2-5]。在国内,计算机技术在牛肉等级评定中的应用还处于初步研究阶段,主要是通过眼肌切面图像的纹理分割,通过计算脂肪面积比[6-7]的方式来计算牛肉等级[8-10],对脂肪在肌肉中分布所形成的特征分析不够深入,对牛肉等级评定的准确性和实际应用等方面都有不足之处。本研究拟运用计算机视觉系统对牛肉眼肌的形状特征值、脂肪含量和分布进行量化,在VC++6.0的环境下自行开发适用于牛肉眼肌自动分级软件,提高分级的准确性和工作效率,为我国牛肉智能化分级技术的研究奠定理论依据[10]。
1 材料与方法
1.1 材料、软件及基本原理
采用Visual Basic6.0作为实验分析软件,利用图形处理中的二值化算法、边缘检测算法等对采集到的数字图像进行处理和分析,提取出用于牛肉眼肌自动分级的眼肌面积、圆度、大理石纹密度等重要参数,再利用模糊数学理论利用计算出的参数数据,实现对牛肉眼肌的智能自动分级。
1.2 方法
1.2.1 边缘检测法
物体图像的边缘信息特征因为颜色、纹理结构和灰度值的变化是以不连续性的形式出现,是图像最基本的特征之一。边缘检测法提取图像特征是图像识别中的一个重要属性和重要环节[11]。图像边缘检测中的经典算法SUSAN算法[12]选用放在不同5个位置上圆形模板,如图1所示。
比较模板内像素的灰度与核心的灰度,其差值在阈值内时,认为灰度相同。与核的灰度相同的像素数目之和称为模板的面积(USAN)。SUSAN算法根据USAN区的大小和矩阵特性来检测图像边缘及角点等特征的位置及方向信息[13]。由图1所示,平坦区域USAN区最大(d,e),边缘处USAN区大小降为一半(a),角点附近USAN区变得更小(c)。
1.2.2 二值化处理
图像二值化是指对仅含黑白二值的图像进行参数提取数据预处理的重要技术。采用直方图均衡化,同态滤波对图像进行预处理抑制外界因素提高图像质量,或者将图像划分为若干区域,分别设定阈值Tn,则:
(1)
由于所提取的大理石纹图像中,仅有肉色和脂肪色,即只有红色和白色两类颜色信息,因此在二值化处理过程中,采用第1种方法进行二值化处理。
图像分割是基于边缘检测或基于区域的分割,将同一属性但区域互不相交,均满足特定区域一致性条件的不同区域分割开来[14]。本研究采用区域生长法实现对图像的分割。
1.2.4 模糊综合评判
对模糊事物实现较合理的评价可采用模糊数学中的模糊综合评判法 [15]。设定因素集,集合中的某一元素Ui表示决定事物的第i个因素,评价集Vi表示对事物评价结果。
2 结果与分析
2.1 利用二值化算法提取大理石花纹
2.1.1 二值化算法
对大理石纹图像的特征参数提取时,均需要先对图像进行二值化处理,将彩色图像处理成只包括黑色像素点和白色像素点的图像。由于所提取的大理石纹图像中,仅有肉色和脂肪色,即只有红色和白色两类颜色信息,因此在二值化处理过程中,采用第1种方法进行二值化处理。
假定彩色图像的大小为M×N,fn其表示像素点的颜色值,f(I,j)表示像素点(I,j)的二值化结果,当f(I,j)=1时,像素点(I,j)被标记为黑色像素点,当f(I,j)=0时,像素点(I,j)被标记为白色像素点。对于某一像素点(I,j),如果该像素点的颜色值fn大于阈值T,则令f(I,j)=1,否则f(I,j)=0,实现对彩色图像的二值化处理。二值化方法如式(2)所示在二值化算法中,阈值的选取是二值化处理的关键,如何选取合适的阈值t,准确提取出不同图像中的大理石纹,是本算法的一个关键技术。本研究的所有实验,都是基于VC++6.0编程完成。在所有图像的二值化处理中,程序设计使用inputbox函数的数据输入方式,由用户根据个人经验输入某一个阈值T。
(2)
经过二值化处理后的图像,白色点表示脂肪像素点,黑色点代表肌肉像素点。本算法进行大理石纹的面积计算、圆度测量、密度分析等算法都是在图像二值化的基础上进行的,因此,图像二值化的结果将直接影响到后面参数的提取准确度问题。
2.1.2 二值化实验结果分析
图2是对原图像1采用不同阈值t的检测结果,图3是对原图像2采用不同阈值t的检测结果。从图2、3结果可以看出,对于不同亮度的图像,采用相同的阈值,如t=90时,对原图像1,可以很好的提取出二值化图像;而对原图像2,无法正常提取出所需要的区域信息。同样,对于t=160时,从图2D可以看出,对于原图像1,由于阈值太大,造成一些有用的大理石纹信息丢失,而对于原图像2,能更好的提取出需要的大理石纹信息,为后继准确的提取大理石纹信息提供保证。
本算法中,阈值的选取采用人机对话的方式选择阈值,希望后期工作中能研究出一种能自动根据图像颜色亮度特征智能选取阈值的算法。
2.2 利用区域生长算法提取有效眼肌面积
由于眼肌面积图像中仅含有白色和红色两种颜色区域,有效眼肌面积区域是一块连通区域,因此,采用种子点生长算法,可以很好的提取出和所选种子点相连通的所有连通区像素点。
有效眼肌面积的提取步骤如下:以原图像1(图3A)中眼肌面积的提取为例,先采用二值化算法,选用阈值t=90,使得眼肌内的区域为大片黑色联通区,再利用种子点生长算法,利用鼠标选取眼肌中黑色联通区中的一点作为种子点,生成的眼肌面积内的联通区,如图3所示。由于生成的联通区内存在大理石纹,所以眼肌面积是图像总面积减去灰色联通区的面积。
首先采用二值化算法,对原图像进行二值化处理,然后对处理好的二值化图像,用鼠标选取属于要计算面积区域中的某一黑色像素点,采用种子点生长算法[16],将所选取的像素点作为种子点,进行生长,识别出面积轮廓。由于图4中的面积区域,还存在白色大理石纹,不能直接计算出面积大小,因此,再对图4进行二值化处理,选取背景色中的任意1点作为种子点进行生长,然后进行背景图像区域的识别,再用总面积减去背景区域的面积,即可算出眼肌面积。对原图像1,利用本实验算法计算出的有效眼肌面积共14742个像素点。
2.3 肌肉和脂肪色度值
将图像中所有肌肉像素点采用种子点生长的算法提取出来所有的红色像素点区域,对提取出的肌肉连通区图像,遍历整个图像,计算出连通区中所有像素点的Red、Green、Blue三个颜色分量的平均值,再使用颜色公式w(x,y)=Red+Green×256+Blue×65536,计算出所有肌肉像素点的颜色平均值。同样的算法,可以提取出白色脂肪的色度值。对原图像1(图2A)进行肌肉色度和脂肪色度的计算,计算出了脂肪色度为11437206,肌肉色度为7428162,对原图像2(图3A)所示的图像,计算出的脂肪色度为11718453,肌肉色度为127466071。该颜色值越大,说明图像颜色亮度越大,色值越高。
2.4 眼肌圆度
有效眼肌面积的圆度可以采用计算其长轴的长度和短轴的长度,通过长短轴的比值来衡量眼肌面积的圆度。在一幅灰度图像中,已知中两个像素点的坐标(x1,y1)、(x2,y2),利用两点间距离的计算公式:
(3)
可以计算出某一直径,直径的大小即为长轴的长度。因此,查找到有效眼肌面积的长轴的两个像素端点是计算长轴的关键。
本算法采用种子点生长算法提取出有效眼肌面积的连通区,然后由用户利用鼠标,选取出长轴的起点,如图5B所示,设置出长轴的起点坐标(x1,y1)。然后在如图5C所示的连通区中找到离该点最远的像素点坐标值(x2,y2),利用两点间距离公式,计算长轴的长度。短轴是在长轴垂直平分线上的离长轴中点((x1+x2)/2、(y1+y2)/2)最远的点和中点间的距离。测量结果显示,长轴215.94,短轴55.08,长短轴比率:55.08/215.94≈0.51,比值越接近于1,说明眼肌面积越趋向圆。
2.5 大理石纹密度
对大理石纹密度统计分析分为5个步骤进行:第1步,采用区域生长法或者边缘检测算法对原图像进行图像分割,将图像分割成不同的很多连通区;第2步,对所有连通区进行着手标记,同一连通区着相同的颜色,不同的连通区采用不同的颜色;第3步,统计所有连通区各自的面积大小区域;第4步,统计图像中连通区总数目;第5步,统计标记的连通区面积在0~5、5~10、10~15、15~20等范围内的连通区个数。
2.5.1 不同连通区着色
采用眼肌面积算法中的种子点生长算法,对整个图像进行遍历,识别出所有的连通区,并用不同的颜色值标记出不同的连通区。
对照高标准的密度检测结果图7和低标准的密度检测结果图8检测结果发现,相同像素点下连通区总数越多,说明大理石纹越丰富。像素点总数小于5的连通区的个数表明大理石纹的分散程度,值越大,说明越分散,密度越大。
2.6 基于模糊数学理论的牛肉大理石花纹自动分级系统
针对牛肉自动分级中大理石纹参数特征值的模糊性、相关性、多变量等特点,结合模糊数学理论,将所提取出来的所有眼肌面积、大理石纹密度,眼肌面积的圆度、色度等多个参数,采用模糊数学理论中的综合评判技术建立了基于模糊综合评判的牛肉大理石纹自动分级模型。例如:使用模糊综合评判算法记U={眼肌面积,圆度,肌肉色度,脂肪色度,大理石纹密度},表示因素集,表示决定牛肉分级品质的所有因素。记?={a1,a2,a3,…,an}。取评价集V={低品质牛肉,中等品质牛肉,优质牛肉,特优级牛肉},表示牛肉的评价结果。
对牛肉品质等级的判定,需要综合考虑各种因素,如牛肉的大理石纹分布的密度,有效眼肌面积的圆度、色度、面积大小等。结合本系统中采用数字图像处理技术自动提取出的相关的参数信息,然后考虑所有因素对评价集V中各等级的隶属度,可得综合评判矩阵如。
3 结 论
利用了图像处理中的边缘检测技术、二值化处理和图像分割技术,先对原牛眼肌图像进行二值化处理,然后对处理好的二值化图像,采用种子点生长算法,识别出眼肌面积轮廓,进行背景图像区域识别,计算眼肌面积,并采集连通区中所有像素点的Red、Green、Blue 3个颜色分量,计算出所有肌肉和脂肪像素点的颜色平均值,并对有效眼肌区域的圆度和大理石纹分布密度进行参数提取和检测。结果证明,本实验设计的算法能够近似的估算出牛眼肌面积、脂肪比例、色度值、眼肌圆度和大理石花纹密度,是一种有效的估算方法,并通过大量实验数据和人工测量数据进行比对,证明使用图像处理技术自动估算上述5个特征参数是可行的,为基于计算机视觉的牛肉品质自动分级检测奠定基础。后期工作中希望能并结合大理石花纹的特点和特征描述以及具体牛肉图像的特点,通过大量的数据,使用模糊聚类,模糊识别、模糊综合评判等技术,给出接近现实的、准确的牛肉等级判定结果,为进一步研究基于计算机视觉的牛肉自动分级系统打下基础。
参考文献:
[1] CHEN Shengwei, SUN Xin, QIN Chunfang, et al. Color grading of beef fat by using computer vision and support vector machine[J]. Computers and Electronics in Agriculture, 2010, 70(1): 27-32.
[2] YOSHIKAWA F, TORAICHI K, WADA K, et al. On a grading system for beef marbling[J]. Pattern Recognition Letters, 2000, 21(12): 1037-1050.
[3] SHIRANITA K, HAYASHI K, OTUSBO A. Determination of meat quality using texture features[J]. The Institute of Electronics, Information and Communication Engineers Transactions on Information and Systems, 2000, 83(4): 1790-1796.
[4] AASS L, FRISTEDT C G, GRESHAM J D. Ultrasound prediction of intramuscular fat content in lean cattle[J]. Livestock Science, 2009, 125(2/3): 177-186.
[5] KAZUHIKO S, KENICHIRO H I, AKIFUMI O, et al. Grading meat quality by image processing[J]. Pattern Recognition, 2000, 33(1): 97-104.
[6] CHEN Kunjie, QIN Chunfang. Segmentation of beef marbling based on vision threshold[J]. Computers and Electronics in Agriculture, 2008, 62(2): 223- 230.
[7] 陈坤杰, 姬长英. 牛肉自动分级技术研究进展分析[J]. 农业机械学报, 2006(3): 159-162.
[8] 陈坤杰, 孙鑫, 陆秋琰. 基于计算机视觉和神经网络的牛肉颜色自动分级[J]. 农业机械学报, 2009(4): 179-184.
[9] 陈坤杰, 秦春芳, 姬长英. 牛胴体眼肌切面图像的分割方法[J]. 农业机械学报, 2006(6): 161-164.
[10] 任发政, 郑丽敏, 王桂芹, 等. 应用MATLAB图像处理技术评判牛肉大理石花纹[J]. 肉类研究, 2002(4): 14-15.
[11] 贾渊, 李振江, 彭增起. 结合LLE流形学习和支持向量机的猪肉颜色分级[J]. 农业工程学报, 2012(9): 154-159.
[12] 魏光杏, 吴锡生. 新型边缘检测法[J]. 计算机工程与设计, 2007(4): 144-145.
[13] GE X W, FU K T. Edge detection in image method research[J]. Digital Community & Smart Home, 2007, 3(16): 1144-1145.
[14] 王文渊, 王芳梅. 改进的最大熵算法在图像分割中的应用[J]. 计算机仿真, 2011(8): 297-300.
【关键词】微动;微多普勒;激光雷达;技术瓶颈;解决途径
1.概述
微动[1-4],指目标或目标组成部分在径向相对雷达的小幅(相对于目标与雷达的径向距离) 非匀速运动或运动分量。
雷达目标微动特征提取与识别[5]是目前一个新兴的研究领域,它是运动学与雷达信号处理的交叉结合,技术涉及运动建模、时频分析、变采样滤波、雷达成像理论和技术等。目前,在军事领域,目标微动特性在弹道导弹防御体系中已经发挥了很大的作用。运动特征是导弹目标识别所依据的主要特征之一,弹道导弹的振动、自旋、进动和章动都属于微动范畴,可望为导弹目标识别难题提供新的解决手段。对于空中和地面目标如飞机或地面车辆,基于目标微动的目标识别也具有明显的优势,对于不同的引擎和转动部件,微多普勒频移是独一无二的,经处理后与目标特征库进行对比,由自动目标识别算法就可以确定目标的身份。基于振动微多普勒频移的目标识别算法具有不受方位角限制、超视距、适用于非合作目标的识别等优点。地面目标的运动,如行人手臂和腿部的摆动、车辆表面的振动、车轮和履带的转动以及天线罩的转动都属于微动源。这些微动特性为监测和识别地面目标提供了一种有效的途径,而且对于已经识别出的地面目标来说,还可以利用精细的微多普勒幅度和频率差异进行精确身份辨别。在现代高度自动化的战争中,微多普勒目标识别还具有非常大的发展前景和空间。
我们知道,多普勒现象对工作频率很敏感,而相干激光雷达工作频率1013 ~1015 Hz ,因而激光雷达相对于微波雷达探测微多普勒信息具有明显的优势。随着单频激光技术特别是全固态单频激光技术的发展,使微多普勒探测的发展更加迅速。另外由于激光雷达具有分辨率高、抗干扰能力强、体积和重量都比微波雷达小等优点,所以在高精度、实时探测低频、低振幅微多普勒效应的研究中存在着巨大的发展空间。
国外对于激光微多普勒效应的分析和研究较早,并已经取得初步成果[6-7]。国内研究起步较晚,在此领域研究较为深入的是北京理工大学赵长明团队,他们搭建了试验系统验证了相干激光提取微多普勒的可行性[8]。在实验系统中,以单块单频激光器为光源,用外差探测的方式观测到在不同目标特征下的微多普勒信息,并通过一系列基于激光雷达的算法进行多普勒信息提取,从而达到探测和识别目标表面微动状态的目的。
2.相干激光雷达提取目标微动特征的基本原理
基于相干体制的激光雷达与微波雷达提取微多普勒特征的基本原理是一致的,在径向距离上半个波长的变化就会引起回波信号360°的相位改变,由于多普勒频移可以反映相位函数随时间的变化情况,因此,可以通过回波信号的多普勒频移来探测和识别目标表面的振动状态。因为激光雷达的工作频率高于微波雷达4~5数量级,目标微动引起的多普勒频率更显著,需要识别细节特征的相干时间更短。换句话说,激光雷达能够轻易看到微波雷达看不到的细微特征。
微多普勒特征提取激光雷达的工作原理非常简单,是根据目标运动造成的多普勒频移f d 来测量目标径向速度V 。多普勒激光雷达采用相干探测方式,也称之为光外差探测。相干探测原理如图1所示。
后向散射光与本振光同时投射到光电探测器表面,产生相干叠加(即混频), 然后输出差频为f s - f 的射频电信号和直流分量,再经过中频放大器和鉴频器,最后获得所需的多普勒频移f d =f s - f。
接下来是通过时-频分析方法—短时傅里叶变换STFT来分析微多普勒频率随时间变化的情况,得到信号的时频图像,通过信号的时频图像,可以很好地得到目标的运动速度、振动频率及振幅等一系列特征。
图1 相干探测的原理
3.实现相干激光雷达远距离微多普勒探测的技术瓶颈分析
虽然相干激光雷达在微动特征提取的固有优势和实验结果令人振奋,但在实际应用,尤其是远距离探测,相干激光雷达存在以下技术瓶颈:
(1)空间匹配
虽然光学相干探测是公认的具有量子极限探测本领的体制,探测灵敏度高于直探方式2~3数量级。但是为了实现目标散射/ 反射回波信号的充分利用,必须保持本振光与信号光的空间匹配(相位、振幅和偏振匹配)[9],提高外差效率和探测器光敏面处电流微元的互相关性,而这是首要难题。
在以往的试验系统里采用玻璃镜片实现两束光空间准直的方法被证明是不可靠的。近年来,随着光通信技术的飞速发展,国内多采用带尾纤的光电二极管作为光电探测器,并且采用单模光纤干涉仪加偏振控制器[10],或者用单模光纤干涉仪加偏振分极检测来改善本振光与信号光的空间匹配,实现最佳混频来提高信噪比。这种全光纤激光雷达在一定程度上弱化了调整光学系统的难题。但如何将空间光低损、稳定地耦合进直径仅有7μm的单模光纤中仍是一个非常棘手的问题。
(2)激光源的稳定性
微多普勒激光雷达要想在实际应用中发挥作用,必须要解决远距离精确探测的问题。而其中重要的因素就是激光器线宽的影响。线宽的加宽主要由激光器内部自发辐射导致的噪音造成。传输距离越长,噪声的影响越大。理论分析可知,窄线宽且探测距离短的激光雷达多普勒测量误差较小。随着探测距离的延长,当探测距离延长到相干长度的量级时,探测到的光电流谱线宽度实际上只决定于激光器的输出线宽,而不是探测距离的长短。
减小探测距离和压窄激光器输出的激光线宽均可以起到减小系统误差的目的。但是由于kHz 量级的线宽对于激光器而言已经是非常优秀的频率特性,并且片面的压窄线宽还会影响单频激光器输出功率。 减小目标和激光雷达的距离可以减小系统误差,却失去了远距离探测的意义。
(3)大气湍流的影响
湍流是指大气中局部温度、压力的随机变化而带来的折射率的随机变化。折射率的变化表现为两种形式:①由于地面温度的影响,大气中温度随高度会有梯度出现,于是折射率也出现一个梯度;②折射率随位置和时间作迅速的变化,变化的频谱可达数百赫兹,变化的空间尺度可能小到毫米量级,变化的强度与天气状况和地面状况有一定的相关关系。由于湍流大气中折射率的随机不均匀分布,当激光通过它时,就会在不均匀元上产生散射,从而对原来稳定传播的激光束产生扰动。即使在弱湍流下,折射率的改变很小,但由于存在大量的不均匀元,以致在一定距离之外,积累效应就十分显著,包括光束漂移、光束扩展、到达角起伏、大气闪烁等。针对大气湍流的影响,常规的方法有:
1)扩大发射光束的发散角以克服光束漂移带来的问题,当发散角大于漂移角时,探测器总能落入接收光斑内,但代价是接收的能量大大减小;
2)用高功率发射器来补偿由于激光束发散和激光闪烁所造成的损失。但对半导体激光器来说,功率提高,调制带宽就会降低,目前来说,提高功率在技术上是有限的。
(4)目标的捕获与跟瞄
相比雷达等传感器来说,激光的视场角很小,很难在较大空域内搜索和捕获到目标,须有引导信息。
4.相应解决途径的研究
4.1激光源相干性问题的研究
首先,跳出具体技术细节,从更高层面上横向比较微波雷达和激光雷达的技术发展脉络,有助于我们找到正确的解决途径。事实上,可以将激光雷达看作微波雷达的频段高端,雷达工作频率是从最初的短波逐步向上扩展到P波段、L、C、X、Ku、Ka波段、乃至W波段。工作体制也是从最初的磁控管振荡简单脉冲非相参,后来经由准相参,最终发展到全相参体制,全相参系统中,发射机采用主振-放大链式结构,使得更为复杂的信号调制方式成为可能,雷达信号从仅能提取幅度信息,扩展到时间、频率、相位、乃至时-频域进行全面分析。随着全相参体制的出现,雷达品种也日益繁多起来,脉冲压缩、动目标检测、相控阵、合成孔径/逆合成孔径、数字阵列、多输入多输出等等新技术、新体制层出不穷。
可以断言,上述发展历程将会在激光频段上亦步亦趋的复现,而目前,激光雷达处在由非相参向全相参过渡的关键时段,我们可以借鉴微波雷达的技术思路解决相似的技术难题。下面简单整理一下这一阶段出现的相参处理技术。
由于磁控管固有的特点,其发射脉冲的初相是随机的,而且由于调频效应,发射脉冲间的频率和脉内的频率也是变化的,所以磁控管雷达系统若不作相参处理,其接收回波是非相参的。为了使系统具有多普勒相参功能,采用的方法主要有四种:发射注入式锁相、接收注入式锁相、模拟中频相参接收和数字相参接收等。
发射注入式锁相是较早出现的一种,注入锁相磁控管系统由于受到锁定振荡器相位噪声、磁控管振荡器频率不稳和锁相系统本身锁相不稳等因素的影响,性能不高,可靠性低,实现成本高。
接收注入式锁相是在接收端将发射样本中频脉冲(通常称主波)注入至中频相参振荡器,用于同步相参振荡器,锁相同步后的相参振荡器输出可视为发射脉冲振荡的延续,应用最为广泛。其缺点是锁相后相参振荡器频率不稳、锁相误差较大,由于锁相脉冲只在瞬间有效,锁相后其会慢慢漂移,导致定相精度随距离增加而降低,远区定相精度差,在动目标雷达中其改善因子一般只能达到10 dB~25 dB 左右。同时由于受模拟电路随温度变化等固有缺点的影响,稳定性差。
模拟中频相参接收在原理上和注入式相参接收相似,其区别在于利用声表面波( SAW)器件暂存发射样本中频脉冲,SAW存贮相关卷积器作为中央处理单元在中频段进行复共轭相关处理,消除或减小发射系统的不稳定对改善因子的限制。优点是模拟信号处理速度快,成本低,缺点是SAW 器件本身的非理想因素限制了雷达改善因子的进一步提高,运算精度不高,灵活性差,对于发射脉冲较宽的系统实现有一定的难度。
数字相参接收在原理上和模拟中频相参接收相似,利用AD对发射脉冲样本进行取样,然后用该取样值和回波信号进行相关或卷积,实现相位校正,达到消除随机初相的目的,在许多文献中也称其为DSU (数字稳定单元)技术。这种方法对改善因子的限制可达30 dB。
上述相参技术是伴随着电路基础技术的发展次第出现的,随着数字技术的高度发展,我们今天解决激光雷达相参性可以直接选取数字相参实现,但是采用该技术的前提需要一个稳定的本振信号。
对于远距离提取微多普勒信号的相干激光雷达来说,其对稳定本振的要求是这样的:要在光波往返雷达与目标的时间范围内,本振光线宽要在kHz以下,例如,要提取10km处目标的多普勒信号,要求67μs时间段内测量激光的线宽要小于1kHz。
获得足够相干时间长度的稳定本振方案有两种:
一是种子源本身稳定性能够达到要求,主振荡器输出激光经分束镜后, 部分激光( < 1 %) 与主振荡器声光频移后的0级衍射光在监视探测器光敏面进行相干,监视探测器输出的信号iIF1 作为参考信号输入到信号处理系统,发射的激光光束经发射望远镜扩束后出射。反射光经接收望远镜后,耦合到光线耦合器,主振荡器声光频移后的0级衍射光经分束后也耦合到光线耦合器,两束光在光纤内传输,并在信号探测器光敏面上相干,信号探测器输出信号iIF2 输入到信号处理系统。两路信号从探测器输出后,经A/ D 采样后,送信号处理系统中进行卷积处理,处理消去了脉间相位和幅度不稳的影响,使其具有较好的相干接收效果。
二是种子源相干时间长度能够达不到要求,可以采用本振延时的办法缩短所需的相干时间,即种子源输出的本振光进入一个光纤延时网络,根据目标的距离,本振光做适当延时后再输出。实验证明,该方法是有效的,但是增加了光纤延时网络设备量。这一方案是一种权宜之计,根本解决办法还是要提高激光源的稳定性。
4.2空间匹配问题的研究
因为相干探测对回波光和本振光的准直度提出了非常苛刻的要求,要求两束光平行且重合的照射在探测器光敏面上,光学系统的调整和维持非常困难,这也是限制相干激光探测应用的主要瓶颈。为此,我们采用全光纤系统,避免使用玻璃镜片光路,光纤系统都是软连接,系统的鲁棒性大大增强。
由于安装误差、温度形变、平台振动、大气湍流引起的光束偏移、到达角起伏等影响,不可避免的影响光纤耦合系统,使耦合效率下降甚至失效。解决这一问题可以通过伺服系统闭环控制二维快摆镜将光导入光纤透镜中,这也是一种软连接,大大降低了对结构的精度要求,同时通过闭环控制可以补偿大气湍流引起的光斑漂移。
对于偏振配准,全光纤系统中可以采用正交偏振六端口接收,将回波分解成两路正交偏振信号,分别与本振光混频输出四路偏振正交、相位正交的I/Q信号,实现了偏振和相位的匹配接收,而且还可以获得偏振散射矩阵,对目标识别和抗杂光干扰非常有利。这种高度集成的光学六端口接收设备有现成的COTS产品。
4.3 激光雷达波形设计的研究
激光多普勒效应明显是提取微多普勒信息的优势,但同时也带来了信号设计方面的问题,因为激光多普勒频率非常宽,按照无模糊测距要求设计脉冲重复频率,会存在严重的测速模糊。
为此,可以借鉴微波雷达中距离门控脉冲串波形设计思路,将低重频无模糊测距和高重频无模糊测速结合起来,采用脉冲对波形设计:脉冲对是由两个子脉冲构成,通过测量两个子脉冲回波相位差来提取微弱多普勒信号。
子脉冲宽度τ决定了距离分辨率,可根据距离远近和测距精度要求调整,最小脉宽为7ns;子脉冲间隔Ts决定了多普勒范围和多普勒测量精度,Ts是一个从1μs~几百μs可调范围,以适应大到200m/s直升机螺旋桨叶的转速,小到几m m/s~cm/s叠加在其上面的低频微弱振动。Ts取值在20~200μs可以获得非常高的多普勒分辨率,用于提取微多普勒特征和目标识别,取值在1~3μs可以获得中等精度的多普勒分辨率,用于距离-多普勒成像。用多脉冲参差的方法也可以解决测速范围宽和高精度测量的要求;而脉冲对之间的间隔PRF决定了无模糊测距范围,随着目标的远近而调整。
与距离门控脉冲串波形设计接近的是一种称为单脉冲多普勒波形设计可以用于远距离激光雷达中,它是用一个宽的单个脉冲代替上述的脉冲串(对),在接收时,将雷达回波的过采样(相对常规一个脉冲1-2个采样点)并行馈到一组开关中,这些门按照脉冲宽度(如果采用了脉冲压缩,则对应于脉冲压缩的宽度)的时间值依次打开,打开时间也对应于脉冲的宽度,(如果采用了脉冲压缩,则对应于脉冲压缩前的宽度)对应于每一距离增量,采样值在通过开关门后被距离仓收集,进行相干积累,再送到多普勒滤波器组。由于积累时间受脉冲宽度的限制,速度分辨率较低,需要进一步提高,可以采用二级多普勒滤波器将几个脉冲一级多普勒输出到二级滤波器组中。组显而易见,在峰值功率相同的情况下,其平均功率明显增加,前提是不要求探测近距离目标。
这里需要强调的一个概念是,采用了相干探测体制以后,激光雷达探测灵敏度取决于发射平均功率(或者说能量),而不是峰值功率。
4.4 大气湍流影响抑制的研究
当前,在无线光通信领域中被国内外研究者所重视的大气湍流影响抑制技术包括:大孔径接收、分集、部分相干光传输、时域处理与阈值优化、自适应光学、信道编码(RS 编码、LDPC 编码等)、传输层自动请求重传(ARQ) 与前向错误校正( FEC) 等技术[11]。
通信和探测技术在一定程度上是相同的,分集技术也可以用于激光雷达探测中,但是由于探测提取的是多普勒信号,因此应有所区别。
多光束传输技术是一种非相干光束叠加技术,即多个( ≥2) 相互间不相干的激光束经过不同的传输路径发送到远场接收端并非相干叠加,以平滑接收信号光强闪烁的技术,实际上是一种空间发射分集技术。
从发射机角度讲,多光束传输是有益处的,由于散热等因素,单个发射机的功率不可能任意做大,而采用分布式多个发射机并行放大,大大弱化了对设备散热的要求。
对多光束传输技术来说,必须尽量减小各激光发射器输出激光的相干性, 否则会在接收面上出现明暗条纹,导致接收光强起伏增大。MISO 大气光通信链路抑制光强闪烁的能力依赖于各光束的空间相关性大小,其和发射器间距d 、接收器孔径D 、传输距离L 及湍流条件有关。空间相关性越小,抑制光强闪烁的能力越强。
该技术对应微波雷达被称为多输入多输出(MIMO)技术,受MIMO通信系统的启发,雷达系统在DBF阵列接收的基础上采用MIMO多发多收天线技术获得性能提升。发射、接收天线个数可以相同或不同,可以收发共用也可收发分离甚至采用双基地方式。关键在于多天线发射分集实现自由度扩展和辐射能量在空间的发散分布,由此带来角度高分辨、对目标RCS闪烁不敏感、低截获概率(LPI)等诸多好处。与MIMO通信系统相类似,MIMO雷达的发射分集可通过某种编码方式实现,只要各发射天线同时对外发射独立或正交波形即可实现MIMO系统中的多输入。由于各发射信号不会在空间相干叠加形成窄波束,因此各信号到达目标并经由目标反射回接收机时将经历相对独立的不同信道传输特性。
将MIMO技术移植于激光雷达有两个特殊问题需要注意:
一是由于激光雷达的多普勒频移非常大,所以在设计正交发射波形的时候要考虑到这一因素,否则即使是发射信号是正交的,但由于目标移动产生多普勒频移,破坏了回波信号的正交性,造成信号之间有互耦,降低了分集的性能,甚至分集失效。
(1)Keystone变换前 (2)Keystone变换后
图2 Keystone 变换前后FFT 的结果
二是大气激光通信处于成本等方面的考虑,接收机采用直探方式,多波束之间非相干合成是在光电探测器上实现的。而对于相干探测激光雷达来说,采用正交频分多址(OFDM)发射不同频率的正交信号,遇到同一目标,产生不同的多普勒频率,由于频率不同,无法直接合成,需要通过Keystong[12]变换, Keystone变换是对各通道的采样数据进行时域重采样,使各通道具有相同的采样间隔,图2 比较了各通道数据在Keystone 变换前后分别进行FFT 处理的结果,可见,若不进行Keystone 变换,同一目标在不同的通道上所处的多普勒单元相差较大,无法进行通道间非相参积累。而经过Keystone 变换后,目标位于相同多普勒单元上,可以进行通道间积累。
4.5 目标的捕获与跟瞄技术的研究
针对激光雷达波束窄,目标捕获难的问题,可以考虑与视场较大的红外探测器共平台甚至共孔径设计,远距离由红外搜索捕获和跟踪目标,激光雷达实现测距和微多普勒特征提取实现目标识别,随着目标的接近像素点的增多,可融合红外图像或者基于阵列探测的激光雷达三维图像识别目标。
若要求激光雷达在一定范围内自主捕获跟踪目标,可利用光纤稀疏组阵,借鉴MIMO雷达中虚拟阵元、虚拟孔径技术,在接收机中合成发射波束,并用多接收波束填充发射波束,实现目标同时搜索和跟踪(TAS)。由于涉及内容较多,另撰文介绍。
5.需要进一步研究的问题
上述主要是前期针对激光雷达硬件平台展开的研究汇总。随着相干激光雷达试验床的建立和不断完善,后续研究和解决的难点主要将集中在以下几个方面:
1) 微动目标雷达特征分析
微动引起的雷达信号调制包括时域、频域、极化域、RCS调制,目前国外研究人员主要集中于研究微动目标回波信号的瞬时频率特征,对于其他的几个特征很少有研究。
2)多微动目标分辨
在实际应用中,目标可能包含多个微动分量,或有多个目标并且每个目标有各自的微动特性,因此,相关的研究需要深入下去。
3)微动目标的参数估计
微多普勒是估计目标参数的前提,目前国外的研究重点放在时频分析中,对于点目标、线目标、体目标的参数估计研究较少。目前的时频分析如短时傅立叶变换、WVD变换的能力和精度对于估计参数还不够准确,尚有待改进。
4)建立完善的目标识别系统
微动是目标的特有信息,在目标识别方面有着特殊优势。要对特定的军事目标进行识别,就需要建立完善的军事目标的微动特征和参数库,例如对于每种型号军事目标的质量分布特征、惯量比、发动机引擎调制特征等。今后的研究侧重点将是建立较为完善的微动目标雷达特征体系、形成统一的微多普勒信号分析与目标识别方法,逐步将识别对象从简单的点、线目标向复杂微动目标推进。这样才能使微多普勒目标识别技术逐步成熟起来。
6.结语
在以单频激光器为光源的相干激光雷达系统中,利用时频变换的方法,已成功地观测到了微多普勒频移,同时还利用观测到的不同物体的微多普勒频移特征,进行了初步的运动状态识别实验。本文针对期工程化应用若干关键难题作了分析研究,并提出了解决思路。作为基于相干激光雷达的激光微多普勒探测技术,如何从无线电雷达已有的成熟技术特别是信号处理技术中吸取有益的思想,结合现有的激光雷达技术和特点取长补短,还有很多技术需要研究。
参考文献:
[1] Chen V C , Li F Y, Ho S S. Micro-Doppler effect in radar-phenomenon , model and simulation study [ J ] . IEEE Transactions on Aerospace and Electronic Systems, 2006 , 42 (1) : 2 - 21.
[2] Chen V C. Micro-Doppler effect of micromotion dynamics : a review[ C] ∥ Proceedings of SPIE on Independent Component Analyses , Wavelets , and Neural Networks , Orlando, UAS ,A p r. 2003 , 5102 : 240 - 249.
[3] Camp W W , Mayhan J T , O’Donnell R M. Wideband radar for ballistic missile defense and Range-Doppler imaging of satellites[J ] . The Lincoln Laboratory Journal , 2000 , 12 (2) :267 - 280.
[4]陈行勇,黎湘,郭桂蓉,姜斌. 微进动弹道导弹目标雷达特征提取[J ] . 电子与信息学报, 2006 , 28(4) :643 - 646.
[6]施西野,郭汝江,李明. 雷达微多普勒特征提取和目标识别研究现状[J ] . 信息化研究, 2009 ,35(7) :8 - 11.
[7] Stephen M. Hannon J . Alex Thomso , Sammy W. Hendersonet al.Agile multiple pulse coherent lidar for range and Micro-Doppler measurement [ C] . SPIE , 1998 , 3380 :259~269
[8] Wil Otaguro , Cecil Hayes. Microdoppler ladar systems [ C ] .SPIE , 2000 , 4091 :268~277
[9]张海洋,赵长明,蒋奇君,杨苏辉,苏必达. 基于相干激光雷达的激光微多普勒探测[J].中国激光,2008,35(12) :1981 - 1985.
[10]何毅.外差探测系统的相位匹配研究[J ] .中国激光,1997 , 4 (10) : 930-931.
[11]Ma Zongfeng , Zhang Chunxi , Ou Pan , et al.Application of fiber interferometer in coherent Doppler lidar [J ] . Chinese Opt . Lett . , 2008 , 5 (4) :261-263.
1.18028型焊线机工作原理
本机利用超声波摩擦原理来实现不同介质的表面焊接,是一种物理变化过程。首先金丝的首端必须经过处理形成球形(本机采用负电子高压成球),并且对焊接的金属表面先进行预热处理;接着金丝球在时间和压力的共同作用下,在金属焊接表面产生朔性变形,使两种介质达到可靠的接触,并通过超声波摩擦振动,两种金属原子之间在原子亲和力的作用下形成金属键,实现了金丝引线的焊接。金丝球焊在电性能和环境应用上优于硅铝丝的焊接,但由于用贵金属的焊件必须加温,应用范围相对比较窄。
图1.18028型焊线机
1.28028型焊线机的结构组成
1.2.1新型的料盒承载系统
新式料盒承载系统:90mm宽的轨道容量,优化的速度可满足客户的应用需要,实现高产量,并提高工作效率。简洁的料盒手柄设计:采用简化设计,使之更加可靠并易于转换。
1.2.2图像识别系统
新式图像采集引擎:强健的操作为不同的管芯和引线框架原料提供了最高的精确性和识别率。
1.2.3新式NV-照明
采用工程照明源,为小型管芯提高了识别率。先进的图像采集技术:经过改良的处理周期,视点关联性和向前的光学特性为当今受成本驱动的封装行业提出了新的标准。
1.2.4K&S检验技术
高分辨率的X/Y台面,适合高速的高解析度的X/Y工作台,采用高性能的工作台及其出众的可重复性配置,提供了更快的焊接速度。使用先进的轻质材料,却不降低硬度。
1.2.5高性能的伺服马达技术
经过检验的线性马达技术为高速焊接提供了最快的响应时间,且在大量生产及长期使用中验证了其可靠性。
1.2.6µT-超声波传感器
在最小冲击力下能够有效地发送稳定的超声波。
1.2.7Pro-Pulse夹线系统
快速的开闭动作,降低了焊接的整个周期、减少了维护量并提高了过程监控能力。
1.2.8Precision-ArcEFO系统
稳定的初始球(free-air-ball)控制确保高产量及出色的焊接良品率。
1.38028型焊线机的特点
本机的焊头架采用垂直导轨上下运动方式(Z向运动)二焊移动(跨距)通过焊头架水平导轨运动实现(Y向运动),两种运动均采用进口步进电机驱动,因此本机的一焊和二焊的瞄准高度,拱丝高度,跳线距离均可真正实现数字控制,从而保证了焊接的质量稳定,焊点控制精确,焊线质量重复率高,拱丝高度一致性好的优点;该机的二焊点可设定为自动焊接,操纵者只要需按一下操纵盒上的很界按钮即可按照操作员设定的参数完成整个焊接过程,使焊接速度更快,可以大幅度的提高单班产量(不同产品,产量可达每小时3000条线)。本机特有的多焊线全记忆功能使之在高端产品的应用上得心应手,满足了产品的高性能要求。8028Maxµmultra融合诸多技术改进,堪称当今综合封装应用的最佳选择。新型的焊接压力控制系统采用了压电传感技术,在不增加焊具冲击力的情况下,即可实现更高的焊接头速度。新型的微处理器控制系统提供了更快的处理能力,更有PC风格的USB功能来实现更为简单的软件和数据处理。另有一套增强型焊线进线/拉伸系统,降低了焊线进线途中的摩擦力,从而以更高的速度达成弧度控制的一致性。
(1)自动双向焊接第二点,且三轴(焊头,位移,送料)同步运行,大大提高了焊线的速度,对于两条线的蓝白管特别适用
(2)焊线速度可达(4-6K/H)自动机一般速度在8-12(K/H)
(3)不同操作模式,可以适用不同的初学者,熟练工及固晶不良,框架不良的影响
(4)计算机控制弧度形成,弧度可能是国内最好的
(5)由于采用自动检测瓷嘴是否到位和数控调整一检,二检高度,对一焊,二焊高度差较大的器件,也同样应对自如
(6)负电子成球(EFO),成球大小精确可调,一致性好,为此,可以大大节约金丝和提高劈刀的寿命
(7)调整方便,各种参数(超声功率,时间,压力,温度,烧球,弧度,尾丝,瞄准点高度,跨度等)均置于面板上,用旋钮调节
(8)温度采用PID系统,精确,稳定
(9)烧球不成功,自动报警
28028型焊线机设备故障诊断技术
2.1故障机理
通常我们说设备工作正常是指它具备应有的功能,没有任何缺陷,或虽有缺陷但仍在容限范围内。异常是缺陷有了进一步发展,使设备状态发生变化,性能恶化,但仍能维持工作。故障则是缺陷发展到使设备性能和功能都有所丧失的程度。
设备的异常或故障是在设备运行中通过其状态信号变化反映出的。由于监测与故障是在设备不停机的情况下进行的,因此必然以状态信号为依据。二次效应就是设备在运行中出现的各种物理的、化学的现象,如振动、噪声、超声功率,时间,压力,温度,烧球,弧度,尾丝,瞄准点高度,跨度等,这些都是焊线机设备运行所固有的。监测与诊断就是要快速、准确地提取设备运行时二次效应所反映的特征。
2.2焊线机的故障诊断过程
2.2.1状态监测
主要是测取与设备运行有关的状态信号。状态信号是故障信息的唯一载体,也是诊断的唯一依据。因此在状态监测中及时、准确地获取状态信号是十分重要的。
状态信号的获取主要是依靠传感器或其它监测手段进行故障信号的检测。焊线机检测中主要有以下几个过程:
(1)信号测取:主要是通过电量的或传感器组成的探测头直接感知被测对象参数的变化(如:当焊线机在焊线过程中出现二焊点脱落时,金线就会和地面形成回路,系统会自动报警);
(2)中间变换:主要完成由探测头取得的信号的变换和传输;
(3)数据采集:就是把中间变换的连续信号进行离散化过程。数据是诊断的基础,能否采集到足够长的客观反映设备运行状态的信息,是诊断成败的关键。
2.2.2特征提取
就是从状态信号中提取与焊线机设备故障有关的特征信息。状态检修这样一种新的检修策略,它建立在对焊线机设备状态监测和对设备故障诊断技术上,根据焊线机设备的运行状态和健康状况,进行预知性作业。随着传感技术、微电子、计算机软硬件和数字信号处理技术、模糊集理论等综合智能系统在状态监测及故障诊断中的应用,使基于设备状态监测和先进诊断技术的状态检修研究得到发展,成为故障诊断系统中的一个重要研究领域。实现焊线机设备状态检修的基础是各种设备的状态监测。状态监测能准确、实时地反映焊线机设备的状况和预测使用寿命,为检修决策提供依据。
2.2.38028焊线机的故障诊断
故障诊断就是根据所提取的特征判别状态有无异常,并根据此信息和其它补充测试的辅助信息寻找故障源。
你不能使用过去的工具来支持未来的制造生产。比如:一个简单的元件正在三个不同的焊线机上处理,同时每个焊线机由不同的操作者运行。新型MES系统将能回答下列问题:
哪个操作者与元件有关?
哪个焊线机将会被MES系统记录?
哪个金属线轴在组装元件时被使用?
如果金属丝有缺陷,哪个部分需要重做?
当金属丝拖拉检测进行时,哪台设备是作为信息源头被记录的?
设备人员怎样知道哪个工具需要维护?
设备人员怎样使用设备来检测没有记录的问题?
新型MES结构提供元件转移的灵活追踪,此转移独立于设备行为。结果是输入事务变得简单了,但全面的记录和分析却变得更多了。有关自动生产、周期时间和参量数据收集的过程信息被刚好获得了,这些信息来自操作者、设备、生产线、元件和产品。
2.38028型焊线机的故障诊断原理
设备诊断是利用被诊断的对象(焊线机)提供的一切有用信息,经过分析处理以获得最能识别设备状态的特征参数,以便做出正确的诊断结论。焊线机设备运行时产生多种信息,当其功能逐渐劣化时,就出现相应的异常信息,如机器的状态变化而产生的异常振动、噪声、温度、超声功率等信号;焊线机劣化过程产生的磨损微粒、油液及气体成分变化的化学信号等。利用检测仪器对最敏感的故障特征信号进行状态监测,做出正确的分析和诊断,可以及时预测机器设备可能发生的故障。
传感器安装在诊断对象(焊线机设备)上,以传递温度、压力、振动、变形等信号,这些信号进一步转化为电信号,输入到信号处理装置,在信号处理装置中将输入的诊断信号与预先储存在系统内的标准信号进行比较,标准信号是根据事先积累的大量数据资料和实际经验分析归纳而制定出来的判定标准,是设备各种参数的允许值。通过比较做出判断,确定故障的部位和原因,预测可能发生的故障。
38028型焊线机的常见的故障及诊断排除
焊线机在工作过程中最常出现的故障有引线短路、铝柱状突起、一焊点不粘、二焊点脱落、各种误测报警、断线、球规等等。由于线弧异常、颈部靠等因素造成的引线短路是最常见的故障;另外,由于温度的原因造成在铝晶粒的边界,应力释放,形成铝的柱状突起缺陷也是常见的故障之一。因此,本章第一节主要介绍了封装中的引线短路现象及诊断排除,第二节主要介绍了高温厚铝溅射时柱状突起缺陷现象及诊断排除。
3.1采用交叉引线技术维修焊线中的引线短路
在焊线机工作过程最常出现的故障中,由于线弧异常、颈部靠等因素造成的引线短路是最常见的异常之一。下面主要介绍设备人员在解决引线短路所采用的方法。
引线键合工艺中常见的缺陷之一就是引线短路的问题。单个芯片中的两根导线上会产生这种现象,多个芯片应用中更为复杂的精细引线上也会出现这种现象。考虑到引线键合工艺的复杂性,我们认为芯片密封工艺期间成型复合材料的反向流动是影响引线短路的重要因素,因此分析起来就更加复杂。根据工艺、封装、工艺环境、材料和应用领域的不同,所采取的解决方法也会有所不同。失效机理不同解决方法也就不同,所采用的解决办法可从改变环路参数到改变芯片位置,方法很多,也各不相同。本文着重介绍了设备人员采用交叉引线技术与优化成型转移参数分布相结合的方法解决引线短路问题。我们将引线交叉技术作为当前解决间断性电短路问题的最佳手段。此外为了控制引线短路,我们还对成型工艺做了一些相应的变化和调整。
金(Au)、铝(Al)和铜(Cu)都是引线键合工艺中最常用的引线材料。引线的作用是充当半导体芯片与引线框架或基板之间的一级互连。图3.1给出了芯片与引线框架(多芯片与单芯片应用)之间一级互连变化情况的典型实例。
图3.1采用金引线键合技术时的一级互连变化情况
引线的直径一般在0.8至20mils之间,分为细引线和粗引线两种类型。直径小于2mils的引线称为细引线,而直径大于2mils的引线称为粗引线。如果不考虑引线材料的影响,引线键合缺陷表现有几种常见的失效模式。其中最为常见的失效模式就是引线与引线之间的短路,一般称为“短路”。图3.2示出了引线短路的实例。
图3.2引线与引线之间的短路,即通常所称的“短路”现象
3.1.1引线与引线间的短路现象
不同的短路现象具有不同类型的失效机理。最令用户担心的失效类型是某些电短路失效已经产生,但在单元测试工艺期间由于读数时断时续或模糊不清而造成漏测。图3.3示出了可能使测试过程中读数不连续的典型的短路现象。在这种失效模式中,造成短路测试读数不连续的罪魁祸首就是薄薄的塑封成型复合材料。
图3.3由于接触面上覆盖着一层极薄的塑封成型复合材料,因而导致了单元测试读数的时断时续
3.1.2造成引线短路的因素
考虑到器件或封装的类型会有所不同,要确定键合焊盘的结构和引线的粗细程度就必须对引线的性能进行全面的了解。完成引线键合工艺需要考虑的一个重要因素就是环路的高度。尤其是当键合焊盘的节距非常紧凑或当键合焊盘的设计不同时(如图3.4所示),对环路高度的优化设置就显得更加重要。
图3.4通过本环路高度模拟结果可看到,引线拉细有可能导致引线折断和引线松垂等问题
因此,通过对环路类型的选择、优化环路高度、键合焊盘节距间隔等因素进行综合考虑就可以找到一种较为合理的技术选择。图3.5示出了环路高度、键合节距间隔的调节与引线拉细以及引线松垂之间的相互关系。一旦获得最佳的结构,即可将这一方案应用于下一步成型密封研究中,从而揭开导致引线短路现象产生的真正原因。
图3.5对环路高度和键合节距间隔进行调整时的典型引线特性
3.1.3引线短路的故障排除方法
成型密封工艺对引线短路与成型流程机理间的有着十分重要的关联。就引线位置而言,加压成型的流动方向会对引线的偏距造成一定的影响。
必须对相关的成型参数进行成型表征并对其加以识别。根据研究结果,可以将成型转移压力做为一个重要的影响参数进行考虑,对其进行表征以获得最佳值和较高的安全允许范围。
解决方案:考虑了三种实验设计方案:环路参数表征、与交叉引线技术相结合的环路类型选择、优化成型转移分布。
环路参数表征:
我们采用现有的材料、引线键合设备、成型工艺和条件对10条引线进行了实验,以确定引起引线短路的最大环路参数。
主要考虑了三种成型参数:第一种是转移压力,第二种是停顿时间,第三种是转移速度。上述全部参数,在其改变前后都进行了收集和监测。
必须研究用交叉引线技术对引线键合环路参数进行表征的结果与成型转移分布之间的相互关系以获得最佳的工艺参数。同时还要衡量运用交叉引线技术的效果。
采用交叉引线技术时对引线键合环路类型的选择
对正常环路型和梯形环路型两种环路类型进行了考虑并对两种类型加以比较。因为梯形环路中形成的第二个扭结的特点非常适合作为额外保护结,用以防止成型流动效应引起的引线偏差,因而我们选择了梯形环路。为了提高引线键合的效率,使用交叉引线技术。首先要从修改参数上实现一个目标,即同一个接地引脚中的每一条引线不会导致任何的短路机理,每一条引线都得到相互支撑而不是只支撑孤零零的一条引线,这种方法具有一个重要的优点,再与交叉引线布局方法相结合就可以解决引线短路本身的隔离问题。双引叉引线产生的严重的引线弯曲结果说明,引线平均摆动最低,在结果一定的情况下,我们选择了采用交叉引线技术的双引脚作为这两种方法中较好的引线布局设计。
对转移压力和时间进行调整和优化之前和之后都要进行上述分析。对这些参数完成优化之后,即可发现转移参数分布会有所改善,而且就引线偏差而言最终产品的质量还会有所提高。我们发现采用交叉引线技术与优化成型转移参数分布相结合的方法可以彻底消除由成型工艺流程影响而导致的引线短路现象。
3.2高温厚铝溅射时柱状突起故障诊断与排除
本节介绍了高温厚铝溅射(Alsputter)时柱状突起缺陷(whiskerdefect)的产生原因,针对影响柱状突起缺陷的各个因素,进行分析诊断,数据化各因素的影响程度,找出最大的影响因素,实现了一种在现有的设备条件并保证产品质量的前提下,以最小成本控制和优化铝柱状突起缺陷的方法。
溅射法是在半导体制程焊接中用于铝互连线淀积的最主要方法,基本原理:在工艺腔中形成等离子体环境,用带正电的气体离子氩轰击靶材,把动能直接传递给靶材原子,从而使靶原子逸出,淀积在衬底材料上的物理化学过程。氩不断轰击靶材,靶原子不断淀积在衬底材料上,在此过程中会产生大量热量,从而导致工艺腔升温,工艺腔需要有良好的温控系统。在某一制程中,由于大电流通过的要求,顶层金属铝需要加厚到一定厚度,溅射时温度设定为300℃,在现有的工艺条件下,连续溅射淀积如此厚的金属,在铝溅射完成后产生大量缺陷,由于此种缺陷目视时为沿铝晶粒边界的柱状突起,定义此种缺陷为铝柱状突起缺陷(Alwhiskerdefect)。质量与成本在生产过程中永远是对立统一的两面,寻求两者的平衡是工业化的基础。在设备成本增加最少,设备生产效率影响最小的前提下,控制和排除铝柱状突起缺陷,使得其对质量无影响,是本节讨论的目标。
3.2.1铝柱状突起缺陷形成诊断分析
某产品在风险量产时,顶层铝刻蚀后在线缺陷检测发现大量缺陷,全数检测此批次产品所有硅片,所有硅片都缺陷超标。生产线停止,设备检查,并对生产线上其它产品进行缺陷检测,未发现缺陷超标,初步判断只是此批工艺产品缺陷超标。针对此问题进行分析定位。
图3.6铝溅射后显微镜下的照片图3.7铝溅射后扫描电镜下的照片
图3.8铝刻蚀后显微镜下的照片图3.9铝刻蚀后电镜下的照片
3.2.2缺陷的分析、定位过程
顶层铝刻蚀完成后在线检测发现大量缺陷,显微镜下目视为小黑点(图3.8)。
扫描电镜观察为柱状突起刻蚀残留(图3.9),进行成分分析,确定残留物的主要成分为铝。
对铝刻蚀前可能产生缺陷的工艺步骤进行分析,设备状态确认,增加在线检测,寻找缺陷的来源。
顶层铝溅射后在线检测发现大量缺陷,显微镜下目视为小黑点(图3.6),扫描电镜观察为柱状突出(图3.7),跟踪此缺陷,在铝刻蚀后此缺陷表现为柱状突起刻蚀残留(3.9),确定缺陷为铝溅射产生。
检查工艺设备历史记录,未发现异常。同一工艺腔进行重复试验,检测到缺陷。用其它设备的同样工艺腔重复试验,检测到缺陷。判断与此制程产品的铝溅射工艺有关。
追加扫描其它层次铝溅射,未发现同样缺陷。进行不同厚度铝溅射,薄铝条件时未发现缺陷,厚铝条件时缺陷数量增多。判断此种缺陷的产生与铝厚度有关。
3.2.3工艺条件对铝柱状突起缺陷的影响分析
在上面的分析中已确定了铝柱状突起缺陷的产生原因:温度积累产生应力释放。在工艺过程中影响温度的原因有很多:溅射压力、功率、溅射速率、铝厚度、工艺腔真空度、加热台温度设定和靶材寿命等。现在我们需要在这些条件中找出对缺陷影响最大的因素。
工艺条件比较:通过对溅射时每一片硅片的工艺参数比较(溅射功率、工艺腔真空、压力条件、溅射实际时间和溅射稳定时间等),一个批次溅射时第一片硅片和最后一片硅片工艺条件无差异。
设备条件比较:通过对每一片硅片工艺时的设备参数比较(硅片进入工艺腔前后的真空度比较、冷却水流量比较、工艺腔加热台温度设定比较等)发现工艺腔加热台温度第一片硅片和最后一片硅片存在差异,使用温测硅片(TCwafer)测量发现不同硅片间有20℃以上的差异。
温度是产生铝柱状突起缺陷的最主要因素,之所以缺陷数量随溅射硅片数量的增加而增加是由于连续溅射,溅射时的等离子体连续轰击工艺腔,造成工艺腔加热台温度由于散热效率不够而升高,溅射的越多,温度越高,缺陷数量越多。
3.2.4铝溅射时温度变化分析
铝柱状突起缺陷产生原因找到,影响最大的因素“温度”也找到了,现在的问题是如何控制“温度”。为了不降低设备生产效率(改变工艺条件,降低溅射速率也可以有效控制温度,但严重降低设备效率),我们从分析分析工艺腔的构造入手,寻找控制硅圆片“温度”的方法。
3.2.5硅片热源的诊断分析
溅射时的等离子体轰击,使硅片升温的主要因素。硅片加热台(waferheater)的加热作用(使硅片保持在一个稳定的温度状态),工艺时间较短时,加热硅片,但在此工艺中,硅片由于等离子的轰击作用产生的升温,远高于加热台加热的升温,此时加热台起降温作用。
3.2.6硅片散热方式
辐射散热,但工艺腔为高真空,效率很低。
通过热传导散热:
(1)加热台热传导:在加热台下方有冷却水循环,以保证加热台能够在设定的温度范围内(+/-10℃)。我们的工艺腔是普通爪式夹具加热台(Clampheater),控温能力有限,在高温厚铝溅射时对温度的控制很差(设备供应商处已有静电吸附式加热台)可以有效的控制温度,但成本高)。
(2)直接接触硅片的爪式夹具(Clamp)通过与其它部件的接触,热传导散热:在此工艺中爪式夹具也被等离子体轰击,并且材质为金属,受等离子体轰击的面积也大,升温很快,实际对硅片起加热作用。
3.2.78028型焊线机的工艺腔控温方式
工艺腔主体有独立循环冷却水,温度可以得到很好的控制。
靶材部件有独立循环冷却水,温度可以得到很好的控制。
加热台有独立循环冷却水,但在此种长时间的工艺过程中,本文中设备使用的普通爪式夹具加热台(Clampheater)无法有效控制硅圆片温度。
爪式夹具及其接触部件Clamp,无循环冷却水,完全依靠本身材料散热,温度控制差。
3.2.8故障排除办法
给爪式夹具及其部件降温是我们现在可行的方法。成本最低是我们的目标,设备人员动手改造工艺腔给爪式夹具部件中的适配器添加一路循环冷却水,通过热传导作用,降低爪式夹具部件温度,从而给硅片降温。为了确认爪式夹具部件增加循环冷却水后对铝柱状突起缺陷的影响,比较增加前后的两个批次(试验条件:连续溅射厚度为3万埃的一个批次硅片,检测第2、6、11、18、25片硅片,比较缺陷数量)硅圆片的缺陷检测结果:增加循环冷却水后,缺陷数量明显减少。爪式夹具部件增加循环冷却水后,能够有效的减少铝柱状突起缺陷。