前言:一篇好文章的诞生,需要你不断地搜集资料、整理思路,本站小编为你收集了丰富的卷积神经网络情感分析主题范文,仅供参考,欢迎阅读并收藏。
关键词:人机大战;人工智能;发展前景
中图分类号:TP391 文献标识码:A
0.引言
2016年3月15日,备受瞩目的“人机大战”终于落下帷幕,最终Google公司开发的“AlphaGo”以4∶1战胜了韩国九段棋手李世h。毫无疑问,这是人工智能历史上一个具有里程碑式的大事件。大家一致认为,人工智能已经上升到了一个新的高度。
这次胜利与1997年IBM公司的“深蓝”战胜国际象棋世界冠军卡斯帕罗不同。主要表现在两个方面:
(1)AlphaGo的胜利并非仅仅依赖强悍的计算能力和庞大的棋谱数据库取胜,而是AlphaGo已经拥有了深度学习的能力,能够学习已经对弈过的棋盘,并在练习和实战中不断学习和积累经验。
(2)围棋比国际象棋更加复杂,围棋棋盘有361个点,其分支因子无穷无尽,19×19格围棋的合法棋局数的所有可能性是幂为171的指数,这样的计算量相当巨大。英国围棋联盟裁判托比表示:“围棋是世界上最为复杂的智力游戏,它简单的规则加深了棋局的复杂性”。因此,进入围棋领域一直被认为是目前人工智能的最大挑战。
简而言之,AlphaGo取得胜利的一个很重要的方面就是它拥有强大的“学习”能力。深度学习是源于人工神经网络的研究,得益于大数据和互联网技术。本文就从人工智能的发展历程与现状入手,在此基础上分析了人工智能的未来发展前景。
1.人工智能的发展历程
AlphaGo的胜利表明,人工智能发展到今天,已经取得了很多卓越的成果。但是,其发展不是一帆风顺的,人工智能是一个不断进步,并且至今仍在取得不断突破的学科。回顾人工智能的发展历程,可大致分为孕育、形成、暗淡、知识应用和集成发展五大时期。
孕育期:1956年以前,数学、逻辑、计算机等理论和技术方面的研究为人工智能的出现奠定了基础。德国数学家和哲学家莱布尼茨把形式逻辑符号化,奠定了数理逻辑的基础。英国数学家图灵在1936年创立了自动机理论(亦称图灵机),1950年在其著作《计算机与智能》中首次提出“机器也能思维”,被誉为“人工智能之父”。总之,这些人为人工智能的孕育和产生做出了巨大的贡献。
形成期:1956年夏季,在美国达特茅斯大学举办了长达2个多月的研讨会,热烈地讨论用机器模拟人类智能的问题。该次会议首次使用了“人工智能”这一术语。这是人类历史上第一次人工智能研讨会,标志着人工智能学科的诞生。其后的十几年是人工智能的黄金时期。在接下来的几年中,在众多科学家的努力下,人工智能取得了瞩目的突破,也在当时形成了广泛的乐观思潮。
暗淡期:20世纪70年代初,即使最杰出的AI程序也只能解决问题中最简单的部分,发展遇到瓶颈也就是说所有的AI程序都只是“玩具”,无法解决更为复杂的问题。随着AI遭遇批评,对AI提供资助的机构也逐渐停止了部分AI的资助。资金上的困难使得AI的研究方向缩窄,缺少了以往的自由探索。
知识应用期:在80年代,“专家系统”(Expect System)成为了人工智能中一个非常主流的分支。“专家系统”是一种程序,为计算机提供特定领域的专门知识和经验,计算机就能够依据一组从专门知识中推演出的逻辑规则在某一特定领域回答或解决问题。不同领域的专家系统基本都是由知识库、数据库、推理机、解释机制、知识获取等部分组成。
集成发展期:得益于互联网的蓬勃发展、计算机性能的突飞猛进、分布式系统的广泛应用以及人工智能多分支的协同发展,人工智能在这一阶段飞速发展。尤其是随着深度学习和人工神经网络研究的不断深入,人工智能在近几十年中取得了长足的进步,取得了令人瞩目的成就。
人工智能发展到今天,出现了很多令人瞩目的研究成果。AlphaGo的胜利就是基于这些研究成果的一个里程碑。当前人工智能的研究热点主要集中在自然语言处理、机器学习、人工神经网络等领域。
2.人工智能l展现状与前景
人工智能当前有很多重要的研究领域和分支。目前,越来越多的AI项目依赖于分布式系统,而当前研究的普遍热点则集中于自然语言处理、机器学习和人工神经网络等领域。
自然语言处理:自然语言处理(Natural Language Processing,简称NLP),是语言学与人工智能的交叉学科,其主要功能就是实现让机器明白人类的语言,这需要将人类的自然语言转化为计算机能够处理的机器语言。
自然语言处理主要包括词法分析、句法分析和语义分析三大部分。词法分析的核心就是分词处理,即单词的边界处理。句法分析就是对自然语言中句子的结构、语法进行分析如辨别疑问句和感叹句等。而语义分析则注重情感分析和整个段落的上下文分析,辨别一些字词在不同的上下文定的语义和情感态度。
当前自然语言的处理主要有两大方向。一种是基于句法-语义规则的理性主义理论,该理论认为需要为计算机制定一系列的规则,计算机在规则下进行推理与判断。因此其技术路线是一系列的人为的语料建设与规则制定。第二种是基于统计学习的经验主义理论,这种理论在最近受到普遍推崇。该理论让计算机自己通过学习并进行统计推断的方式不停地从数据中“学习”语言,试图刻画真实世界的语言现象,从数据中统计语言的规律。
机器学习:机器学习(Machine Learning)是近20年来兴起的人工智能一大重要领域。其主要是指通过让计算机在数据中自动分析获得规律,从而获取“自我学习”的能力,并利用规律对未知数据进行判断和预测的方法。
机器学致可以分为有监督的学习和无监督的学习。有监督的学习是从给定的训练数据集中练出一个函数和目标,当有新的数据到来时,可以由训练得到函数预测目标。有监督的学习要求训练集同时有输入和输出,也就是所谓的特征和目标。而依据预测的结果是离散的还是连续的,将有监督的学习分为两大问题,即统计分类问题和回归分析问题。统计分类的预测结果是离散的,如肿瘤是良性还是恶性等;而回归分析问题目标是连续的,如天气、股价等的预测。
无监督学习的训练集则没有人为标注的结果,这就需要计算机去发现数据间的联系并用来分类等。一种常见的无监督学习是聚类分析(Cluster Analysis),它是将相似的对象通过静态分类的方法分成不同的组别或者是特定的子集,让同一个子集中的数据对象都有一些相似的属性,比较常用的聚类方法是简洁并快速的“K-均值”聚类算法。它基于K个中心并对距离这些中心最近的数据对象进行分类。
机器学习还包括如半监督学习和增强学习等类别。总而言之,机器学习是研究如何使用机器来模拟人类学习活动的一门学科,而其应用随着人工智能研究领域的深入也变得越来越广泛,如模式识别、计算机视觉、语音识别、推荐算法等领域越来越广泛地应用到了机器学习中。
人工神经网络:在脑神经科学领域,人们认为人类的意识及智能行为,都是通过巨大的神经网络传递的,每个神经细胞通过突出与其他神经细胞连接,当通过突触的信号强度超过某个阈值时,神经细胞便会进入激活状态,向所连接的神经细胞一层层传递信号。于1943年提出的基于生物神经元的M-P模型的主要思想就是将神经元抽象为一个多输入单输出的信息处理单元,并通过传递函数f对输入x1,x2…,xn进行处理并模拟神经细胞的激活模式。主要的传递函数有阶跃型、线性型和S型。
在此基础上,对神经网络算法的研究又有诸多进展。日本的福岛教授于1983年基于视觉认知模型提出了卷积神经网络计算模型。通过学习训练获取到卷积运算中所使用的卷积系数,并通过不同层次与自由度的变化,可以得到较为优化的计算结果。而AlphaGo也正是采用了这种深度卷积神经网络(DCNN)模型,提高了AlphaGo的视觉分类能力,也就是所谓的“棋感”,增强了其对全盘决策和把握的能力。
3.人工智能的发展前景
总体来看,人工智能的应用经历了博弈、感知、决策和反馈这几个里程碑。在以上4个领域中,既是纵向发展的过程,也是横向不断改进的过程。
人工智能在博弈阶段,主要是实现逻辑推理等功能,随着计算机处理能力的进步以及深度学习等算法的改进,机器拥有了越来越强的逻辑与对弈能力。在感知领域,随着自然语言处理的进步,机器已经基本能对人类的语音与语言进行感知,并且能够已经对现实世界进行视觉上的感知。基于大数据的处理和机器学习的发展,机器已经能够对周围的环境进行认知,例如微软的Kinect就能够准确的对人的肢体动作进行判断。该领域的主要实现还包括苹果的Siri,谷歌大脑以及无人驾驶汽车中的各种传感器等。在以上两个阶段的基础上,机器拥有了一定的决策和反馈的能力。无人驾驶汽车的蓬勃发展就是这两个里程碑很好的例证。Google的无人驾驶汽车通过各种传感器对周围的环境进行感知并处理人类的语言等指令,利用所收集的信息进行最后的决策,比如操作方向盘、刹车等。
人工智能已经渗透到生活中的各个领域。机器已经能识别语音、人脸以及视频内容等,从而实现各种人际交互的场景。在医学领域,人工智能可以实现自动读片和辅助诊断以及个性化t疗和基因排序等功能。在教育领域,机器也承担了越来越多的辅助教育,智能交互的功能。在交通领域,一方面无人车的发展表明无人驾驶是一个可以期待的未来,另一方面人工智能能够带来更加通畅和智能的交通。另外人工智能在安防、金融等领域也有非常广阔的发展前景。总之,人工智能在一些具有重复性的和具备简单决策的领域已经是一种非常重要的工具,用来帮助人们解决问题,创造价值。
参考文献
[1]阮晓东.从AlphaGo的胜利看人工智能的未来[J].新经济导刊,2016 (6):69-74.
关键词:句子相似度计算;Word2Vector;编辑距离;Edit Distance
中图分类号:TP18 文献标识码:A 文章编号:1009-3044(2017)05-0146-02
1 背景
句子的相似度计算在自然语言处理中有着十分广泛的运用。例如,机器翻译中相似性文档的判断和提取,在问答系统中相似性问题的匹配或者问题与答案之间的匹配判断等。对于这个相似度的刻画,主要分为几个不同的等级,具体为语法层面的相似度,语义层面的相似度,与语用层面的相似度。其计算难度也是层层递进。在具体的应用中,只要能达到语义层面的判断基本上就可以达到基本的需求了。目前对句子的语义层面的相似度计算方法主要有基于相同词汇的方法,使用语义词典的方法、使用编辑距离的方法,以及基于统计的方法等。其中,基于相同词汇的方法比较简单,但是其缺点也十分的明显,就是对于句子中同义词的判断存在不足。相对于基于相同词汇的方法,使用语义词典可以很好的处理句子中同义词的情形,但是语义词典也存在着需要不断地更新和维护词典库的缺点,而且如果只是单一的使用语义词典会缺乏对句子本身结构的分析,对最后的计算结果也有较大的影响。编辑距离一般使用在对句子的快速模糊匹配上,由于其规定的编辑操作有限,而且对于同义词的替换也缺乏判断,因此最后的准确率也不是很理想。本文基于编辑距离的方法,利用深度学习模型Word2Vector来增强其编辑操作的灵活程度,从而克服了单纯使用编辑距离对句子的语义理解不足的缺点。本文的第一部分主要介绍了相关的算法和基础知识。第二部分主要描述了基于Word2Vector与编辑距离的句子相似度计算方法,第三部分给出了测试结果以及对该方法的优缺点讨论,最后第四部分是结语。
编辑距离方法是指两个句子间,由一个句子转换到另一个句子所需的最少的编辑操作次数。这里的编辑操作共有“插入”、“删除”和“替换”三种。例如:
我是中国人 -> 你是中国人 (把“我”替换为“你”)
我是中国人 -> 我爱中国人 (把“是”替换为“爱”)
我是中国人 -> 是中国人(把”我”删除)
利用这种方法对两个句子进行相似度比较就像引言中分析的,其优点是简单,速度快。但是缺点也十分明显,由于编辑操作缺乏一定的灵活性,使得其无法进一步的判断语义层面的含义,比如同义词,同类、异类词等,因此,该方法适合于句子间的模糊匹配。
2.2 Word2Vector
Word2Vector是一种将词汇表示转化为空间向量的技术,主要利用了深度学习的思想对语料进行训练,通过将句子进行分词,然后将每个词汇映射成N维的向量,这样可以将两个词汇的相似度比较转化为对两个向量的相似度比较,可以利用cosine 相似度、欧氏距离等数学工具对词汇进行语义分析,其采用了一个具有三层的神经网络,并且根据词频用Huffman编码技术将相似词频词汇的隐藏层激活的内容出于大致相同的位置,如果哪个词汇出现的频率很高,那么它激活的隐藏层的数目就很少,通过这样处理可以使得计算的复杂度大幅度的降低。最后,通过Kmeans聚类方法,将相似的词向量聚在一起,最后形成了Word2Vector的词聚类模型。
Word2Vector的输出结果可以利用在NLP的很多地方,比如聚类,查找一个词的同义词,或者进行词性的分析等。
3 基于Word2Vector与编辑距离的句子相似度计算方法
3.1 问题描述
3.3 按照Word2Vector的词向量距离来定义编辑操作的系数
由Word2Vector训练好的模型会将各个词汇生成一个与其相对应的词向量,计算两个词汇对应的词向量便可以知道这两个词汇的相似度。如果值为1,说明这两个词汇完全一致,如果为0,则表示完全没有关系。
这里考虑一种情形,当利用替换操作进行两个词汇的替换时,如果两个词汇意思是相近的,那么它的替换代价会相应的低一点,反之,则会相应的高。举个例子:
我爱故宫
我爱天安门
我爱苹果
这三个句子我们可以知道1,2两句更加的接近,因为它代表的都是景点。因此待匹配的句子1应该会匹配上句子2。为了将词语的相似度考虑进去,这里引入Word2Vector的词向量来改进替换操作的系数。
假设两个词汇的向量距离为k,k∈[0,1]。考虑到k的值的大小与编辑距离的大小是相反的,这里将更新后的替换操作的系数设定为1/(1+k)。这样更新后的替换操作会根据不同词汇之间的距离发生变化,变化范围在[0.5,1]之间。而且这个值的范围不会打破编辑操作里面的平衡,即替换=插入+删除。更新后的编辑距离公式L=a+1/(1+k)*b + c。
4 实验及结果分析
为了验证改进的编辑距离算法的有效性,本文自行构造了实验所需的句子集合,本文所用的测试句子一共有400句。其中380句为来自各个不同领域类型的句子。比如,体育,娱乐,军事,文化,科技,教育等。另外20句为没有意义的干扰句。这里从380个句子中挑选100句作为参考句子,通过人工评价,比较测试结果。这里评价按照结果的质量分为3类:1、准确,2、相关,3、不相关。其中查准率P的定义如下所示:
通过实验可以发现,经过改进的编辑距离句子相似度匹配算法在准确度上有了一定的提高和改进,其中原因便是调整后的编辑距离算法将同义词近义词等通过词向量给计算出来。但是在实验中也发现了一个现象,就是相对来说判断准确的句子都是一些短小句,即长度不是很长的句子,而判断不相关的句子明显长度要更长一些。事实也是如此,当句子的长度较长时,通过分词将一个句子分为一个个短的词汇来利用词向量来理解会破坏句子的整体含义。
5 结束语
本文通过利用Word2Vector模型将词向量计算引入到编辑距离算法的编辑操作中,从而使得改进后的编辑算法对句子具有一定的语义理解能力。通过实验也比较好的验证了此方法的有效性,尤其是对近义词与同义词的理解上有了很大的提升,而算法本身的时间复杂度相较于编辑距离算法则没有改变多少。
另外,通过实验也发现,此方法对短句子的效果非常的明显,而对于一些长句则还是具有较大的误差。从对句子本身的分析角度上看,还需要通过对句子进行建模才可以达到比较好的理解匹配。
参考文献:
[1] 李彬, 刘挺, 秦兵, 等. 基于语义依存的汉语句子相似度计算[J]. 计算机应用研究, 2003, 20(12): 15-17.
[2] 孔胜, 王宇. 基于句子相似度的文本主题句提取算法研究[J]. 情报学报, 2011, 30(6): 605-609.
[3] 贾明静, 董日壮, 段良涛. 问句相似度计算综述[J]. 电脑知识与技术: 学术交流, 2014 (11): 7434-7437.
[4] 贾熹滨, 李宁, 靳亚. 用于文本情感极性分析的动态卷积神经网络超限学习算法[J]. 北京工业大学学报, 2017, 43(1): 28-35.
[5] Xu G, Cao Y, Zhang Y, et al. TRM: Computing Reputation Score by Mining Reviews[J]. 2015.
[6] 万翔, 刘挺, 秦兵, 等. 基于改进编辑距离的中文相似句子检索[J]. 高技术通讯, 2004, 14(7): 15-19.
[7] 汪卫明, 梁东莺. 基于语义依存关系匹配的汉语句子相似度计算[J]. 深圳信息职业技术学院学报, 2014 (1): 56-61.
[8] 裴婧, 包宏. 汉语句子相似度计算在 FAQ 中的应用[J]. 计算机工程, 2009, 35(17): 46-48.