人工智能、机器学习、神经网络和深度学习的发展历程

人工智能、机器学习、神经网络和深度学习的发展历程
2021年12月23日 19:37 脑科技网braintech

“学习任何领域,了解总是第一步,而认识该领域的发展历程是了解一个领域十分有效的方法。”这一期跟大家分享人工智能、机器学习、神经网络和深度学习的发展历程。

一、人工智能的发展历程

人工智能从诞生至今,经历了一次又一次的繁荣与低谷,其发展历程大体上可以分为推理期、知识期和学习期。

人工智能的发展经历了很长时间的历史积淀,早在1950年,阿兰·图灵就提出了图灵测试机,大意是将人和机器放在一个小黑屋里与屋外的人对话,如果屋外的人分不清对话者是人类还是机器,那么这台机器就拥有像人一样的智能。

1、推理期

1956年达特茅斯会议之后的十几年里人工智能迎来了第一次高峰,大部分早期研究员都通过人类的经验,基于逻辑或事实归纳出来一些规则,然后通过编写程序来让计算机完成一个任务。

在这段长达十余年的时间里,计算机被广泛应用于数学和自然语言领域,用来解决代数、几何和英语问题。这让很多研究者看到了机器向人类智能发展的希望,比如1959年,第一台工业机器人诞生;1964年,首台聊天机器人也诞生了。甚至在当时,有很多学者认为:“二十年内,机器将能完成人能做到的一切。”

但随着研究的深入,研究者意识到这些推理规则过于简单,对项目难度评估不够,人工智能的研究开始陷入低谷还让大家对人工智能的前景蒙上了一层阴影。与此同时,社会舆论的压力也开始慢慢压向人工智能这把,导致很多研究经费被转移到了其他项目上。

在当时,人工智能面临的技术瓶颈主要是三个方面。第一,计算机性能不足,导致早期很多程序无法在人工智能领域得到应用;第二,问题的复杂性,早期人工智能程序主要是解决特定的问题,因为特定的问题对象少,复杂性低,可一旦问题上升维度,程序立马就不堪重负了;第三,数据量严重缺水,在当时不可能找到足够大的数据库来支撑程序进行深度的学习,这很容易导致机器无法获取足够量的数据进行智能化。

2、知识期

到了70年代,研究者意识到知识对于人工智能系统的重要性。特别是对于一些复杂的任务,需要专家来构建知识库。在这一时期,出现了各种各样的专家系统,并在特定的专业领域取得了很多成果。

专家系统可以简单理解为“知识库+推理机”,是一类具有专门知识和经验的计算机智能程序系统。专家系统一般采用知识表示和知识推理等技术来完成通常由相关领域专家才能解决的复杂问题,因此专家系统也被称为基于知识的系统。

1980年,卡内基梅隆大学设计出了第一套专家系统—XCON。从这时起,机器学习开始兴趣,各种专家系统开始被人们广泛使用。不幸的是,随着专家系统的应用领域越来越广,问题也逐渐暴露了出来。专家系统应用有限,且经常在常识性问题上出错,因此人工智能迎来了第二个寒冬。

3、学习期

对于人类的很多智能行为比如语言理解、图像理解等,我们很难知道其中的原理,也无法描述这些智能行为背后的“知识”。也就导致了很难通过知识和推理的方式来实现这些行为的智能系统。为了解决这类问题,研究者开始重点转向让计算机从数据中自己学习。事实上,“学习”本身也是一种智能行为,从人工智能的萌芽时期开始,就有一些研究者尝试让机器来自动学习,即机器学习(Machine Learning)。

1997年,IBM公司的“深蓝”计算机战胜了国际象棋世界冠军卡斯帕罗夫,这成为了人工智能史上一个重要里程碑。之后,人工智能开始平稳向上的发展。

2006年,李飞飞教授意识到专家学者在研究算法的过程中忽视了“数据”的重要性,于是开始带头构建大型图像数据集—ImageNet,图像识别大赛由此拉开帷幕。同年,由于人工神经网络的不断发展,“深度学习”的概念被提出,之后,深度神经网络和卷积神经网络开始不断映入人们的眼帘。深度学习的发展又一次掀起人工智能的研究狂潮,这一狂潮至今仍在持续。

二、机器学习的发展历程

机器学习实际上已经存在了几十年或者也可以认为存在了几个世纪。追溯到17世纪,贝叶斯、拉普拉斯关于最小二乘法的推导和马尔科夫链,这些构成了机器学习广泛使用的工具和基础。

自1950年阿兰·图灵提出图灵测试机,到21世纪有深度学习的实际应用,机器学习有了很大的进展。从上世纪50年代研究机器学习以来,不同时期的研究途径和目标并不相同,可以划分为四个阶段。

1、知识推理期

知识推理期起始于20世纪50年代中期,这时候人们以为只要能赋予机器逻辑推理能力,机器就能具有智能。这一阶段的代表性工作有赫伯特·西蒙和艾伦·纽厄尔实现的自动定理证明系统Logic Therise证明了著名数学家罗素和怀特海的名著—《数学原理》中的全部52条定理,并且其中一条定理甚至比罗素和怀特海证明得更巧妙。

然而随着研究向前发展,人们逐渐认识到,仅具有逻辑推理能力是远远实现不了人工智能的,要使机器具有智能,就必须设法使机器具有知识。

2、知识工程期

从20世纪70年代中期开始,人工智能进入知识工程期。这一时期大量专家系统问世,在很多应用领域取得了大量成果,费根鲍姆作为知识工程之父在1994年获得了图灵奖。由于人工无法将所有知识都总结出来教给计算机系统,所以这一阶段的人工智能面临知识获取的瓶颈。

这个时期主要研究将各个领域的知识植入到系统里,在本阶段的目的是通过机器模拟人类学习的过程。同时还采用了图结构及其逻辑结构方面的知识进行系统描述,在这一研究阶段,主要是用各种符号来表示机器语言。在此期间,人们从学习单个概念扩展到学习多个概念,探索不同的学习策略和学习方法,且在本阶段已开始把学习系统与各种应用结合起来,并取得了很大的成功。同时,专家系统在知识获取方面的需求也极大地刺激了机器学习的研究和发展。

3、归纳学习期

1980年夏,在美国卡耐基梅隆大学举行了第一届机器学习研讨会(IWML);1983年Tioga出版社出版了R.S.Michalski、J.G.Carbonell和T.Mitchell主编的《机器学习:一种人工智能途径》,对当时的机器学习研究工作进行了总结;1986年,第一本机器学习专业专刊Machine Learning创刊;1989年,人工智能领域的权威期刊Artificial Intelligence出版机器学习专辑,刊发了当时一些比较活跃的研究工作。总的来看,20世纪80年代是机器学习成为一个独立的学科领域、各种机器学习技术百花初绽的时期。

20世纪80年代以来,被研究最多、应用最广的是“从样例中学习”,即从训练样例中归纳出学习结果,也就是广义的归纳学习,它涵盖了监督学习和无监督学习等。

在20世纪80年代,“从样例中学习”的一大主流是符号主义学习,其代表包括决策树和基于逻辑的学习。典型的决策树学习以信息论为基础,以信息熵的最小化为目标,直接模拟了人类对概念进行判定的树形流程;基于逻辑的学习的著名代表是归纳逻辑程序设计,可以看做机器学习与逻辑程序设计的交叉,它使用一阶逻辑(即谓词逻辑)来进行知识表示,通过修改和扩充逻辑表达式(例如Prolog表达式)来完成对数据的归纳。符号主义学习占据主流地位与整个人工智能领域的发展历程是分不开的。

20世纪90年代中期之前,“从样例中学习”的另一主流技术是基于神经网络的连接主义学习。连接主义学习在20世纪50年代取得了大发展,但因为早期的很多人工智能研究者对符号表示有特别偏爱,所以当时连接主义的研究未被纳入人工智能主流研究范畴。1983年,霍普菲尔德利用神经网络求解“流动推销员问题”这个著名的NP难题取得重大进展,使得连接主义重新受到人们关注。1986年,著名的BP算法诞生,产生了深远的影响。

20世纪90年代中期,统计学习出现并迅速占据主流舞台,代表性技术是支持向量机(SVM)以及更一般的“核方法”。这方面的研究早在20世纪60年代就已经开始,统计学习理论在那个时期也已打下了基础,但直到90年代中期统计学习才开始成为机器学习的主流。一方面是由于有效的支持向量机算法在90年代初才被提出,其优越性能到90年代中期在文本分类应用中才得以显现;另一方面,正是在连接主义学习技术的局限性凸显之后,人们才把目光转向了以统计学习理论为直接支撑的统计学习技术。在支持向量机被普遍接受后,核技巧被人们用到了机器学习的几乎每一个角落,核方法也逐渐成为机器学习的基本内容之一。

4、深度学习

21世纪初,连接主义学习又卷土重来,掀起了以“深度学习”为名的热潮。2006年,深度学习概念被提出。2007年,希尔顿发表了深度信念网络论文,本吉奥等人发表了逐层训练方法的论文—《Greedy Lay-Wise Training of Deep Networks》,扬·勒丘恩团队发表了《Efficient Learning of Sparse Representations with an Energy-Based Model》论文,这些时间标志着人工智能正式进入了深层神经网络的实践阶段。同时,云计算和GPU并行计算为深度学习的发展提供了基础保障,特别是最近几年,机器学习在各个领域都取得了突飞猛进的发展。

新的机器学习算法面临的主要问题更加复杂,机器学习的应用领域从广度向深度发展,这对模型训练和应用都提出了更高的要求。随着人工智能的发展,冯·诺依曼式的有限状态机和理论基础越来越难以应对目前神经网络中层数的要求,这些都对机器学习提出了挑战。

三、神经网络和深度学习的发展历程

1、前言

在介绍神经网络和深度学习起源之前,首先介绍一下人类大脑是怎么工作的。1981年的诺贝尔医学奖,分发给了David Hubel、Torsten Wiesel和Poger Sperry。前两位的主要贡献是发现了人的视觉系统的信息处理是分级的。如下图所示,从视网膜(Retina)出发,经过低级的V1区提取边缘特征,到V2区形成基本形状或目标的局部,再到高层V4形成整个目标(如判定为一张人脸),以及到更高层的PFC(前额叶皮层)进行分类判断等。从视觉处理机制可以看出高层的特征是低层特征的组合,从低层到高层的特征表达越来越抽象和概念化。

这个发现激发了人们对于神经系统的进一步思考。大脑的工作过程是一个对接收信号不断迭代、不断抽象概念化的过程。例如,从原始信号摄入开始(瞳孔摄入像素),接着做初步处理(大脑皮层某些细胞发现边缘和方向),然后抽象(大脑判定眼前物体的形状,比如是椭圆形),然后进一步抽象(大脑进一步判定该物体是一张人脸),最后识别人脸。这个过程其实和我们的常识是相吻合的,因为复杂的图形往往就是由一些基本结构组合而成的。同时还可以看出:大脑是一个深度架构,认知过程也是深度的。

而深度学习,恰恰就是通过组合低层特征形成更加抽象的高层特征(或属性类别)。例如,在计算机视觉领域,深度学习算法从原始图像去学习得到一个低层次表达,例如边缘检测器、小波滤波器等,然后在这些低层次表达的基础上,通过线性或者非线性组合,来获得一个高层次的表达。此外,不仅图像存在这个规律,声音也是类似的。

2、起源阶段

1943年,心理学家麦卡洛克和数学逻辑学家皮兹发表论文《神经活动中内在思想的逻辑演算》,提出了MP模型。MP模型是模仿神经元的结构和工作原理,构成出的一个基于神经网络的数学模型,本质上是一种“模拟人类大脑”的神经元模型。MP模型作为人工神经网络的起源,开创了人工神经网络的新时代,也奠定了神经网络模型的基础。当时提出MP模型是希望能够用计算机来模拟人的神经元反应的过程,该模型将神经元的工作过程简化为了三部分:输入信号线性加权,求和,非线性激活(阈值法)。如下图所示:

1945年冯·诺依曼领导的设计小组试制成功存储程序式电子计算机,标志着电子计算机时代的开始。1948年,他在研究工作中比较了人脑结构与存储程序式计算机的根本区别,提出了以简单神经元构成的再生自动机网络结构。但是,指令存储式计算机技术的发展非常迅速,迫使他放弃了神经网络研究的新途径,继续投身于指令存储式计算机技术的研究,并在此领域作出了巨大贡献。虽然,冯·诺依曼的名字是与普通计算机联系在一起的,但他也是人工神经网络研究的先驱之一。

1949年,加拿大著名心理学家唐纳德·赫布在论文《The organization of behavior》中提出了神经心理学理论。赫布认为神经网络的学习过程最终是发生在神经元之间的突出部位,突触的连接强度随着突触前后神经元的活动而变化,变化的量与两个神经元的活性之和成正比。然后在《行为的组织》中提出了一种基础无监督学习的规则—赫布学习规则(Hebb Rule)。赫布规则模仿人类认知世界的过程建立一种“网络模型”,该网络模型针对训练集进行大量的训练并提取训练集的统计特征,然后按照样本的相似程度进行分类,把相互之间联系密切的样本分为一类,这样就把样本分成了若干类。赫布规则与“条件反射”机理一致,为以后的神经网络学习算法奠定了基础,具有重大的历史意义。

20世纪50年代末,在MP模型和赫布学习规则的研究基础上,美国科学家罗森布拉特发现了一种类似于人类学习过程的算法—感知机学习。并于1958年,正式提出了由两层神经元组成的神经网络,称之为感知器(Perceptron)。感知器本质上是一种线性模型,可以对输入的训练集数据进行二分类,且能够在训练集中自动更新权值。感知器的提出引起了大量科学家对人工神经网络研究的兴趣,对神经网络的发展具有里程碑式的意义。

在1969年,马文·明斯基和西蒙·派珀特共同编写了一本书籍《感知器》,在书中他们证明了单层感知器无法解决线性不可分问题(例如:异或问题)。由于这个致命的缺陷以及没有及时推广感知器到多层神经网络中,在20世纪70年代,人工神经网络进入了第一个寒冬期,人们对神经网络的研究也停滞了将近20年。

3、发展阶段

真理的果实总是垂青于能够坚持研究的科学家。尽管人工神经网络ANN的研究陷入了前所未有的低谷,但仍有为数不多的学者致力于ANN的研究。

1982年,著名物理学家约翰·霍普菲尔德发明了Hopfield神经网络。Hopfield神经网络是一种结合存储系统和二元系统的循环神经网络。Hopfield网络也可以模拟人类的记忆,根据激活函数的选取不同,有连续型和离散型两种,分别用于优化计算和联想记忆。但由于容易陷入局部最小值的缺陷,该算法并未在当时引起很大的轰动。

1984年,辛顿与年轻学者谢诺夫斯基等合作提出了大规模并行网络学习机,并明确提出隐藏单元的概念,这种学习机后来被称为玻尔兹曼机(Boltzmann machine)。他们利用统计物理学的概念和方法,首次提出的多层网络的学习算法,称为玻尔兹曼机模型。

由神经网络之父杰弗里·辛顿在1986年发明了适用于多层感知器(MLP)的BP算法(BackPropagation),并采用了Sigmoid函数进行非线性映射,有效解决了非线性分类和学习的问题。BP算法引起了神经网络的第二次热潮,其在传统神经网络正向传播的基础上,增加了误差的反向传播过程。反向传播过程不断地调整神经元之间的权值和阈值,直到输出的误差达到减小到允许的范围之内,或达到预先设定的训练次数为止。BP算法完美的解决了非线性分类问题,让人工神经网络再次引起了人们广泛的关注。

1991年BP算法被指出存在梯度消失问题,也就是说在误差梯度后向传递的过程中,后层梯度以乘性方式叠加到前层,由于Sigmoid函数的饱和特性,后层梯度本来就小,误差梯度传到前层时几乎为0,因此无法对前层进行有效的学习,该问题直接阻碍了深度学习的进一步发展。

此外90年代中期,支持向量机算法诞生(SVM算法)等各种浅层机器学习模型被提出,SVM也是一种有监督的学习模型,应用于模式识别,分类以及回归分析等。支持向量机以统计学为基础,和神经网络有明显的差异,支持向量机等算法的提出再次阻碍了深度学习的发展。

4、崛起阶段

2006年,杰弗里·辛顿以及他的学生鲁斯兰·萨拉赫丁诺夫正式提出了深度学习的概念。他们在世界顶级学术期刊《Science》发表的一篇文章中详细的给出了“梯度消失”问题的解决方案——通过无监督的学习方法逐层训练算法,再使用有监督的反向传播算法进行调优。该深度学习方法的提出,立即在学术圈引起了巨大的反响,斯坦福大学、纽约大学、加拿大蒙特利尔大学等成为研究深度学习的重镇,至此开启了深度学习在学术界和工业界的浪潮。

2011年,ReLU激活函数被提出,该激活函数能够有效的抑制梯度消失问题。2011年以来,微软首次将DL应用在语音识别上,取得了重大突破。微软研究院和Google的语音识别研究人员先后采用深度神经网络DNN技术降低语音识别错误率至20%~30%,是语音识别领域十多年来最大的突破性进展。

2012年,DNN技术在图像识别领域取得惊人的效果,在ImageNet评测上将错误率从26%降低到15%。在这一年,DNN还被应用于制药公司的DrugeActivity预测问题,并获得世界最好成绩。2012年,在著名的ImageNet图像识别大赛中,杰弗里·辛顿课题组为了证明深度学习的潜力,首次参加ImageNet图像识别比赛,其通过构建的CNN网络AlexNet一举夺得冠军,且碾压第二名(SVM方法)的分类性能。也正是由于该比赛,CNN吸引到了众多研究者的注意。深度学习算法在世界大赛的脱颖而出,也再一次吸引了学术界和工业界对于深度学习领域的注意。

随着深度学习技术的不断进步以及数据处理能力的不断提升,2014年,Facebook基于深度学习技术的DeepFace项目,在人脸识别方面的准确率已经能达到97%以上,跟人类识别的准确率几乎没有差别。这样的结果也再一次证明了深度学习算法在图像识别方面的一骑绝尘。

2016年3月,由谷歌(Google)旗下DeepMind公司开发的AlphaGo(基于深度学习算法)与围棋世界冠军、职业九段棋手李世石进行围棋人机大战,以4比1的总比分获胜;2016年末2017年初,该程序在中国棋类网站上以“大师”(Master)为注册帐号与中日韩数十位围棋高手进行快棋对决,连续60局无一败绩。

2017年,基于强化学习算法的AlphaGo升级版AlphaGo Zero横空出世。其采用“从零开始”、“无师自通”的学习模式,以100:0的比分轻而易举打败了之前的AlphaGo。除了围棋,它还精通国际象棋等其它棋类游戏,可以说是真正的棋类“天才”。此外在这一年,深度学习的相关算法在医疗、金融、艺术、无人驾驶等多个领域均取得了显著的成果。所以,也有专家把2017年看作是深度学习甚至是人工智能发展最为突飞猛进的一年。

5、神经网络和深度学习发展史上的里程碑

本文转自微信号:壹脑云

作者:袅袅

校对:喵君姐姐、Ting Zhang

财经自媒体联盟更多自媒体作者

新浪首页 语音播报 相关新闻 返回顶部