2021-01-06 14:22:45 阅读(205)
(1)20世纪90年代末,神经网络研究遇到的困难不仅缓慢,而且缓慢。除了计算速度的因素外,传统神经网络的反向传播算法在捕捉昆虫时极其困难。一个基本问题叫做所谓的vanishingradientproblem(梯度消失问题).1991年,这个问题,德国学者Sepphochreiter首次明确提出并澄清了原因。简单地说,成本函数(costfunction)当从输出层反向传播时,梯度衰减速度非常快,学习速度变得非常慢,神经网络很容易停滞在局部最优解决方案中,无法自拔。这就像原始部落的小混混,山上没有老虎,称霸当地国王很舒服。然而,任何关于“外部世界非常美好”的信息都被落后的层层沟通机制中的噪音所淹没。小混混一辈子都很开心,没有意识到外面的世界有多大,也从来没有想过出去看看更多.(2)支持向量机(SVM)图像和语音识别技术的成功使神经网络的研究再次陷入低潮.SVM理论上更加严谨完整,结果重复性好,启动简单,受到主流学术界的追捧。学术界的共识是,多层神经网络的计算模型实际效果差,完全没有前途。这是一条死胡同。到本世纪初,这种情况变得如此糟糕,以至于当任何论文发送到学术期刊时,研究人员都不敢使用“神经网络”这个词,以免被粗暴地拒绝。2003年,GeoffreyHinton,还在多伦多大学,在神经网络领域努力工作。一位56岁的穷教授从事了30多年没有前途的研究,不得不绞尽脑汁申请研究资金。他不是卢瑟(loser),2003年卢瑟在温哥华大都会酒店,以Hinton为首的15位来自世界各地的不同专业的科学家,加拿大先进研究院(CanadanInstitueoFAdvancedResearch,基金管理负责人,简称CIFAR,MelvinSilverman谈话.Silverman问大家,CIFAR为什么要支持他们的研究项目?计算神经科学研究者,SebastianSung(现为普林斯顿大学教授),“哦,因为我们有点奇怪。如果CIFAR想跳出自己的舒适区,寻找一个高风险、高度探索性的群体,就应该资助我们!最后,CIFAR同意从2004年开始资助这个团体十年,总额1000万加元.CIFAR成为当时世界上唯一支持神经网络研究的机构。毫不夸张地说,如果没有2004年CIFAR的财政支持,人类可能会在黑暗中探索人工智能研究几年.Hinton很快就获得了资金支持,做了第一件事,就是先换个牌坊。两千多年前,刘三改名换姓,叫什么“汉高祖”?.鉴于“神经网络”口碑不好,Hinton也改名,改姓,称为“深度学习”(DeepLearning)了.Hinton的同事们,从那以后,不时听到他突然在办公室大喊大叫,“我知道人脑是怎么工作的!”.(3)2006年,Hinton与合作伙伴发表论文,“Afastalgorithmfordeepbeliefnets"(深信度网络的快速算法).在这篇论文中,Hinton算法的核心是借用统计力学中“玻尔兹曼分布”的概念(一个颗粒处于某种状态的概率与该状态的能量指数成反比,与其温度的倒数指数成反比),使用所谓的“限制玻尔兹曼机”(RBM)来学习.RBM引入了统计力学中常用的概率工具。在20世纪70年代,概率和不确定性正是主流人工智能研究人员所讨厌的.RBM相当于两层网络,同一层神经元不能连接(所以称为“限制”),对神经网络实现“无监督训练”(unsupervisedtraining).深信度网络是几层RBM叠加在一起。除去技术细节,RBM可以从输入数据中进行预训练,找到重要的特征,有效初始化神经网络连接的权重。这是一种特征提取器(featureextractor)神经网络,又称自动编码器(autoencoder).经过RBM预训练初始化后的神经网络,然后用反向传播算法进行微调,效果会更好.Hinton后来指出,深度学习的突破,除了计算蛮力的显著提高外,聪明有效地初始化网络链接权重也是一个重要原因.在Hinton的论文中,经过6万个MNIST数据库的图像培训,1万个测试图像的识别错误率最低降至1.25%.虽然这还不足以改变主流学术界的观点,但深度学习的发展已经看到了曙光.
以上就是关于深度学习和深信度网络是什么?的相关介绍,更多深度学习和深信度网络是什么?相关内容可以咨询我们或者浏览页面上的推荐内容。我们将让你对深度学习和深信度网络是什么?有更深的了解和认识。
推荐阅读
最新文章
猜你喜欢以下内容:
一 客户顾问-张三 一