2021-01-12 13:34:48 阅读(218)
去年年底,Facebook挖出了一位机器学习大神VladimirVapnik,它是统计学习理论和支持向量机的主要发明者。VladimirVapnik被称为统计学习理论之父。他出生于俄罗斯,1990年底移居美国。他在贝尔实验室工作到2002年,然后加入了普林斯顿NEC实验室机器学习研究小组,并担任哥伦比亚大学的特别教授。VladimirVapnik于2014年加入Facebook人工智能实验室。vladimirvapnik近日,vladimir在俄罗斯最大的搜索引擎公司Yandex大会上发表讲话,重点讨论深度学习是否以蛮力取胜。Zacharychaselipton博士,来自加州大学圣地亚哥分校,详细记录了会议内容,并整理成文章:上周,我来到柏林参加机器学习展望和应用会议。本次会议由Yandex主持,主要讨论了两个问题:deeplearning和intelligentlearning,它们经常作为比较的概念出现。虽然我也是演讲者之一,但整个会议的高潮仍然是关于深度学习的方法论,包括经验主义和数学推理之间的矛盾。第一个是关于深度学习,讨论背后的数学支持和未来的方向。问题包括模型的可解释性和医学领域的应用。周三晚上,VladimirVapnik还参与了关于知识如何在不同个体之间传递的讨论。Vladimir的哲学观跨越了机器学习、数学和智能的源头,挑战了深度学习的方法论,这是非常有争议的。事实上,今年夏天,我写了一篇文章,说机器学习的成功是大数据时代经验主义的胜利。我强调,过度拟合数据可以在真实数据中测试,但风险很大,至少比基于数学推理的系统风险要大得多。在这次会议上,我听到了Vladimir在这方面的看法。为了避免混淆视听,我不得不强调,我是一个深入学习的实践者。就我个人而言,我不否认深度学习,并尊重它的先驱和火炬手。但我也相信,我们应该对深度学习的可能性持开放的态度:一些数学模型可以更好地指出未来的发展方向,并开启新的方法论。显然,当我们咀嚼和消化这些观点时,我们可以获得很大的价值。大数据和深度学习是一种蛮力吗?尽管Vapnik当场表达了很多观点,但核心还是引用了爱因斯坦对上帝的隐喻。简单地说,Vapnik假设一个理论:想法和直觉要么来自上帝,要么来自魔鬼。不同的是,上帝是聪明的,而魔鬼往往不是。Vapnik在数学家和机器学习研究和实践者的职业生涯中得出结论:魔鬼往往来自蛮力(BruteForce)。此外,如果承认深度学习系统在解决问题时的不可思议表现,那么大数据和深度学习都有一定的蛮力味道。然而,我不同意深度学习必须等同于机器蛮力。现在我们也可以看到关于大数据的争论,其中Vapnik和Nathanintrator教授说:孩子们不需要数亿的标签样本来完成他们的学习。虽然当有大量标签数据时,学习会更容易,但如果我们依赖这种方法,我们就会错过自然界中学习的基本原则。也许,真正的学习只需要数百个样本,但现在我们只需要大量的数据来完成学习。假如我们不去探索学习的本质,那就是屈服于懒惰。我们目前的深度学习并不科学。确切地说,机器学习和核心任务是理解计算本身,而当前的方法偏离了它。这就像制作小提琴的任务,我们扮演的角色只是小提琴演奏者。虽然我们也可以创作美妙的音乐和直觉,但我们不知道小提琴是如何创作音乐的。此外,许多深度学习实践者对数据和工程有很好的感觉,但他们不知道这里发生了什么。因此,在目前的深度学习方法中,参数的调整方法仍然是一门“艺术”,而不是“过程”。我们能在算法和模型上发明一切吗?Vapnik认为,我们不能在机器学习的算法和模型中发明一切。他坚持说,为了完成这些算法模型的发明,他自己并没有那么聪明。(这似乎意味着其他人没有发明这些东西那么聪明。)根据Vapnik的意思,我们在机器学习中发明的东西是微不足道的。真正重要的是我们对数学本质的理解。就深度学习而言,模型经常被发明、品牌化和申请专利,但与真正由数学驱动的机器学习相比,这些模型非常普遍。纽约州立大学的顾险峰教授对深度学习的反思也有很多理解。顾险峰认为,深度学习方法深刻地改变了学术研究的范式。以往学者采用的观察现象、提炼规律、数学建模、模拟分析、实验检验、修正模型的研究套路被完全颠覆,被数据科学方法所取代:收集数据、培训网络、实验检验、加强培训。在新的深度学习方法下,缺乏严格的数学推理。例如,在地图四色定理的证明下,数学家将平面图的构型分为1936种,然后用计算机逐一验证。当然,在足够的计算能力下,这可以证明地图的四色定理。但在这个过程中,并没有提出新的概念,换句话说,机械蛮力取代了几何直觉。在数学史上,答案本身对于一个著名猜想的证明和答案可能并不重要。在寻找证据的过程中,简洁的概念、提出的方法和发展理论才是真正的目的。机械定理证明了命题的真实性,但不能明确提出新的概念和方法,本质上偏离了数学的真正目的。因此,这是一门“相关性”而不是“因果”的科学。在历史上,人类积累科学知识,在早期总是得到“经验公式”,但最终还是寻求更深刻、更本质的理解。例如,从炼丹到化学、量子力学的发展。人类智能最独特的是数学推理,尤其是机械定理证明机器学习方法无能为力。当人们缺乏数学推理时,仅仅依靠机器蛮力就会遇到很大的限制。
以上就是关于算法和模型上,是否能发明所有东西?的相关介绍,更多算法和模型上,是否能发明所有东西?相关内容可以咨询我们或者浏览页面上的推荐内容。我们将让你对算法和模型上,是否能发明所有东西?有更深的了解和认识。
推荐阅读
最新文章
猜你喜欢以下内容:
一 客户顾问-张三 一