今年3月，Gary Marcus（加里·马库斯）提出「深度学习撞墙」这个观点后，在人工智能学界激起千层浪。 当时，就连深度学习三巨头都坐不住了，先是Geoffrey Hinton在一期播客中驳斥了这个观点。 紧接着6月，Yann LeCun撰写了一篇文章对此作出了回应，并指出别把一时困难当撞墙。 现在，马库斯在美国NOEMA杂志发表了一篇题为「Deep Learning Alone Isn’t Getting Us To Human-Like AI」的文章。 同样，他依旧没有改变自己的观点——仅靠深度学习并不能实现类人智能。 并提出，当前人工智能主要集中在深度学习上的研究，是时候该重新考虑一下了。 近70年来，人工智能领域中最根本的争论就是：人工智能系统是否应该建立在「符号操作」上 ，还是应该建立在类脑的「神经网络」系统之上。 其实，这里还有第三种可能性：混合模型 ——将神经网络的深度学习与符号操作的强大抽象能力相结合。 LeCun近期在NOEMA杂志发表的文章「What AI Can Tell Us About Intelligence」同样探讨了这个问题，但是马库斯指出他的文章看似清晰，但又有明显缺陷，即前后逻辑矛盾。 这篇文章开头，他们拒绝混合模型，但文章最后又承认混合模型的存在，并提到它是一种可能的前进方式。
神经网络和符号操作的混合模型
马库斯指出，LeCun和Browning的观点主要是「如果一个模型学会了符号操作，它就不是混合的」。 但机器学习的问题是一个发展的问题（系统是如何产生的？） 而系统一旦发展起来如何运作是一个计算问题（例如，它使用一种机制还是两种机制？），即「任何利用了符号和神经网络两者的系统都是混合模型」。 也许他们真正想说的是，人工智能很可能是一种学习的混合体，而不是天生的混合体。但学习的混合体仍然是混合体。 而马库斯的观点是，「符号操作本身就是与生俱来的，或者有另外一种东西是与生俱来的，这种东西间接促成了符号操作的产生」。 所以我们的研究重心应当放在如何发现这个间接促成符号操作的介质上。 即提出了假设，只要我们能弄清楚是什么介质让系统达到可以学习符号抽象的程度，我们就能构建利用世界上所有知识的系统。 接下来，马库斯引经据典，梳理了人工智能领域关于符号操作和神经网络辩论的历史。 早期的人工智能先驱如Marvin Minsky、John McCarthy认为符号操作是唯一合理的前进方式。 而神经网络先驱Frank Rosenblatt则认为，AI建立在神经节点叠加并处理数字输入的结构上表现可能会更好。 事实上，这两种可能性并不相互排斥。 AI所使用的神经网络并不是字面上的生物神经元网络，相反，它是一个简化的数字模型，它具备一些人类大脑的特性，但复杂性很小。 原则上，这些抽象符号可以以许多不同的方式连接起来，其中一些可以直接实现逻辑和符号操作。 Warren S. McCulloch 和 Walter Pitts在1943年发表的A Logical Calculus of the Ideas Inmanent in Nervous Activity，明确承认了这种可能性。 其他人包括1950 年代的 Frank Rosenblatt 和 1980 年代的 David Rumelhart 和 Jay McClelland，提出了神经网络作为符号操作的替代方案。Geoffrey Hinton 也普遍支持这一立场。 然后马库斯又接连把LeCun、Hinton和Yoshua Bengio等图灵奖获得者cue了个遍。 意思是光我说了不算，其他大佬都这么说的！ 时间来到2015年，LeCun、Bengio和Hinton在Nature上写了一篇关于深度学习的宣言式论文。 这篇文章以对符号的攻击结束，认为「需要新的范式来通过对大向量的操作来取代基于规则的符号表达式操作」。 事实上，Hinton 非常确信符号是一条死胡同，同年他在斯坦福大学发表了一个名为「以太符号」的演讲——将符号比作科学史上最大的错误之一。 上世纪80年代，他的两位前合作者 Rumelhart 和 McClelland 也提出了类似的论点，他们在 1986 年的一本著名著作中辩称，符号不是「人类计算的本质」，引发了大辩论。 马库斯称，2018年他写了一篇文章为符号操作辩护时，LeCun不加解释地否定了他关于混合AI的论点，在 Twitter上将其斥为「大部分错误的观点」。 然后又说，两位著名的深度学习领域的大牛也表示支持混合 AI。
Andrew Ng在3月表示支持此类系统。Sepp Hochreiter——LSTMs 的共同创造者，领先的学习序列深度学习架构之一，也做了同样的事情，他在四月公开表示，最有希望的广泛人工智能方法是神经符号人工智能。
