Hinton：胶囊网络的专利是我的了！

作者| 陈大鑫

昨日，Reddit上有热心网友发现深度学习之父、图灵奖得主Hinton等人为胶囊(神经)网络申请了专利，该专利于2017年12月15日提交，于今年9月10日在网上发布，目前还未正式生效，但是相信这只是时间问题。

LSTM 之父Jürgen Schmidhuber一直在怼三巨头说他们不是深度学习真正的发明人，不管事情真相如何，但是这次，Hinton可以自信地说：胶囊网络的专利是我的了！

从上面专利图示可以看出，第一发明人即是Hinton本人，其他两位发明人也均是胶囊网络最初发表在NIPS 2017上论文的共同作者：

接下来首先简单了解一下这项专利及其胶囊网络。

1

专利&胶囊网络

专利摘要:

本专利适用于为接收网络输入以及进行网络输出用到胶囊网络的神经网络方法、系统、设备，包括在计算机存储介质上编码的计算机程序。

这里说的的程序具体涵盖多大范围呢？

在专利[0112]一段有详细说明：这里的计算机程序指的是只要是任何形式任何语言，能被程序、软件、软件应用、APP、软件模块、脚本、代码等等描述出来的........

接着说网络，以上所述的神经网络包括顺序排列的多个网络层、包括多个胶囊网络层被配置为接收各个输入和输出：

1、由序列中特定胶囊网络层之前的先前胶囊网络层的胶囊生成的输出：

2、 在前一胶囊网络层的胶囊层和特定胶囊层之间的最终路由因子（routing factors），其中最终路由因子由路由子系统生成。

特定胶囊层中的每个特定胶囊被配置为基于所接收的输入确定特定胶囊输出，其中所述的特定胶囊网络层输出的尺寸大于1:

完整专利图示：

胶囊网络简述

Hinton在2017年提出了CapsNet，其设想启发自脑皮层微柱结构，旨在解决CNN的信息丢失问题。

平移对称性原本是CNN的优点，但CNN将其泛化到了物体本身，从而导致不保持相对位置的元素组合也能被识别为同一物体。

如下图所示，左边和右边都能被CNN识别为一张人脸。池化操作也会导致信息丢失，Hinton曾经说过，“卷积神经网络中使用的池化操作是一个很大的错误，它运行良好的事实是一场灾难” 。

CapsNet可以保留图像的所有信息，不仅包括位置，还有姿势、纹理等等，其中动态路由算法可以让网络的低层和高层之间更好地传递信息，保留图像局部和全局之间的关系，从而克服上图中的问题。

胶囊网络（CapsNet）包含一个编码器和一个解码器。

编码器架构：

解码器架构：

此外，添加重构分支也使得CapsNet更加鲁棒，CapsNet在MNIST上获得了很好的表现：

CapsNet内部的动态路由算法:

CapsNet的计算量更大，在MNIST上的表现更好，但是在较大的数据集比如CIFAR-10上表现明显差于CNN。

更多有关胶囊网络的介绍，请移步“Hinton AAAI2020 演讲：这次终于把胶囊网络做对了”一文。

2

AI专利回顾

谷歌AI专利

同样是Hinton，在2019年6月的时候，Hinton所在的谷歌公司为Hinton在2012 年提出的对防止过拟合有很好的效果的Dropout算法申请了专利且已经生效。

在Google Patents上Dropout专利详情页面中我们可以看到Dropout技术目前的专利权受让人（Current Assignee，即专利所有权人）归谷歌所有:

2020年6月，谷歌又申请了一项AI算法专利：《Using embedding functions with a deep network》，这一次的主要大牛是Jeffrey Dean。

Hinton本人专利

其实从网站patents.justia.com上可以看到，Hinton本人共申请了24项AI算法专利，大部分的专利受让人都是谷歌，以下是最近的两个专利，第一个便是胶囊网络：

DeepMind公布的AI专利

以下列举一些DeepMind申请过的包含RNN在内的专利，自 2016 年 9 月至 12 月期间几乎每周都有 1 份申请：

Generating Audio using neural networks

Processing sequences using convolutional neural networks

Generating video frames using neural networks

Neural networks for selecting actions to be performed by a robotic agent"

Processing text sequences using neural networks

Training action selection using neural networks

Reinforcement learning systems

Scene understanding and generation using neural networks

Recurrent neural networks

Sequence transduction neural networks

 Reinforcement learning with auxiliary tasks

 Environment navigation using reinforcement learning

以上数据来源：

https://ipkitten.blogspot.com/2018/06/deepmind-first-major-ai-patent-filings.html

3

专利相关讨论

在Reddit上，有网友质疑：

AI算法背后不就是一些数学公式吗，这也能被申请专利？

图注：胶囊网络所涉及的数学公式

而随即就有网友回复到:

一切科学和工程背后都是数学，照你这样说，大家都不用申专利了......

仔细回想一下，如果微积分也能申请专利且没有年限，那牛顿和莱布尼茨的棺材板可就真的压不住了，这俩人不得富到天上去~

害！要是真这样算起来，那发明阿拉伯数字的古印度人、二维码的发明人、互联网的发明人等等岂不是血亏......

那有靠算法专利赚到钱的吗？

谷歌的PageRank算法就是最好的例子，当然，这项专利只是铺垫，一家公司的成功涉及到的方面非常复杂，不是说单单只靠算法专利就能赚到大钱的。

2019年7 月 10 日，Google AI 负责人Jeff Dean，以及谷歌几位研究人员在日本东京有一次分享会。

在分享会现场，Jeff Dean 亲自为谷歌为多个AI算法申请专利的情况首次进行了说明，他表示：

这些AI算法的专利是防御性质的，主要是为了防止谷歌研究人员的成果被他人申请专利后进行碰瓷，这样做是为了避免产生经济损失。

Jeff Dean 明确表示：

谷歌不会利用这些专利进行盈利，也不会使用AI算法的专利来攻击别的公司。

这不禁让人想起了谷歌众所周知的不作恶原则：

令人遗憾的是，在18年的时候，谷歌因与五角大楼开展了军事合作：

所以说，谷歌不会用AI算法专利进行盈利的保证也不可一直当真，毕竟商业的本质，你懂得......

最后，AI科技评论曾在今年一月份报道过“谷歌获批GAN专利，一整套对抗训练网络被收入囊中”，其中，专利发明人有“花书”作者、GAN发明人（存疑）Ian J. Goodfellow，Szegedy, Christian，谷歌同样作为受让人拥有专利权。

南京大学人工智能学院院长周志华教授曾对此评论道：

此类算法模型工作在国内基本申请不到专利，通常被判为“智力活动不属于专利保护范围”，需要包装成一个“具体装置”才能通过，然而一旦具体到某个装置上，其保护范围呵呵。。。我国的专利审批应该跟美国对等起来，否则将来吃大亏。