何为 Dropout?
但凡是接触过机器学习的人士,一定知道 Dropout。它是在进行深度学习、训练神经网络时,普遍会用到的方法,也是调参的一种手段,可以有效防止过拟合。由 Hinton 在 2012 年的论文《Improving neural networks by preventing co-adaptation of feature detectors》中提出。
而在随后 Alex 和 Hinton 的论文《ImageNet Classification with Deep Convolutional Neural Networks》中,则用 Dropout 算法来防止过拟合。论文中的 AlexNet 网络模型瞬间引爆神经网络应用热潮,并赢得了 2012 年图像识别大赛冠军,使得 CNN 成为图像分类上的核心算法模型。
而 Dropout 在这里面,就起到了训练深度神经网络的一种 trick 供选择这一重要作用。简单来讲:在前向传播过程中,Dropout 让某个神经元的激活值以一定的概率 p 停止工作,通过取各种网络的平均来提升模型的稳定性,从而有效的缓解过拟合现象,并在一定程度上达到正则化的效果。
而且对于机器学习来说,一旦模型过拟合,那么该模型几乎不能用。因此,这一方法在很早的时候,就被广泛的运用在机器学习领域中。
Dropout 申请专利
在谷歌申请专利的介绍中,他们把 Dropout 称为——《解决神经网络过拟合的系统与方法》。我们可以在 Google Patents (https://patents.google.com/patent/US9406017B2/en)上看到这项技术的专利详情页面。
通过摘要,我们大致可以了解到关于 Dropout 的这几点:
Dropout 是一个用来训练神经网络的系统;
其中网络某些层上的特征检测器都连着一个开关;
在每个训练场景下,这些开关会随机关闭部分特征检测器;
而这些训练场景下的权重会被归一化,最终将神经网络应用在测试集上。
从图中右上角,我们可以看到该技术发明者包括:Geoffrey E. Hinton、Alexander Krizhevsky、Ilya Sutskever、Nitish Srivastva;而目前的专利权受让人(Current Assignee)是谷歌。
Dropout 的影响
综上所述,当 Dropout 这一普遍且通用的方法成为了专利,虽然它非常简单,但此举就好比加法成为了个人专利,这势必会为整个行业带来大的扰动。
这一方法在将来的使用中,是否存在法律风险?谷歌会对该专利作出怎样的限制?这些限制将给学术研究与合作带来怎样的结果?对于国内外的相关企业又有什么影响?......这些问题不免引起大家的关注与思考。
消息发出后,reddit 上就针对这件事进行了热烈的讨论:
其中讨论得最多的问题就是——以后我们是否还能够自由使用 Dropout?
针对这一问题,有人认为谷歌不会强制执行专利许可,就像他们之前的“使用深度神经网络处理图像”专利一样,也没有强制执行;
也有人持有相反的态度,并且将关注点落在了企业层面,认为这一专利申请,势必会影响一大部分年轻的机器学习公司。因为谷歌可以对其专利代码被使用,随时提出诉讼,而对公司造成消极影响;
还有持辩证态度的群众,他总结到这个事情的影响视个人情况而定。如果你是机器学习相关的公司负责人,这件事的就会对公司利益造成损害;如果你与谷歌有利益纠纷,走法律程序前三思,因为你很可能会被谷歌公司以专利侵权返告;但如果你是谷歌的专利律师,那恭喜,估计世界上也没有能难到你的案件了!
知乎上,一位知友也发表了自己的看法——
还有网友表示我们不应该指责谷歌,应该指责专利制度;正如有句话所说“不要怪玩家,要怪就怪制定游戏规则的人。”不过,在事情还没有任何定论之前,我们也只能持观望态度,毕竟专利设置之初,其本意是用来鼓励和保护发明创造的,从过去的一些专利申请来看,它确实也起到了相应的作用,也维护了很多发明者自身的利益。
当然,我们也希望如大部分乐观网友所说,谷歌的行为只是单纯为了维护自身利益;而 Dropout 专利申请生效事件,也不会为学术圈乃至整个行业带来任何消极影响。
声明: 此文观点不代表本站立场;转载须要保留原文链接;版权疑问请联系我们。