人工智能现状
发布时间：2021-08-09 14:35:46 所属栏目：大数据 来源：互联网
导读：研究(幻灯片10-62) 该报告从技术方面开始：只有15%的AI论文公开了其代码的开源性，PyTorch拥有大部分的研究市场份额，并且有几所大学集团达到了十亿参数大关。此外，它还谈到了大型模型的经济和环境成本。即使硬件在改进，深度学习成本也呈指数增长。当前的S
|
研究(幻灯片10-62)
该报告从技术方面开始：只有15%的AI论文公开了其代码的开源性，PyTorch拥有大部分的"研究市场份额"，并且有几所大学集团达到了十亿参数大关。此外，它还谈到了大型模型的经济和环境成本。即使硬件在改进，深度学习成本也呈指数增长。当前的SOTA模型需要数百万美元的培训费用，更不用说调整了。
在应用方面，自然语言处理(NLP)在今年引起了大多数关注。除了自然语言处理之外，人工智能还在推动生物学和医学界不断发展的纸张繁荣。除了这两个领域之外，图神经网络(GNN)和强化学习(RL)今年也取得了突破性进展。
当然，COVID-19也已在AI社区中留下了自己的印记，并致力于该疾病的几乎所有方面。
人才(幻灯片63-81)
在论文数量不断增长的同时，离开学术界前往大型科技公司的教授数量也在不断增长，而大学正在遭受打击。为了反击，大学将重点放在专门的AI研究所和资助计划上。
国际人才流失更大。今年，有许多科学家从亚洲移居到美国进行研究，其中大多数人毕业后仍留在美国。美国对外国人才的依赖是公然的。在美国工作的AI研究人员中有70%没有接受过美国培训。这转化为出版结果。中国研究人员约占NeurIPS口头报告的29%(接受率为0.5%)。
尽管存在COVID，但AI人才需求仍然很高，并且AI课程的注册人数一直在增长。
工业(幻灯片82-129)
最大的亮点是基于AI的药物。我们已经接近AI药物进入市场的地步。这与生物学/医学论文的繁荣并驾齐驱。然而，鄙视的一点是法规和程序。当前的批准方法既不是针对AI发现的产品，也不是针对AI主导的产品，也不是针对持续改进的工作流程。
自动驾驶汽车(AV)行业面临类似的问题。尽管投入了数十亿美元，但无人驾驶汽车的立法比自动驾驶汽车本身滞后得多。部分资金将用于内部硬件，特别是定制的LiDAR技术，另一笔资金将用于自动驾驶汽车堆栈，而剩下的仍然很大程度上是手工制作的。
同时，对计算的需求激发了新的计算平台提供商和专门的AI硬件，例如Graphcore的M2000，Nvidia的DGX-A100和Google的TPUv4。同时，改进的ML基础架构和操作方面的工作也在飞速发展。
幻灯片113至129专门介绍行业成功案例。
政治(幻灯片130–170)
今年以AI的道德问题成为主流为标志，包括但不限于性别/种族偏见，警察和军事用途，面部识别，监视和伪造品。特别是，军方对AI技术的兴趣令人震惊，但并非出乎意料。
诸如NeurIPS，ICLR和Google之类的会议已经采用了新的道德规范，并且一些公司倾向于公平和隐私的理想。但是，要实现真正的变革，还有很长的路要走。芯片生产和IP所有权似乎是各国政府更加关注的问题。
政治上的流行语是AI民族主义：投资成为AI领导人和全国性AI政策的国家-主权问题。
预测(幻灯片172)
Benaich和Hogarth以2021年的预测结束了报告。它们如下(幻灯片172)：
1)建立更大语言模型的竞赛仍在继续，我们看到了第一个10万亿参数模型。
2)基于注意力的神经网络从NLP迁移到计算机视觉，以实现最先进的结果。
3)一家大型公司AI实验室因其母公司更改策略而关闭。
4)为响应美国国防部的活动和对美国军事AI初创公司的投资，在接下来的12个月里，一波以中国和欧洲国防为重点的AI初创公司合计筹集了超过1亿美元。
5)一家领先的人工智能先行药物发现初创公司(例如Recursion，Exscientia)进行首次公开募股或以超过$ 10B的价格被收购。
6)DeepMind在AlphaFold之外在结构生物学和药物发现方面取得了重大突破。
7)Facebook通过3D计算机视觉在增强现实和虚拟现实方面取得了重大突破。
8)NVIDIA最终并没有完成对Arm的收购。
尽管这些预测是针对明年的，但其中一些已经成为现实。关于(1)，微软宣布其DeepSpeed库已经具有"万亿参数模型"的功能。尽管到目前为止尚未发布任何版本，但显然要出现10万亿美元的模型之路。关于(2)，图像值16x16字朝此方向迈进。
关于(6)，除了AlphaFold，我们还有……AlphaFold 2!它的最新版本对生物学的影响与2012年AlexNet对计算机视觉的影响相同或更大。当前的媒体报道似乎是一致的。我坚信作者将在2021年将其标记为正确。
报告内容
接下来，我按照幻灯片顺序将自己的观点添加到报告结果中，并与最近发生的事件进行一些关联。请记住，该报告已于10月发布。从那以后，发生了很多事情。
研究(幻灯片10-62)
· 仅有15%的AI论文发布了他们的代码(幻灯片11)：我想知道其他计算机科学领域的百分比率。此外，并非所有代码都一样。在代码方面，由预先存在的组件构成的新体系结构不如全新实现重要。新颖的损失或优化器功能可以像嵌入式代码片段一样短。总而言之，我同意AI并不像我们想象的那样开放，但相对于计算机科学的其他领域，它仍然是相当开放的
· PyTorch在行业使用方面将超过TensorFlow(幻灯片13、14)：虽然我相信这是事实，但数据具有误导性。只有30%的论文陈述了他们的框架。许多可能仍受TensorFlow约束。此外，我发现没有显示Keras数据很奇怪(幻灯片14)。
· AI竞赛非常耗费资源(幻灯片16-24)：最近，蒂姆尼特·格布鲁(Timnit Gebru)被Google开除，因为他的论文草稿概述了训练大型语言模型的金钱和生态成本。根据她的论文，在NAS上训练的0.2bi参数的Transformer大约需要100万美元。GPT-3拥有175bi。数学看起来对地球没有任何好处。
· 这次军备竞赛不会带我们到任何地方(幻灯片16-24)：我认为，争取NLP突破的竞赛根本不会带来真正的突破。GPT-3在类固醇上几乎是GPT-2。考虑到上面提到的Microsoft DeepSpeed，我们将继续看到媒体上出现models肿的模型，并且通过这种努力在理解上不会有有意义的结果。
· 大学跟不上，还是可以?(幻灯片22)：任何AI部门都无法跟上大型技术。大学需要玩另一种游戏。小型模型研究可能以对数成本带来尽可能多的性能。但是，目前，公司是有关高效学习的领先研究者。例如，MobileNet / EfficientDet是Google的，ShuffleNet是Face ++的。
· Transformer很显眼(幻灯片29)：这些模型基于注意力机制，这是众所周知的耗电和耗资源的问题，因为给定N个元素序列，该机制为N²。有效关注是一个热门话题，但尚未有解决方案被宣布为赢家。上面提到的大多数AI成本都可以追溯到此机制。
· 生物学正在经历其"人工智能时刻"(幻灯片30)：的确如此。有了AlphaFold 2，我们可能会在这十年中看到生物学方面的重大突破，就像我们在2010年代通过AlexNet和Computer Vision看到的那样。
· 基于AI的筛查乳房X线照片(幻灯片34)：这是一篇引起争议的文章。它声称具有超人的性能，但缺乏可解释性，到目前为止，尚未发布任何代码或数据集供第三方检查和复制。这篇广为宣传的文章引起了全球研究人员的热烈响应，共同表示"透明性和可重复性在人工智能研究中的重要性。"作为一个社区，我们必须努力打破AI成为愚蠢的准确性竞赛的障碍。医生如何信任黑匣子算法?
人才(幻灯片63-81)
· 人才外流(幻灯片64)：虽然这是关于人工智能和2020年的，但我不禁要提到这种观点以美国为中心。所有提到的大学都位于美国。大脑一直在运动，特别是从发展中国家到富裕国家。恰好这次大学是"穷国"，公司是"富国"。
· 离职与企业家精神下降有关(幻灯片66)：我认为这种联系很差。市场上公司充斥着人才，缺乏人才，这对于更多公司来说是一个糟糕的环境。幻灯片73同意，因为大多数博士都是外国人，而且外国人更可能加入大公司而不是自己创业。
· 在NeurIPS(幻灯片70)上受中国教育的研究人员的贡献：与中国成为AI领导者的计划有关。
· 在美国工作的大多数顶级AI研究人员都没有在美国接受培训(幻灯片71-75)：这些幻灯片指出了一个简单的事实：美国高度依赖外国人才。大多数学生会获得博士学位并留在科技公司工作。仇外法律对美国不利。但是…
· 特朗普对美国不利(幻灯片76)：特朗普试图将移民拒之门外，却一无所获，但无疑提高了人们对美国对外国人才依赖的认识，其他寻求人工智能优势的国家可能会抓住这样的机会吸引人才来他们的大学。
工业(幻灯片82–129)
· AI优先药物发现(幻灯片83-92)：显然，与自动驾驶汽车上的所有投资相比，药物的投资收益更快。此外，与自动驾驶汽车相比，更好的药物和更大的疾病覆盖率可能对人类更有益。
· 影音公司尚处于起步阶段(幻灯片93-96)：立法目前还为时过早，而且离世界范围还很远。如果今天发布的AV完美无缺，那么几乎在任何地方都将禁止它，或者无论如何都需要驾驶员。
· 当甚至十亿美元还不够的时候(幻灯片97-106)：还会投入更多，而这仍然不够。AV是一个时间问题，而不是金钱问题。人工智能还不够成熟，我们的法律也没有为此做好准备。当前的视觉研究忽略了我们的世界是连续的。我们不需要从单个图像中检测路标。我们需要更好地汇总多个框架的结果。恕我直言，公司只是在向LiDAR和受监管的死胡同问题上倾销资金。
· 计算进展(幻灯片107-111)：新颖的硬件总是不错的。但是，我不知道堆栈的其余部分是否会保持下去。大型数据集+大型计算的问题在于准时准备下一批。计算越快(越大)，就越难以所需的速度(+数据扩充)来获取训练数据。
政治(幻灯片130–170)
· 道德风险(幻灯片131)：这需要特别注意。Timnit Gebru的最近解雇凸显了整个行业在对待道德方面有多么错误。要求大型AI技术领导AI伦理学研究就像要求石油公司领导应对全球变暖的斗争。她的解雇表明，只要公司不损害其商业模式，他们就会发挥自己的作用。这并不奇怪。考虑到美国大学与公司资金的紧密联系，很难指望它们也参与其中。 （编辑：宿州站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
