他们都在谈论GPT 3和阿尔法折叠 2020年没有其他AI技术突破？
小茶雷老师来自奥菲寺
量子报告| QbitAI，微信官方账号
2020年在紧张的防疫工作中悄然过去。这一年，人工智能从未停止前进。
今年人工智能行业有哪些新发展？你为全球疫情做出了哪些贡献？明年会是什么趋势？数据科学社区Analytics Vidhya总结了这一点。
报道称，2020年是大跃进年。从OpenAI的GPT-3到AlphaFold，这是一个令人兴奋的成就。与此同时，数据科学在机器学习、自然语言处理(NLP)、计算机视觉等领域蓬勃发展。
让我们逐一看看2020年的突破性技术：
自然语言处理
最大语言模型GPT-3
今年2月，微软发布了全球最大的深度学习模型，170亿参数的图灵NLP，几个月后被GPT-3远远超越。
GPT-3是一个具有1750亿个参数的自然语言深度学习模型。它还收集了常用爬虫和维基百科的数据集，总数据集是之前发布的GPT 2号的116倍，是目前为止最大的训练模型。
作为GPT-2的升级版，它们的功能有何异同？
虽然都是基于Transformer，但是修改初始化、预规范化、可逆标注的性能都是一样的。
但是，它们的变压器类型不同。GPT-3使用了类似于稀疏变换的东西，并在每一层中应用交替密集和局部带状的稀疏注意模式。
GPT-3也完美地弥补了BERT的两个缺点，因为它不太依赖域中标记的数据，也不过度拟合域数据的分布。
这种强大的语言模型不仅可以回答问题、翻译、计算、完成推理任务、替换同义词等。还能写新闻，有理有据，真假难辨。
有了这么强大的GPT-3，普通用户该如何使用？
OpenAI已经以支付的形式打开了自己的API，其GPT-3模型可以通过“文本输入和文本输出”的界面访问。
其相关论文入选《神经科学2020》最佳论文。
最大的聊天机器人，搅拌机机器人
BlenderBot是一款Facebook开源聊天机器人，拥有94亿个参数。
Facebook声称BlenderBot比谷歌的Meena好。它是Facebook多年研究的结果，融合了包括同情心、知识和个性在内的多种会话技巧。
据人类评价者称，BlenderBot在参与性方面优于其他模式，感觉更人性化。
这个聊天机器人包含94亿个参数，解码技术改进，技能融合新颖，是之前最大的聊天机器人系统的3.6倍。
计算机视觉
目标检测模型DETR
DETR是一个端到端的目标检测模型使用变压器。
与传统的计算机视觉模型不同，DETR将目标检测问题作为非线性规划模型中的一个预测问题来解决。
Facebook声称DETR是“一种重要的目标检测和全景分割的新方法”。它包括一个基于集合的全局损失，它使用二进制匹配和一个变压器编码器-解码器架构来强制一个唯一的预测。
与以前的目标检测系统相比，DETR的架构完全不同。它是第一个成功集成变压器作为管道检测中心构建模块的目标检测框架。
DETR通过最先进的方法实现了性能平衡，同时完全简化了体系结构。
语义分割模型
FasterSEG不仅性能优异，而且速度最快。它是一个实时语义分割网络模型。
众所周知，语义分割可以准确地标记图像的像素单元。
但是随着时代的发展，图像的分辨率越来越高。
这里FasterSeg采用神经架构搜索(NAS)，可以应用到更新颖、更广阔的搜索空间，解决不同分辨率图像的问题。
提出了一种解耦和细粒度的延迟正则化方法，提高了精度和速度，从而缓解了“体系结构崩溃”的问题。
实验表明，FasterSeg保持了其准确性，运行速度比Cityscapes快30%以上。
2020年在ICLR发表了一篇关于快速搜索的论文。
效率Det-D7
高效网-D7主要用于CV领域的边缘设备，使其更加高效便捷。
它是由谷歌基于AutoML开发的，在COCO目标检测任务上达到了SOTA水平。
它需要的模型参数比同类产品少4-9倍，在GPU上运行速度比其他探测器快5-11倍。
作者是谷歌大脑的工程师谭明星和首席科学家乐。
CVPR 2020通过了其相关文件。
检测器2
这个超级PyTorch目标检测库来自Facebook。
与原一代Detectron相比，它的训练速度比以前更快，功能比以前更全，支持的机型比以前更丰富，曾经在GitHub的热门榜单上排名第一。
其实侦探ron2是第一代侦探的完全重写：第一代是在Caffe2中实现的，为了更快的迭代模型设计和实验，侦探ron2是在PyTorch中从头开始写的。
此外，Detectron2是模块化的，用户可以将自己定制的模块添加到对象检测系统的任何部分。
这意味着许多新的研究可以用数百行代码编写，新实现的部分可以与核心的Detectron2库完全分离。
在第一代的所有可用模型(更快的R-CNN、遮罩R-CNN、视网膜、密度塞波)的基础上，N2侦探增加了新模型，如级联R-NN、全景FPN和张量遮罩。
DeepMind的AlphaFold解决了蛋白质折叠的问题
谷歌旗下的人工智能技术公司DeepMind提出的深度学习算法“AlphaFold”，解决了困扰生物学家50年的蛋白质分子折叠问题。
AlphaFold还可以准确确定蛋白质结构的哪个部分更重要。
《自然与科学》争相报道这一科技成果，科技领导也发来贺电。
Alphafold在生物学上取得了巨大的突破，成为CV和ML的里程碑，被称为“生物学中的ImageNet时刻”。
在该算法中，科学家将蛋白质的折叠形状视为一个“空间图”，并使用残差来表示它们之间的节点。于是创建了一个注意力神经网络系统，进行端到端的训练，探索蛋白质的具体结构。
为了很好的训练这个算法，Alphafold使用了一个17万个蛋白质结构的数据库，使用了大约128个TPUv3内核(相当于100-200个GPU)运行了几个星期，使得算法效率更高。
这项研究的结果具有深远的影响。哥伦比亚生物学家穆罕默德阿尔库赖什在《自然》杂志的文章中说：
这对蛋白质结构预测领域产生了深远的影响，是一流的科学突破，也是我毕生追求的科学成果。
强化学习
57号特工得分高于人类基线
Agent57是DeepMind开发的。在雅达利测试集的2600场比赛中，它的表现高于人类的平均水平。
它还为雅达利电子游戏创建了57种不同的评估机制。因为这些评估机制需要RL代理掌握的东西太多，所以能实现的RL算法很少。
Agent57在其Arcade Learning Environment (ALE)中采用了RL、模型学习、基于模型的训练、模仿学习、迁移学习、内推力等一系列方法。
提供Atari2600游戏环境界面，让人类玩家可以接受更多人机挑战。
在游戏中，特工57无疑成为最强的RL特工。
他的研究论文发表在《人工智能研究杂志》。
机器学习操作与维护的兴起
机器学习操作在数据科学领域是一个相对较新的概念。类似于devops(组合DevOps(开发与运营)，简直就是机器学习中的DevOps。
如果DevOps服务于IT开发人员，那么IT解决了开发人员将项目交给IT运营部门实施维护的问题。
然后，MLOps会为数据科学家和ML工程师提供服务，让他们转向协同工作，提高工作效率。
它有一套完整的行为策略来解决ML和AI在运行周期中遇到的各种问题。
增长最快的GitHub项目Top-20中有5个是机器学习操作和维护工具。
这说明整个AI行业正在从“如何开发模型”向“如何维护模型”转变。
禽流感对抗非典型肺炎-冠状病毒-2
世界卫生组织列出了对抗SARS-CoV-2的九个研究方向。
白宫邀请卡格尔参加NLP挑战，寻找这九个关键问题的答案。
在Kaggle上，包含20万篇学术文章的新冠肺炎数据集免费提供给全世界的NLP研究和AI研究。希望世界各地的AI学者能通过科技手段推动SARS-CoV-2问题的解决。
数据集由白宫科技政策办公室协调规划，艾伦AI研究院、扎克伯格基金会、乔治城大学安全与新兴技术中心、微软研究院、IBM等众多技术巨头都参与了贡献。
卡格尔还发起了一场预测比赛。预测世界各地感染新冠肺炎肺炎的人数和死亡人数。并将预测数据与实际数据进行比较，形成数据预测模型。
如果预测模型足够好，可以缓解新冠肺炎肺炎造成的医疗资源短缺。
期待2021年的机器学习
从NLP到计算机视觉，从强化学习到机器学习运维。大家都见证了AI领域的进步，期待AI为全球疫情提供力量。
科技还在进步。2021年会发生什么变化？
维迪亚分析预测了2021年的一些关键趋势：
1.2021年，数据科学领域的就业机会将继续增加。由于数据的爆炸式增长和消费习惯的改变，数据科学将发挥越来越重要的作用。同时，传统的制造业和采矿业也需要对数据进行分析。
2.Facebook的PyTorch使用率将超过谷歌的TensorFlow。机器学习框架之战主要有两个竞争对手：PyTorch和TensorFlow。分析显示，研究人员正在逐渐放弃TensorFlow，广泛使用PyTorch。
3.Python将在2021年变得更加流行。毫无疑问，Python是目前最流行的语言。为了巩固地位，10月份推出Python 3.9提高性能。目前Python 3.10正在开发中，预计2021年初发布。
4.基于疫情前数据的模型的有效性将会下降。疫情导致全球消费习惯的改变，疫情前时代的数据模型有效性逐渐下降。后疫情时代，谁能把握住这些新消费模式的特点，谁就能成功。
5.数据市场将继续上涨。新冠肺炎疫情改变了全球的消费行为和市场规则，这意味着多样化和全新的数据集正在产生，并将创造更大的价值。