State of AI 报告之AI发展预测
该预测出自State of AI Report 2022，由AI投资者Nathan Benaich 和 Ian Hogarth 撰写。今年是第五年。每次报告都会进行预测，去年预测了8个，结果只对了一半。
去年的预测
1.transformer将取代rnn来学习世界模型，强化学习agent在大型丰富的游戏中将超越人类的表现。
准
2.ASML（一家光刻机公司）的市值将达到500B美元
不准。2022年10月3号只有165B美元
3.Anthropic公司在GPT、Dota、AlphaGo的水平上发表文章，将自己确立为AGI研究的第三极。
不准。
4.AI半导体行业的整合浪潮，Graphcore、Cerebras、SambaNova、Groq或Mythic中至少有一家被大型技术公司或主要半导体公司收购。
不准。目前还没有新宣布的人工智能半导体整合。
5.小型transformer+ CNN混合模型与当前SOTA在ImageNet top-1精度(CoAtNet-7, 90.88%， 2.44B params)匹配，参数少10倍。
准。谷歌提出的带有475M参数的MaxViT几乎与CoAtNet-7的性能(89.53%)匹配90.88%)。
6.DeepMind在物理科学由重大突破
准。比如Deepmind提出的《通过深度强化学习对托卡马克等离子体进行磁控》（Magnetic control of tokamak plasmas through deep reinforcement learning）
7.根据Papers With Code的测量，JAX框架的每月仓库数的比例从1%增长到5%。
不准。JAX的使用在paper With Code的月仓库数中仍然占不到1%。
说句题外话，华为提出的AI框架Mindspore在近几个月有大幅增长的趋势。2022年9月甚至超过了tensorflow仓库数。
8.一个新的专注于人工智能的研究公司成立了，有重要的支持和一个专注于行业垂直方向的路线图(例如，开发人员工具，生命科学)。
准。Adept.ai 是由Transformer的作者共同创立的，专注于通过软件工具使用自动化实现AGI
今年的预测
- DeepMind将提出训练参数为10B的多模态RL模型比，且比Gato大一个数量级。A 10B parameter multimodal RL model is trained by DeepMind, an order of magnitude larger than Gato.
GATO 是DeepMind提出的单一的「通才」智能体 Gato，它具有多模态、多任务、多具身（embodiment）特点，可以玩雅达利游戏、给图片输出字幕、和别人聊天、用机械臂堆叠积木等等。
- NVIDIA将与一个专注于AGI的组织建立战略关系。NVIDIA announces a strategic relationship with an AGI focused organisation.
AGI：Artificial general intelligence，通用人工智能。
- SOTA LM在比Chinchilla多10倍的数据点上进行训练，探究了数据集规模改变和参数规模改变的规律。A SOTA LM is trained on 10x more data points than Chinchilla, proving data-set scaling vs. parameter scaling
LM:language model
Gopher ：DeepMind 提出的大型语言模型。最近展示的 Gopher 模型已经拥有 2800 亿参数，在语言建模、阅读理解和问答等任务中展现了领先的性能.基于该结果。
研究团队发现，目前包括 DeepMind 发布的 Gopher 模型在内的许多大型语言模型，在大幅增加模型参数量的同时，并没有相应成比例地增加训练数据量，这是对于计算成本的巨大浪费。对于 Gopher 所花费的成本来说，训练的数据量应当是其 4 倍才可真正实现计算预算的最大价值。也可以说，要想达到 Gopher 的性能，实际上只需要 Gopher 模型参数量的四分之一的模型已经足够。在这一发现的基础上，研究人员进一步对名为“Chinchilla”的模型进行了训练，其训练数据量是 Gopher 的 4 倍，但参数数量仅是 Gopher 模型四分之一（700 亿个）
-
到2023年9月，生成式音频工具将吸引超过10万名开发者。Generative audio tools emerge that attract over 100,000 developers by September 2023.
-
GAFAM向AGI或开源AI公司(如OpenAI)投资超过10亿美元。GAFAM invests >$1B into an AGI or open source AI company (e.g. OpenAI).
GAFAM:谷歌(Google)、苹果(Apple)、Facebook(Meta)、亚马逊(Amazon)、微软(microsoft)
-
面对NVIDIA的主导地位，半导体初创企业面临严峻的现实，一家备受瞩目的初创企业被关闭或以低于其最新估值50%的价格被收购。Reality bites for semiconductor startups in the face of NVIDIA’s dominance and a high profile start-up is shut down or acquired for <50% of its most recent valuation.
-
一项像生物安全实验室一样监管AGI实验室的提议得到了当选的英国、美国或欧盟政治家的支持。A proposal to regulate AGI Labs like Biosafety Labs gets backing from an elected UK, US or EU politician.
-
随着越来越多的人意识到让人工智能能力先于安全发展所面临的风险，明年将向专门的人工智能联盟组织投资超过1亿美元。$>$100M is invested in dedicated AI Alignment organisations in the next year as more people become aware of the risk we are facing by letting AI capabilities run ahead of safety.
-
主要的用户生成内容方(如Reddit)与一家生产AI模型的初创公司(如OpenAI)协商商业协议，以对其用户生成内容的语料库进行培训。A major user generated content side (e.g. Reddit) negotiates a commercial settlement with a start-up producing AI models (e.g. OpenAI) for training on their corpus of user generated content.
参考资料:
预测还是从比较宏观的方面入手的，比较偏向于AGI。该报告也不如斯坦福AI报告更学术，主要是从投资者的视角开展。