Fig. 2 The predicted structure (blue) of AlphaFold2 is basically consistent with the actual structure (green)
03、面向自然语言处理的巨型预训练技术研究进展
自然语言处理(Natural Language Proceeding,NLP)被誉为“人工智能皇冠上的明珠”。2018年10月,谷歌发布了BERT(Bidirectional Encoder Representation from Transformers)模型[7]——一种预训练语言模型,该模型被认为是自然语言处理领域“最强模型”,一经发布便引发了深度学习界持续而强烈的关注。预训练语言模型是词向量模型的进化,其本质是有上下文的词向量模型,训练过程概述为:首先给句子中的每个词赋予一个静态向量,然后它会跟句子的上下文词进行交互,最后就得到了这个词在句子中的变化的词向量。 然而,2020年自然语言处理领域最大的轰动来自BERT模型的“后浪”——美国OpenAI公司于2020年5月推出的聚焦通用人工智能的自然语言预训练模型GPT-3[8](图3),该模型完全刷新了人类对于认知智能的认识,是迄今为止人类
图3 GPT-3证明更大的模型能够更好地利用上下文信息
Fig. 3 GPT-3 shows that larger models make increasingly efficient use of in-context information