GPT-3模型成功复制!斯坦福大学研究人员打破先例

2023-03-22 20:22:58詹云竹
导读 【ITBEAR科技资讯】3月21日消息,斯坦福大学的科学家们表示,他们使用了OpenAI的GPT API来微调meta的LLaMA7B大型语言模型(LLM),并成功地

【ITBEAR科技资讯】3月21日消息,斯坦福大学的科学家们表示,他们使用了OpenAI的GPT API来微调meta的LLaMA7B大型语言模型(LLM),并成功地创建了一个名为Alpaca的复制品。据ITBEAR科技资讯了解,他们在不到600美元的成本下,成功地复制了GPT-3模型,并发布了自己的代码和模型,供其他人使用和改进。

这个Alpaca模型比GPT-3小很多,但在某些任务上表现出色,甚至超过了GPT-3。然而,它也有一些语言模型的常见缺陷,包括幻觉、毒性和刻板印象。

斯坦福大学的研究人员表示,他们在使用OpenAI的API上投入了不到500美元,而在LLaMA上的投入不到100美元,这得益于开放AI提供的预训练数据集和一些开源代码。他们利用这些资源,在两个月的时间里,成功地复制了GPT-3模型,证明了这样的软件模型是可以容易地复制的。

GPT-3作为一个非常昂贵和复杂的模型,它是由大量的预训练数据和算法组成的,因此它的复制并不是令人意外的。然而,斯坦福大学的研究人员通过创新的方式成功地复制了GPT-3,并为其他研究人员提供了参考和启发。虽然Alpaca模型比GPT-3小,但这个成功的尝试为人工智能领域的研究和应用提供了更多的可能性。

免责声明:本文由用户上传,如有侵权请联系删除!