Facebook语言模型LLaMa首次遭公开泄露 供任何人下载

   时间:2023-03-08 14:38 来源:网界科技

【网界科技】3月8日消息,近日有消息称,Facebook的大型语言模型LLaMa遭到泄露,可以供任何人下载使用。LLaMa是基于大量单词或标记的基础上建立的,只要输入单词,就能预测下一个单词,并生成更多文本。这一事件被认为是一家大型科技公司的专有AI模型首次遭公开泄露。

据了解,LLaMa主要从维基百科、书籍、以及来自ArXiv、GitHub、Stack Exchange和其他网站的学术论文中收集的数据集上训练的。与包括OpenAI的GPT-3在内的其他人工智能模型一样,LLaMa也有多个不同大小的版本,其中LLaMa65B和LLaMa33B在1.4万亿token上进行了训练。

然而,LLaMa通常只供获得批准的研究人员、政府官员或民间社会成员使用,现在已经泄露到网上供任何人下载。据悉,目前在4chan上已经有人在共享泄露的语言模型。这标志着一家大型科技公司的专有AI模型首次遭公开泄露。

据网界科技了解,meta并没有否认LLaMa遭泄露的说法,但声称其在研究人员之间共享模型的方法,并表示虽然并非所有人都可以使用该模型,并且有些人试图规避批准程序,但他们相信当前的发布策略允许他们在责任和开放之间取得平衡。

目前,meta似乎正在在线提交该模型的删除请求以控制其传播。谷歌、微软和OpenAI等公司的最新模型都处于保密状态,只能通过消费者界面或API访问,据称是为了控制滥用情况。

 
 
更多>同类内容
全站最新
热门内容