ai工具导航ai大模型

LLaMa

LLaMa模型,github下载,Meta(Facebook)开放和高效的基础语言模型

爱站权重:PC 百度权重移动 百度移动权重

LLaMa模型官网,github下载,Meta(Facebook)开放和高效的基础语言模型

什么是LLaMa模型?

在2月25日,Meta官网发布了一款名为LLaMA(Large Language Model Meta AI)的新型大型语言模型。根据参数规模,Meta提供了70亿、130亿、330亿和650亿四种不同参数规模的LLaMA模型,并使用20种语言进行了训练。与现有最佳的大型语言模型相比,LLaMA模型在性能上具有竞争力。

LLaMa模型官网:

https://github.com/facebookresearch/llama

论文地址: https://arxiv.org/abs/2302.13971

中文LLaMA&Alpaca大语言模型+本地CPU/GPU训练部署 (Chinese LLaMA & Alpaca LLMs):

https://github.com/ymcui/Chinese-LLaMA-Alpaca

LLaMa

LLaMa模型怎么样?

LLaMA(Large Language Model Meta AI),由 Meta AI 发布的一个开放且高效的大型基础语言模型,共有 7B13B33B65B(650 亿)四种版本。其数据集来源都是公开数据集,无任何定制数据集,保证了其工作与开源兼容和可复现,整个训练数据集在 token 化之后大约包含 1.4T 的 token。

关于模型性能,LLaMA 的性能非常优异:具有 130 亿参数的 LLaMA 模型「在大多数基准上」可以胜过 GPT-3( 参数量达 1750 亿),而且可以在单块 V100 GPU 上运行;而最大的 650 亿参数的 LLaMA 模型可以媲美谷歌的 Chinchilla-70B 和 PaLM-540B。

关于训练集,其来源都是公开数据集,无任何定制数据集,保证了其工作与开源兼容和可复现。整个训练数据集在 token 化之后大约包含 1.4T 的 token。其中,LLaMA-65B 和 LLaMA-33B 是在 1.4万亿个 token 上训练的,而最小的模型 LLaMA-7B 是在 1万亿个 token 上训练的。

总体而言,LLaMA模型表现出色:拥有130亿参数的LLaMA模型在大多数基准测试中胜过了参数规模为1750亿的GPT-3,并且可以在单块V100 GPU上运行;而拥有650亿参数的LLaMA模型在性能上与谷歌的Chinchilla-70B和PaLM-540B相媲美。

Meta的首席执行官马克·扎克伯格表示,LLaMA模型旨在帮助研究人员在生成文本、对话、总结书面材料、证明数学定理或预测蛋白质结构等更复杂的任务上取得进展,具有广阔的前景。

LLaMA模型相比Chinchilla、PaLM、GPT-3和ChatGPT等模型具有哪些优势和特点呢?

目前,Meta已经将相关论文上传至arXiv。

类似其他大型语言模型,LLaMA模型也存在一些问题,例如可能会产生偏见、有毒或虚假内容。Meta通过开源吸引更多研究人员的参与,以解决这些问题。

为了确保完整性和防止滥用,Meta将向非商业研究机构开放LLaMA的开源访问权限,并根据具体情况授予学术研究人员访问权限。这些权限将逐步授予政府、民间组织、学术界以及全球工业研究实验室的组织。

值得注意的是,LLaMA并非仅仅是一个聊天机器人,而是一种研究工具,可能用于解决与AI语言模型相关的问题。它是一套”更小、性能更好”的模型,并与谷歌的LaMDA和OpenAI的GPT模型不同,LLaMA是基于公开资料进行训练的。LLaMA并非针对特定任务进行微调的模型,而是适用于许多不同任务的通用模型。

LLaMA模型将向整个AI研究社区开源,授予大学、非政府组织和工业实验室访问权限。通过这种开源的方式,有助于解决大型语言模型中不可避免的偏见、有毒性和虚假内容的风险。

同时,小型模型通过使用更多的数据进行训练,可以超越大型模型,例如LLaMA-13B在大多数基准测试中优于1750亿参数的GPT-3;而LLaMA-65B的性能与更大规模的Chinchilla-70B和PaLM-540B相媲美。

LLaMa以ChatGPT、GPT-4等为代表的大语言模型(Large Language Model, LLM)掀起了新一轮自然语言处理领域的研究浪潮,展现出了类通用人工智能(AGI)的能力,受到业界广泛关注。然而,由于大语言模型的训练和部署都极为昂贵,为构建透明且开放的学术研究造成了一定的阻碍。

中文LLaMA模型

为了促进大模型在中文NLP社区的开放研究,本项目开源了中文LLaMA模型和指令精调的Alpaca大模型。这些模型在原版LLaMA的基础上扩充了中文词表并使用了中文数据进行二次预训练,进一步提升了中文基础语义理解能力。同时,中文Alpaca模型进一步使用了中文指令数据进行精调,显著提升了模型对指令的理解和执行能力。详细内容请参考技术报告(Cui, Yang, and Yao, 2023)。

LLaMa

本项目主要内容:

  • 🚀 针对原版LLaMA模型扩充了中文词表,提升了中文编解码效率
  • 🚀 开源了使用中文文本数据预训练的中文LLaMA以及经过指令精调的中文Alpaca
  • 🚀 开源了预训练脚本、指令精调脚本,用户可根据需要自行进一步训练
  • 🚀 快速使用笔记本电脑(个人PC)的CPU/GPU本地量化和部署体验大模型
  • 🚀 支持🤗transformers, llama.cpp, text-generation-webui, LlamaChat, LangChain, privateGPT等生态
  • 目前已开源的模型版本:7B(标准版、Plus版)、13B(标准版、Plus版

💡 下图是中文Alpaca-7B模型在本地CPU量化部署后的实际体验效果(GIF未加速,M1 Max下实测)。

相关导航

暂无评论

暂无评论...