openbmb

openbmb官网,大模型开源工具链,打造大规模预训练语言模型库与相关工具

什么是openbmb?

OpenBMB全称为Open Lab for Big Model Base，旨在打造大规模预训练语言模型库与相关工具，加速百亿级以上大模型的训练、微调与推理，降低大模型使用门槛。

openbmb官网: https://www.openbmb.org

openbmb github项目地址: https://github.com/OpenBMB

OpenBMB全称为Open Lab for Big Model Base，旨在打造大规模预训练语言模型库与相关工具，加速百亿级以上大模型的训练、微调与推理，降低大模型使用门槛，与国内外开发者共同努力形成大模型开源社区，推动大模型生态发展，实现大模型的标准化、普及化和实用化，让大模型飞入千家万户。

OpenBMB将努力建设大模型开源社区，团结广大开发者不断完善大模型从训练、微调、推理到应用的全流程配套工具。基于贡献者团队前期工作，OpenBMB设计了大模型全流程研发框架，并初步开发了相关工具，这些工具各司其职、相互协作，共同实现大模型从训练、微调到推理的全流程高效计算。

OpenBMB全称为Open Lab for Big Model Base，旨在打造大规模预训练语言模型库与相关工具，加速百亿级以上大模型的训练、微调与推理，降低大模型使用门槛，与国内外开发者共同努力形成大模型开源社区，推动大模型生态发展，实现大模型的标准化、普及化和实用化，让大模型飞入千家万户。

BMTrain

OpenPrompt

OpenBMB能力体系

谋定而动，OpenBMB将从数据、工具、模型、协议四个层面构建应用便捷、能力全面、使用规范的大规模预训练模型库。

OpenBMB能力体系具体包括：

▶  数据层

构建大规模数据自动收集、自动清洗、高效存储模块与相关工具，为大模型训练提供数据支持。

▶  工具层

聚焦模型训练、模型微调、模型推理、模型应用四个大模型主要场景，推出配套开源工具包，提升各环节效率，降低计算和人力成本。

▶  模型层

构建OpenBMB工具支持的开源大模型库，包括BERT、GPT、T5等通用大模型和CPM、EVA、GLM等悟道开源大模型，并不断完善添加新模型，形成覆盖全面的模型能力。

▶  协议层

发布通用模型许可协议，规范与保护大模型发布使用过程中发布者与使用者权利与义务，目前协议初稿已经开源（https://www.openbmb.org/license）。

大模型相关工具在OpenBMB能力体系中发挥着核心作用。OpenBMB将努力建设大模型开源社区，团结广大开发者不断完善大模型从训练、微调、推理到应用的全流程配套工具。基于发起人团队前期工作，OpenBMB设计了大模型全流程研发框架，并初步开发了相关工具，这些工具各司其职、相互协作，共同实现大模型从训练、微调到推理的全流程高效计算。

OpenBMB工具

▶  模型训练套件

BMData：大模型“原料”收集器

BMData进行高质量数据清洗、处理与存储，为大模型训练提供全面、综合的数据支持。

BMTrain：大模型训练“发动机”

BMTrain进行高效的大模型预训练与微调。与DeepSpeed等框架相比，BMTrain训练模型成本可节省90%。

BMCook：大模型“瘦身”工具库

BMCook进行大模型高效压缩，提升运行效率。通过量化、剪枝、蒸馏、专家化等算法组合，可保持原模型90%+效果，模型推理加速10倍。

 

▶  模型微调套件

OpenPrompt：大模型提示学习利器

OpenPrompt提供统一接口的提示学习模版语言，2021年发布以来在GitHub获得1.3k星标，每周访问量10K+。

OpenDelta：“小”参数撬动“大”模型

OpenDelta进行参数高效的大模型微调，仅更新极少参数（小于5%）即可达到全参数微调的效果。

Delta Center：“人人为我，我为人人” – Delta Object分享中心

Delta Center提供Delta Object的上传、分享、检索、下载功能，鼓励社区开发者共享大模型能力。

 

▶  模型推理套件

BMInf：千元级显卡玩转大模型推理

BMInf实现大模型低成本高效推理计算，使用单块千元级显卡（GTX 1060）即可进行百亿参数大模型推理。2021年发布以来在GitHub获得200+星标。

BMInf、OpenPrompt、OpenDelta已于前期发布，并得到了开源社区用户的广泛关注与应用。接下来，OpenBMB将发布大模型训练/微调加速工具包BMTrain、大模型后处理工具包BMCook、大模型Model Center，进一步完善大模型高效计算的工具链。未来，OpenBMB将依托开源社区力量，与广大开发者一道共同打磨和完善大模型相关工具，助力大模型应用与落地。期待广大开发者关注和贡献OpenBMB！

▶  发起团队｜介绍

OpenBMB开源社区由清华大学自然语言处理实验室和智源研究院语言大模型加速技术创新中心共同支持发起。发起团队拥有深厚的自然语言处理和预训练模型研究基础，曾最早提出知识指导的预训练模型ERNIE并发表在自然语言处理顶级国际会议ACL 2019上，累计被引超过600次，被学术界公认为融合知识的预训练语言模型的代表方法，被美国国家医学院院士团队用于研制医学诊断领域的自动问答系统；团队依托智源研究院研发的“悟道·文源”中文大规模预训练语言模型CPM-1、CPM-2，参数量最高达到1980亿，在众多下游任务中取得优异性能；团队近年来围绕模型预训练、提示学习、模型压缩技术等方面在顶级国际会议上发表了数十篇高水平论文，2022年面向生物医学的预训练模型KV-PLM发表在著名综合类期刊Nature Communications上，并入选该刊亮点推荐文章，相关论文列表详见文末；团队还有丰富的自然语言处理技术的开源经验，发布了OpenKE、OpenNRE、OpenNE等一系列有世界影响力的工具包，在GitHub上累计获得超过5.8万星标，位列全球机构第148位，曾获教育部自然科学一等奖、中国中文信息学会钱伟长中文信息处理科学技术奖一等奖等成果奖励。

发起团队面向OpenBMB开源社区研制发布的BMInf、OpenPrompt等工具包已陆续发表在自然语言处理顶级国际会议ACL 2022上。

OpenBMB主要发起人介绍

孙茂松  清华大学计算机系教授，智源研究院自然语言处理方向首席科学家，清华大学人工智能研究院常务副院长，清华大学计算机学位评定分委员会主席，欧洲科学院外籍院士。主要研究方向为自然语言处理、人工智能、社会人文计算和计算教育学。在人工智能领域的著名国际期刊和会议发表相关论文400余篇，Google Scholar统计引用超过2万次。曾获全国优秀科技工作者、教育部自然科学一等奖、中国中文信息学会钱伟长中文信息处理科学技术奖一等奖，享受gwy政府特殊津贴。

刘知远  清华大学计算机系副教授，智源青年科学家。主要研究方向为自然语言处理、知识图谱和社会计算。在人工智能领域著名国际期刊和会议发表相关论文200余篇，Google Scholar统计引用超过2万次。曾获教育部自然科学一等奖（第2完成人）、中国中文信息学会钱伟长中文信息处理科学技术奖一等奖（第2完成人）、中国中文信息学会汉王青年创新奖，入选国家青年人才计划、2020年Elsevier中国高被引学者、《麻省理工科技评论》中国区35岁以下科技创新35人榜单、中国科协青年人才托举工程。

韩旭  清华大学计算机系博士生，研究方向为自然语言处理、预训练语言模型和知识计算，在人工智能领域著名国际期刊和会议ACL、EMNLP上发表多篇论文，悟道·文源中文预训练模型团队骨干成员，CPM-1、CPM-2、ERNIE的主要作者之一。曾获2011年全国青少年信息学竞赛金牌（全国40人）、国家奖学金、清华大学“蒋南翔”奖学金、清华大学“钟士模”奖学金、微软学者奖学金（亚洲12人）、清华大学优良毕业生等荣誉。

曾国洋  清华大学计算机系毕业生，智源研究院语言大模型加速技术创新中心副主任。拥有丰富人工智能项目开发与管理经验，悟道·文源中文预训练模型团队骨干成员，BMTrain、BMInf的主要作者之一。曾获2015年全国青少年信息学竞赛金牌（全国50人）、亚太地区信息学竞赛金牌、清华大学挑战杯一等奖、首都大学生挑战杯一等奖。

丁宁  清华大学计算机系博士生，研究方向为机器学习、预训练语言模型和知识计算，在人工智能领域著名国际期刊和会议ICLR、ACL、EMNLP上发表多篇论文，悟道·文源中文预训练模型团队骨干成员，OpenPrompt、OpenDelta的主要作者之一。曾获国家奖学金、清华大学“清峰”奖学金、百度奖学金（全国10人）等荣誉。

张正彦  清华大学计算机系博士生，研究方向为自然语言处理和预训练语言模型，在人工智能领域著名国际期刊和会议ACL、EMNLP、TKDE上发表多篇论文，悟道·文源中文预训练模型团队骨干成员，CPM-1、CPM-2、ERNIE的主要作者之一。曾获国家奖学金、清华大学优良毕业生、清华大学优秀本科毕业论文等荣誉。

---

▶  结语

无论你正在从事大模型研究，研发大模型应用，还是对大模型技术充满兴趣，欢迎使用OpenBMB开源工具和模型库，你的每一份意见和建议，都为我们指明前进的方向。

在OpenBMB开源社区，我们推崇简洁，追求极致，相信数据与模型的力量。欢迎志同道合的你加入，共同为大模型应用落地添砖加瓦，早日让大模型飞入千家万户。

转载自 : 这里 https://mp.weixin.qq.com/s/jRi4sodNZqgDWTaDYSEWZw