平台开放达成共识。

(资料图)

作者｜武静静

8月2日，百度智能云对外公开了千帆大模型平台新一轮的升级动作。

「甲子光年」在现场了解到，本次千帆大模型在接入第三方大模型、Prompt模板和插件服务三个方面进行了重点升级。

平台开放性上，百度智能云升级了 大模型商店的功能和服务。现场，百度宣布千帆大模型平台已经全面接入LLaMA2全系列、ChatGLM2、RWKV、MPT等国内外33个大模型，是国内拥有大模型最多的平台。此外，百度针对接入的模型，通过千帆平台，进行了二次性能增强，模型推理成本可降低50%。

在 Prompt工程化方面，百度千帆大模型平台上线了全新升级的预置Prompt模板，模板数量达103个，覆盖对话、游戏、编程、写作十余个场景。

此外，继今年6月，千帆平台上线插件功能之后，本次千帆大模型平台上线了“ChatFile”等多款全新插件，可以满足组织管理、知识库检索、文档写作等多样化场景需求。

1.更开放：升级大模型商店服务

目前，大模型在千行百业的落地都还是前期探索阶段，而摆在开发者和企业用户面前的第一道问题就是：选择什么样的大模型？开源还是闭源？哪一款？

不一样的成本、资源、精力、人才和行业、场景决定了市场对大模型需求的迥异。所以在今年3、4月份开始，很多公司在发布自身大模型的同时也接入了其他国内外第三方开源的大模型。

接入第三方大模型平台，打造大模型商店这个动作看上去很简单，尤其是很多开源的大模型可以直接拿到开源代码，但要面向开发者和企业把模型商店真正切实的落地、做好是一件不容易的事情。

百度智能云AI与大数据平台总经理忻舟提到，在今年3月千帆大模型平台发布之初，百度就已经在尝试接入第三方大模型，并开始做相关大模型的精选、运行和测试了。“ 百度接入第三方模型一直在思考的问题是：这些模型能给用户带来什么价值？”

大模型不是一家工具的生意，不同的大模型各有特色，市场对大模型的需求也是多样的。忻舟在现场谈到：“以RWKV模型为例，虽然它的效果不一定比文心一言好，但可以支持无限上传，所以能很好的满足对上传要求比较高的应用需求。LLaMA2也类似，它英文的效果很好，就可以更好的满足有英文需求的客户。”

“ 对于接入什么模型，我们进行了精挑细选，来满足不同的客户在不同的应用场景上细分的需求。”忻舟说，他介绍称，千帆平台接入的大模型均经过严格优选，主要考核三大指标：模型效果、模型安全性、可商用。

除了提供多样性大模型的“模型仓库”之外，此次，千帆还对这33个大模型进行了性能+安全的双重增强：

性能上，千帆对每一个大模型进行了二次性能增强，可极大地节约成本，提升效果。忻舟表示，通过优化模型吞吐、降低模型尺寸，实现模型推理速度的大幅提升。据测算，调优后模型体积可压缩至25%-50%，推理成本可降低50%。

安全性上，千帆对第三方大模型做了二次安全增强，更好管控模型输出的安全性。

对于开发者和企业而言，目前，可以登陆千帆大模型平台操作台，在“模型仓库”中直接调用、部署相关服务，也可以搭配使用不同的大模型。此外，千帆还提供了多种调优工具：包括SFT（全量参数微调、Prompt Tuning、LoRA）及强化学习（奖励模型学习、强化学习训练）等，开发者可通过多种方式持续调优同一模型。

2.To B服务升级Prompt模版和插件服务新升级

开放性之外，针对大模型to B落地上，此次，百度千帆大模型上线了103个预置Prompt模板库，包含对话、编程、电商、医疗、游戏、翻译、演讲等十余个场景。用户可以根据需求选择合适的模板，直接输出给大模型，即可提高模型内容的针对性和准确度。

在现场，百度智能云AI平台副总经理李景秋在千帆平台上实时演示了利用Prompt模板库，实时提问和回复的流程。现场，使用新闻评论的Prompt模板，输入“超导”，就看到了一篇关于“超导”的短文章。

在具体的行业场景里面优化Prompt是一个关键工程，且非常依赖经验。李景秋谈到，此次，百度把服务很多内外部客户的经验，包括Prompt工程专家的经验开放出来，形成了丰富的模版库。从结果上来看，使用Prompt之后，更标准化，效果也更符合具体场景和业务的需求。

另一方面，百度也上新了插件服务，发布了一系列插件功能，一次满足不同企业个性化的需求。以刚上线的“Chatfile插件”为例，用户可在大模型对话中一键上传PDF/Doc格式文档，大模型即可基于文档内容实现知识点检索，长文本摘要等功能。

忻舟提到，目前千帆的插件功能已率先应用于百度内部的办公场景中，比如内部的如流“超级助手”就接入了会议室插件、内部搜索插件等20个插件。百度员工用自然语言与“超级助手”对话，即可实现文档搜索、会议室预定、饭卡充值、休假申请等功能。

忻舟说：“未来，千帆平台将发布更多优质的插件功能，让客户能够更好地应用大模型。同时，我们欢迎所有开发者基于千帆平台共同打造丰富的插件功能，提升大模型的能力。”

新的开放动作，新的服务升级，在大模型落地上，百度再次向产业迈进一步。

（本文图片来源：百度提供）

END.

标签：