8.15来了，国产大模型该怎么选？

原创适配多模型的小蓝蓝莺IM 2023-08-09 10:01 发表于北京

国产大模型到底该怎么选，你可以参考我们的经验，也可以在蓝莺IM控制台切换试用。

如果你想知道选型的原因以及我们对未来的判断，可以继续阅读第二部分。

最后是我们了解到的最新情况，希望对你当前业务选型有些帮助。

距离8.15还有一周，因为《生成式人工智能管理办法》的规定，很多开发者都在加紧适配国产大模型服务。

蓝莺IM已经集成大部分公开API的国产大模型服务，现在开发者可以在智能消息服务中任意切换AI引擎，选择合适的模型试用。

如何选择国产大模型？

在适配集成过程中，我们重点关注大模型服务开放的三种能力：

文本对话（Chat）
嵌入接口（Embedding）
函数调用（FunctionCall）

其中，文本问答接口是大模型API开放的第一个接口，预示着可以通过提示词与大模型进行交互；嵌入接口，意味着大模型开放了语言空间映射，我们可以在外部进行知识存储和检索；而函数调用则是未来驱动企业业务服务的重要措施。

汇总如下：

为什么嵌入接口和函数调用也很重要？

前段时间，OpenAI的Lilian Wen写了一篇《大模型驱动的自治智能体》文章被广泛传播和讨论。其中将 Agent 定义为 LLM、记忆（Memory）、规划（Planning）以及工具（Tools）的集合（如下图），并对下一阶段AI的发展和研究进行了系统的梳理。

Overview of a LLM-powered autonomous agent system.

这篇文章非常值得阅读，中文版可见这里。

不过与Plugin机制一样，我们依然认为这个机会不会是OpenAI独占，而是大多数下一代的AI应用共享的。是的，他们也可以做到。

其中，记忆（Memory）就是为Agent提供业务和知识存储，也就是企业知识库[1]在做的事情。虽然当前我们存储了文档，但实际上，还有更多可以内容可以放进来，包括用户实时的会话以及更多业务信息，这个我们后面展开讲。

在大模型外面构建知识记忆层，也即企业知识库的基础，就是嵌入接口。

而工具（Tools）则可以让Agent与外部服务交互，获取最新业务知识或者驱动外部服务。这个功能虽然可以通过提示词实现，比如约束返回数据结构在外层进行二次解析，但实际效果一直差强人意。

而函数调用接口则提供了一种更优雅而准确的实现，因此我们认为这是大模型能力开放的下一步。

也因为AI Agent的发展，我们认为对嵌入接口和函数调用接口的支持，是大模型选型的重要考虑因素。

国产大模型最新进展

我们计划会接入五家国产大模型，已经完成了三家接入。目前，智能服务可选AI引擎达到五家。

虽然各家进度不一，但好在有Minimax的快速开放，加上我们支持模型混合调用，因此在企业知识库以及后续工具调用的实现，都可以实现服务切换。

接入过程或多或少都遇到了一些问题，我们也分别与各家团队进行了沟通，以下是一些我们可以分享的信息：

1. Minimax[2]

Minimax不仅是走得最快的大模型团队，也是最重视生态建设的团队，这非常值得称赞。

而且对应用生态的重视不仅体现在于业务合作中，也体现在积极从实际应用的反馈中进行优化。

另外提醒一下，本周内依然可以在蓝莺IM服务里无限量使用Minimax[3]，不要错过。

2. 百度文心一言[4]

百度虽然在倾集团之力投入研发，但毕竟团队庞大，加之产品需要与云平台整合，服务受到不少拖累。遇到问题之后需要工单流转跨多个部门协作，对于一个新产品服务来讲，迭代速度确实比预想还要慢。

大公司在这种情况下劣势与优势一样明显，BAT现在应该都面临同样的问题。不过AI的发展，同时对数字人等业务产生了极大的促进，百度在这方面的积累还是有不少优势。

此外，嵌入接口费用比较高，定价达到OpenAI的三倍，这个问题无法忽视。