AIGC-AIO项目一定是非官方(unoffical)的,只有第三方才可能将不同厂商的模型和API整合在一起。
尽管OpenAI、Anthropic、Google以及国内BAT等各家的LLM都开放了API,用户使用API需要进行申请,一方面国内申请国外服务的API比较麻烦,另一方面多个LLM早期需要部署多个独立(非官方)API应用。很多人仅GPT4就可以满足所有需求,但也有很多人有调用多个模型API以及切换的需求,那就需要工具集成多家LLM API的调用接口了。
POE、Coze等大厂商用平台自不必说,在集成了多个模型的同时,还提供了零代码、低代码的开发平台。除此以外,开源社区也有多款工具可选,老E本期就简要介绍下开源的AIGC API集成项目,本文列举的项目从开发者自身的定位来看并不见得是API集成,但只要能支持多个LLM并具有良好的扩展性(对新发布的LLM API可以快速、低代码/零代码增项支持),也一并分享。
Openrouter
OpenRouter提供所有厂商LLM接口的付费调用,价格与官方保持一致,支持Streamlit、LangChain。OpenRouter常被当作AIGC代理使用,官方文档首页列明了其特性和优势。
The future will bring us hundreds of language models and dozens of providers for each. How will you choose the best?
Benefit from the race to the bottom. OpenRouter finds the lowest price for each model across dozens of providers. You can also let users pay for their own models via OAuth PKCE.
Standardized API. No need to change your code when switching between models or providers.
The best models will be used the most. Evals are flawed. Instead, compare models by how often they’re used, and soon, for which purposes. Chat with multiple at once in the Playground.
未来将会有数百种语言模型和数十个提供商。你如何选择最佳的呢?
从价格竞争中受益。OpenRouter能够在众多提供商中找到每种模型的最低价格。您也可以让用户通过OAuth PKCE自行支付他们使用的模型费用。
标准化API接口。切换不同的模型或提供商时,无需更改代码。
最好的模型将会被最频繁地使用。评估是有缺陷的。相反,应该通过它们被使用的频率来比较各个模型,并且很快还要看它们具体用于哪些目的。在Playground里与多个模型同时交谈。
- Github项目仓库:https://github.com/OpenRouterTeam
- 协议:MIT
- 官方网站:https://openrouter.ai/
- 自托管部署:否
LibreChat
LibreChat结合了OpenAI的革命性ChatGPT技术,允许集成多个AI模型,还集成并增强了原有客户端功能,如对话和消息搜索、提示模板以及插件。使用LibreChat,不再需要选择付费的ChatGPT Plus服务,而可以改用免费或按次计费的APIs。LibreChat可以通过插件支持包括网页搜索、访问,以及使用DALL-E3生成图像等功能。
- Github项目仓库:https://github.com/danny-avila/LibreChat
- 协议:MIT
- 官方网站:https://docs.librechat.ai/
- 自托管部署:支持
One-api
One API 是一个开源项目,可以通过标准的 OpenAI API 格式访问和管理所有的大模型,包括 ChatGPT、Anthropic Claude、Google PaLM 2、Gemini、百度文心一言、阿里通义千问等等几乎所有的大预言模型调用。支持的功能包括多机部署、负载均衡、令牌管理、兑换码管理、通道管理、用户分组以及渠道分组等诸多管理功能。同时,支持绘图接口、Cloudflare AI Gateway(渠道设置的代理部分填写)等实用功能,所有功能开箱即用。
- Github项目仓库:https://github.com/songquanpeng/one-api
- 协议:MIT
- 官方网站:https://openai.justsong.cn/
- 自托管部署:支持
Sillytavern
SillyTavern 是一个本地部署的交互界面,允许你通过文本生成AI(LLM 大语言模型)进行交互,和自定义的角色进行角色扮演。SillyTavern 由 Cohee,RossAscends 和 SillyTavern 社区为您呈现。SillyTavern 可以连接多种大语言模型(LLM)API,并且可以在个人电脑上运行,可以做到100% 私有,但同时也很明确的提醒:需要从 HuggingFace 单独下载 LLM 模型,每个模型可能有 10-50GB 大小,并且大多数模型不如云 LLM API 功能强大。
SillyTavern 于2023年2月基于 TavernAI 1.2.8 版本修改而来,此后引入了很多原版 TavernAI 中不存在的先进功能。SillyTavern 采用双分支系统来确保给所有用户带来一个丝滑的体验,
- 发行版 -🌟 适用于大部分用户。 这是我们最稳定也是最推荐的版本, 只有当重大更新发布时才更新。 它适用于大部分用户。
- staging – ⚠️ Not recommended for casual use. This branch has the latest features, but be cautious as it may break at any time. Only for power users and enthusiasts.
- Github项目仓库:https://github.com/SillyTavern/SillyTavern
- 协议:AGPL 3.0
- 官方网站:https://sillytavern.app/
- 自托管部署:支持
Casibase
Casibase可以堪称是一个开源的AI知识库,它提供了一个美观的Web用户界面。Casibase的主要功能是存储和管理AIGC(Artificial Intelligence Generated Content)向量和知识。它支持多种语言模型,包括OpenAI、Azure、HuggingFace、OpenRouter、ChatGLM等,并且可以在本地运行模型。Casibase的架构包括前端和后端两部分,前端主要负责用户界面,使用JavaScript和React进行开发;后端主要负责服务器端逻辑和API,使用Golang、Beego、Python、Flask和MySQL进行开发。
Casibase提供了在线演示站点,包括一个只读站点和一个可写站点。只读站点不允许进行任何修改操作,而可写站点则允许用户进行修改,但每5分钟会恢复原始数据。
- Github项目仓库:https://github.com/casibase/casibase
- 协议:Apache 2.0
- 官方网站:https://casibase.org/
- 自托管部署:支持
Chatall
ChatALL是基于大型语言模型(LLMs)的 AI 机器人,不同的机器人在不同的任务上表现也有差异。如果你想获得最佳体验,不要一个一个尝试。ChatALL(中文名:齐叨)可以把一条指令同时发给多个 AI,帮助您发现最好的回答。也就是说可以将提问同时发送给市面上常见的聊天机器人,比如ChatGPT、Bing、Bard、Claude、文心一言、讯飞星火等等,并一一展现出来。所以,“ChatALL”的中文名字叫“齐叨”。
但是,Chatall是一个桌面端应用程序,支持Windows和MscOS。无法进行远程部署或者移动端使用。ChatALL的大部分代码其实都是用GPT-4生成的。
早期提交记录,凡是“by GPT-4”的,就是本次提交代码都由GPT-4写成;凡是“with GPT-4”的,就是GPT-4写了核心,我做了一些加工修改。
- Github项目仓库:https://github.com/sunner/ChatALL
- 协议:Apache 2.0
和ChatALL定位类似的工具还有「ChatHub」,不过ChatHub是一款e浏览器插件,主打和所有聊天机器人的“all in”入口,相比而言,ChatALL支持的模型更多一些。
ChatHub是一个chatbot聚合客户端,功能包括:一个应用里使用多种chatbot、同时和多个chatbot聊天、支持ChatGPT API模式、Markdown及代码高亮等等。