FreeLLMAPI:把几十家免费大模型接口,整理成一个可用的本地入口

FreeLLMAPI:把几十家免费大模型接口,整理成一个可用的本地入口|AI 生成封面图
FreeLLMAPI:把几十家免费大模型接口,整理成一个可用的本地入口|AI 生成封面图

如果你正在用 Claude Code、Codex、Aider 这类 AI 编程工具,或者只是想同时试试不同家的免费模型,FreeLLMAPI 会很容易让你看懂它的价值:你不用为每个服务单独改配置,而是在自己的电脑上开一个统一入口,把已经申请到的多个提供商密钥交给路由器管理。

编辑结论:freellmapi 更像是一个图像创作类项目。FreeLLMAPI 适合想低成本试用多家大模型、又不想分别维护一堆接口和限额的开发者与 AI 工具用户。它在本地提供一个 OpenAI 兼容接口,统一接入聊天、嵌入、图片、视频和语音模型,并能自动切换可用提供商。关键词:暂无明确标签

项目资料卡

  • 项目定位:7.4 billion tokens per month. 34 free LLM providers. 635 free model endpoints. All behind one /v1 endpoint, plus any custom OpenAI-compatible endpoint. Smart routing, automatic failover, encrypted keys. Personal experimentation only.
  • GitHub:tashfeenahmed/freellmapi
  • 官网:https://freellmapi.co/
  • 主语言:TypeScript
  • 开源协议:MIT
  • 热度:22,049 stars

项目的重点不是训练新模型,而是把分散的免费额度、模型和接口整理成一套能被常见客户端调用的服务。需要先说清楚的是,资料把它定位为个人试验用途;它也支持图片、视频和语音接口,但本质上仍是一个大模型 API 路由工具,而不是面向普通用户的绘图软件。

编辑结论:FreeLLMAPI 最适合有一定折腾意愿、希望把多个免费模型拼成一个稳定入口的人。它解决的是“接口太多、限额不同、某家临时不可用”的管理麻烦,不等于免费获得前沿模型,也不适合作为有服务等级承诺的生产系统。

它到底在解决什么麻烦

单独使用免费模型时,每家服务商通常都有自己的 SDK、密钥、请求地址和速率限制。FreeLLMAPI 把这些连接方式收进一个本地服务,对外暴露 OpenAI 兼容的 /v1 接口。对已经支持 OpenAI API 的应用来说,通常只需要改基础地址和统一密钥,应用侧就能继续工作。

freellmapi 官网首页截图,帮助读者快速判断产品定位。
freellmapi 官网首页截图,帮助读者快速判断产品定位。

项目资料列出 34 家免费提供商、474 个模型系列和 635 个免费模型端点,并把聊天、嵌入、转录、视频等能力纳入目录。这里的数字是项目当前目录中的规模,不代表每个模型都拥有相同的额度、速度或能力,真正可用的范围仍取决于你添加了哪些密钥以及提供商当天的限制。

  • 一个入口:OpenAI 风格客户端指向本地服务即可,减少反复修改不同工具配置的工作。
  • 统一管理:提供商密钥保存在 SQLite 中,并以 AES-256-GCM 加密;应用只接触一个统一的 bearer token。
  • 自动接力:某个密钥遇到 429 或 5xx 时,路由器会让它进入冷却状态,再尝试链上的下一个模型。

最值得看的,是它怎样做路由

FreeLLMAPI 不只是把多个地址放在一个列表里。它会结合模型的速度、能力和可靠性评分安排顺序,还会按提供商报告的上限记录 RPM、RPD、TPM、TPD 等指标。对用户来说,这意味着系统会尽量避开已经达到限额或暂时不健康的密钥,少一些“明明还有别的免费额度,却卡在一家服务商上”的情况。

同一个模型如果同时出现在多个提供商那里,项目会把它们合并成一个模型入口,并在组内进行故障切换。用户还可以建立命名的 fallback chain,例如 coding chain 或 vision chain,再通过仪表盘或 auto:<profile> 在请求时选择。这类机制适合希望保持工作流稳定、又不想每次手工挑模型的人。

请求大致会经历这些步骤:

  • 客户端向本地统一接口发起请求。
  • 路由器检查模型健康状况、优先级和当前额度。
  • 系统在内存中解密对应密钥并调用上游提供商。
  • 如果遇到 429 或 5xx,就冷却当前密钥并按链路继续尝试。
  • 响应会带有 X-Routed-Via,方便查看实际由哪家平台和哪个模型处理。

接口和工作流,覆盖到什么程度

它支持的范围比单纯聊天代理更宽。资料列出了聊天补全、Responses、传统 Completions、图片生成、视频生成、语音合成、语音转录、嵌入和模型列表等 OpenAI 风格接口,同时还提供 Anthropic Messages API、原生 Gemini 的 /v1beta 表面以及可选的 Ollama 模拟接口。

这让不同类型的工具可以共用同一套后端:Claude Code 和官方 Anthropic SDK 可以走 Messages API,Gemini CLI 使用自己的通信形式,Zed 和 JetBrains AI 则可以通过可选的 Ollama 模拟接入。

项目还列出对 Cursor、Cline、Roo Code、Continue、Aider、OpenCode 等客户端的配置方案,并提供命令生成配置。生成器支持 dry-run,会在修改已有配置前创建带时间戳的备份。

  • 聊天和编程:auto 或预设链,让路由器在可用模型中选择;适合代码问答、文本整理等个人任务。
  • 多模态输入:Playground 可以接收 PNG、JPEG、WebP、GIF 图片,也能把 TXT、MD、CSV、JSON、LOG 文件以内嵌文本方式送进提示词。
  • 媒体接口:项目声明可路由图片、视频和语音生成,其中视频任务会统一同步和排队式提供商的返回方式,并返回完成的 MP4。
  • 多模型合成:请求虚拟的 fusion 模型后,多个免费模型会并行生成草稿,再由一个评审模型合成答案。

适合谁,不太适合谁

第一类适合人群是开发者和 AI 编程工具用户。他们通常已经知道什么是 API 密钥,也愿意修改一个 base URL。FreeLLMAPI 对这类人的价值很直接:换模型、做备用链、观察实际路由结果,都集中在一个本地控制台里。

第二类是想研究模型差异的个人用户。项目把不同提供商的模型、上下文窗口、速率限制和免费 token 预算放进目录,还提供 Playground 与 24 小时到 90 天的请求、成功率、延迟和提供商统计。它更适合做个人实验、原型和模型比较,而不是把业务完全押在免费额度上。

不太适合的人也很明确:只想打开网页就聊天、完全不想申请密钥或维护本地服务的普通用户,可能会觉得配置过程太重。对需要 SLA、前沿模型和稳定延迟的团队,项目自己也提醒免费额度存在波动,晚些时候可能因热门模型达到日限额而降低实际可用能力。

上手门槛与费用边界

最省事的部署方式需要 Docker,项目提供安装脚本;也可以从 Windows 的 exe 安装包或 macOS 的 dmg 开始。服务器安装会有邮箱和密码账户,桌面应用则不要求另外设置密码。运行环境方面,项目声明支持 Node 20 及以上,可运行在 Windows、macOS、Linux 服务器和包括 Raspberry Pi 在内的 ARM 小型设备上。

项目 资料中已明确的信息
路由器本体 MIT 许可证,项目资料称永久免费
高级目录服务 19 美元/年,或 49 美元一次性购买终身使用
免费安装 使用月度目录快照,模型加入实时目录约 30 天后才进入
高级服务内容 实时模型目录,而不是解除路由器功能限制

这里的“免费”主要指路由器软件和上游服务商提供的免费额度,并不意味着所有模型都无条件可用。你仍需要自己准备各提供商的密钥,而且项目写明用途是“Personal experimentation only”。因此,如果内容涉及商业交付、客户数据或版权要求,资料没有提供统一的商用授权或版权安全承诺,不能把聚合接口本身理解成这些保证。

限制与编辑判断

FreeLLMAPI 的便利来自多个免费层叠加,限制也正好来自这里。不同提供商的额度、接口格式和服务状态会变化;项目靠签名模型目录自动同步新模型、配额变化和兼容性修复,但免费安装使用的是月度快照,更新速度比实时目录慢。

另外,项目资料明确写出没有前沿模型、延迟会变化、没有 SLA。热门模型在 UTC 午夜前可能先用完当天额度,导致路由器转向其他模型,实际回答能力随时间波动。自动故障切换能减少单点故障,却不能把所有模型变成同样的质量和速度。

我的判断是,如果让我现在上手,我会先拿它做个人编程辅助、接口原型和不同免费模型的横向试用,并把关键任务保留一个明确的备用方案。它值得试的地方是统一入口、额度追踪和可观察的路由过程;需要谨慎的地方则是上游免费政策、模型质量和“仅限个人试验”的使用边界。

官方入口是 freellmapi.co,源码和安装文档位于 GitHub 仓库;项目还提供 API reference、客户端配置、架构和部署文档。最近提供的 release 信息包括 v0.9.0,但具体版本是否适合你的系统,仍应以 Releases 页面和安装文档为准。

AIPG AI导航专注于收录和解读 AI 工具、AI 网站与智能体资源。

© 版权声明

相关文章

没有相关内容!

暂无评论

FreeLLMAPI:把几十家免费大模型接口,整理成一个可用的本地入口
none
暂无评论...