LLM 大模型免费使用

[!abstract] 本文要点
从开源模型本地部署、免费 API,到按量付费的商用接口,一文整理免费或低成本使用大模型的各种途径。

1. 开源模型

1.1. 线上部署

1.1.1. Hugging Chat

  • Hugging Face 官方的免费在线聊天平台,无需付费即可体验多款开源模型。

1.2. 本地部署工具

1.2.1. Ollama

  • 下载安装后可在本地使用大模型,也可通过其 API 在应用中调用。

1.2.2. GPT4All

  • 开源软件,能在本地计算机上使用先进的开源 LLM,可从网站下载安装到系统后使用。

1.2.3. LM Studio

  • 本地运行大模型的 GUI 程序,可以在笔记本电脑上运行 LLM,保证完全离线,通过应用内聊天 UI 或与 OpenAI 兼容的本地服务器使用模型,可从 HuggingFace 存储库下载任何兼容的模型文件。

1.2.4. Jan

  • LM Studio 的开源替代品,具有简洁优雅的用户界面,用户可以从 Jan UI 下载模型,也可以使用 HuggingFace 提供的任何模型或上传自定义模型。

2. 商用免费

2.1. 免费 API

2.1.1. GitHub Models

  • GitHub 推出的模型体验入口,可在线试用多种主流模型,并提供免费 API 额度供开发调用。

2.1.2. x.ai

  • xAI 官方平台,可在线体验 Grok 系列模型并接入其 API。

2.2. 在线使用平台

2.2.1. Nvidia AI 平台

  • 可免费或接近免费地使用顶尖开源大语言模型,如 Llama3 等。注册后获 1000 个免费推理积分,还能获取免费 API 密钥,通过编写脚本让本地系统与模型交互。

2.2.2. Vercel AI

  • 无需登录即可免费使用,可同时使用两个模型回答问题以便比较,可免费使用 Llama3-70b-groq。

2.2.3. Together.AI

  • 用谷歌邮箱登录送价值 25 美元的积分,有 108 个 AI 模型可供选择。

2.2.4. Perplexity Lab

  • 不需要登录,点开就能使用,有多个 Llama3 的微调模型。

2.2.5. 大模型竞技场

  • 如 LMSYS Chatbot Arena、OpenCompass、琅琊榜等平台,无需注册登录或付费,可匿名或选定模型进行问答对比及聊天,支持众多不同的模型。

3. 商用收费

3.1. API

3.1.1. Deepseek

  • DeepSeek 官方 API,按 token 计费、性价比高,注册并充值后即可调用 DeepSeek 系列模型。

3.1.2. Open Router

  • 聚合多家模型提供商的 API 路由平台,用一套接口即可调用多种模型,按实际用量计费。