GitHub Models

image

GitHub Models详细介绍及操作指南

GitHub Models是GitHub推出的一项新功能，旨在为开发者提供访问和使用顶级大语言模型的机会，从而推动AI工程师的崛起。

以下是对GitHub Models的详细介绍及具体操作步骤。

1- GitHub Models的基本功能

  1. 模型访问：GitHub Models汇集了多个业界领先的大模型，包括微软的Phi-3、OpenAI的GPT-4、Meta的Llama 3.1等。

    1. 开发者可以通过内置的交互式沙盒（Playground）试用这些模型，测试不同的提示和模型参数。

  2. 模型部署：开发者可以通过GitHub代码空间（Codespaces）和VS Code开发环境轻松导入合适的模型，并将其部署到生产环境。

    1. 这一过程简化了从模型试用到实际应用的过渡。

  3. 无缝集成：GitHub Models与Azure AI无缝集成，提供全球25个以上的Azure区域部署AI应用的服务，并获取Azure的企业级安全保护。这确保了模型的安全性和可扩展性。

  4. 隐私保护：GitHub承诺模型中的任何提示或输出都不会共享给模型提供者，也不会用于训练或改进模型，确保用户数据的隐私。

  5. 访问限制：目前，个人用户每天的访问次数有限制，每次请求最多可处理8000个token，输出4000个token。这些限制旨在确保资源的公平使用。

2- GitHub Models的使用流程

2.1- 申请使用

网址:GitHub Models

  1. 访问GitHub Models的申请页面。
  2. 填写申请表格并提交。
  3. 等待审核通过，审核通过后会收到通知。

2.2- 使用Playground

  1. 登录GitHub账户。
  2. 进入GitHub Models页面，选择你感兴趣的模型。
  3. 点击模型详情页面右上角的Playground按钮，进入免费演练场。
  4. 在Playground中，输入你的提示词并进行测试。

2.3- 使用API

  1. 在模型详情页面，点击右上角的“Get started”按钮。
  2. 在弹出的对话框中，选择你使用的编程语言（如JavaScript）。
  3. 创建个人访问令牌（Access Token）。
  4. 按照页面提供的步骤，将API集成到你的应用中。

3- 详细操作步骤

3.1- 步骤一：下载模型文件

  1. 在GitHub上找到你想要使用的预训练模型的代码库。
  2. 点击“Clone”按钮或使用Git命令行将代码库克隆到本地计算机。
    git clone <repository_url>

3.2- 步骤二：安装依赖

  1. 进入克隆到本地的代码库目录。
    cd <repository_directory>
  2. 查看代码库中的文档或README文件，了解需要安装的依赖项。
  3. 使用包管理工具（如pip或npm）安装依赖项。
    pip install -r requirements.txt

3.3- 步骤三：加载和使用模型

  1. 根据代码库中的文档，编写代码加载模型。

    from transformers import AutoModel, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("<model_name>")
model = AutoModel.from_pretrained("<model_name>")

  2. 编写代码进行推理。

    inputs = tokenizer("Hello, world!", return_tensors="pt")
outputs = model(inputs)
print(outputs)

4- 个人用户的使用有一定的限制

具体来说：

  • 每天的访问次数：个人用户每天最多可以访问150次。
  • 每分钟的请求次数：每分钟最多可以进行15次请求。
  • 每次请求的token数量：每次请求最多可以处理8000个token，输出最多为4000个token。

这些限制旨在确保资源的公平使用，并防止滥用系统资源。如果需要更高的使用限额，可以考虑申请企业级账户或联系GitHub获取更多信息。

4- GitHub Models的未来发展

GitHub CEO Thomas Dohmke表示，GitHub Models的推出标志着GitHub的一次重要转型，从通过开源协作创建AI到借助AI的力量创建软件，再到如今利用GitHub Models推动AI工程师的崛起。

GitHub将继续努力引入更多的合作伙伴，为开发者提供更丰富的工具和资源。

通过GitHub Models，开发者不仅可以轻松访问和使用顶级AI模型，还可以在实际应用中快速部署和集成这些模型，从而加速AI应用的开发和创新。