1- Ollama

1.1- 简介

Ollama 是一款开源的大型语言模型（LLM）服务工具，允许用户在本地环境中运行多种开源大模型，如 Llama 2、千问 Qwen、Mistral 等。

官网:ollama

1.2- 步骤一：准备工作

在开始安装 Ollama 之前，请确保你的系统满足以下要求：

• 操作系统：Windows 10 或更高版本
• 内存：至少 8GB（推荐 16GB 或更高）
• 硬盘空间：至少 50GB 的可用空间

1.3- 步骤二：下载 Ollama

1. 打开浏览器，访问 Ollama 官方网站。

网址:ollama

1. 在下载页面中，选择 “Windows” 版本，点击 “Download for Windows (Preview)” 按钮进行下载。
2. 下载完成后，文件会保存在 " 下载 " 文件夹中，文件名通常为 OllamaSetup.exe。

1.4- 步骤三：安装 Ollama

1. 打开 " 下载 " 文件夹，找到下载的安装包 OllamaSetup.exe。
2. 双击安装包，启动安装向导。

1.4.1- Winget 安装

winget install Ollama.Ollama

1. 按照屏幕上的指示进行安装：
   • 选择安装路径：可以选择默认路径（通常为 C:\Users\{你的电脑账户名}\AppData\Local\Ollama）或自定义路径。如果模型文件较大，建议将其安装在非系统盘以节省空间。
   • 完成安装：点击 " 安装 " 按钮，等待安装完成。

1.5- 步骤四：配置环境变量（可选）

如果你希望更改模型文件的存储路径，可以通过设置系统环境变量来实现：

1. 打开 " 控制面板 " 或 " 设置 "，搜索 " 环境变量 "。
2. 点击 " 编辑系统环境变量 "，在系统变量中添加一个新的变量：
   • 变量名：OLLAMA_MODELS
   • 变量值：你希望存储模型文件的路径，例如 D:\OllamaModels。

1.6- 步骤五：启动 Ollama 服务

1. 打开命令提示符（CMD）或 PowerShell。

2. 输入以下命令启动 Ollama 服务：

   ollama serve
   

   这将启动 Ollama 服务，并在本地的默认端口（11434）上运行。

1.6.1- Ollama 用法

用法:
  ollama [标志]
  ollama [命令]

可用命令:
  serve       启动 ollama
  create      从 Modelfile 创建模型
  show        显示模型信息
  run         运行模型
  pull        从注册表中拉取模型
  push        推送模型到注册表
  list        列出模型
  ps          列出正在运行的模型
  cp          复制模型
  rm          删除模型
  help        获取关于任何命令的帮助

标志:
  -h, --help      获取帮助
  -v, --version   显示版本信息

使用 "ollama [命令] --help" 获取关于某个命令的更多信息。

1.7- 步骤六：下载和运行模型

1. 返回 Ollama 官方网站，点击顶部的 " 模型 " 选项，查看可用模型。

2. 选择一个模型（例如 Llama 2 uncensored），查看其详细信息，如最后更新日期、大小、参数数量等。

3. 在命令提示符或 PowerShell 中运行以下命令下载并运行模型：

   ollama run <模型名称>
   

   例如：

   ollama run qwen:7b
   

ollama run llama3.2

系统会自动下载并运行所选模型。下载完成后，模型文件会保存在你设置的存储路径中。

2- Llama 模型命令

序号	命令	英文说明	说明
1	/set	Set session variables	设置会话变量
2	/show	Show model information	显示模型信息
3	/load <model>	Load a session or model	加载会话或模型
4	/save <model>	Save your current session	保存当前会话
5	/clear	Clear session context	清空会话上下文
6	/bye	Exit	退出会话
7	/?, /help	Help for a command	获取命令帮助
8	/? shortcuts	Help for keyboard shortcuts	获取快捷键帮助
9	"""	Use “”" to begin a multi-line message	开始多行消息

2.1- 退出

2.1.1- 退出会话

• 在终端中输入 exit 命令并回车
• 或者按 Ctrl + D 组合键来退出当前会话

2.1.2- 终止服务

• 可以按下 Ctrl + C 组合键来停止服务的运行。

2.1.3- 通用方法

快捷键：一些程序可能会定义特定的快捷键来退出，比如 Ctrl + Q 或 Ctrl + W。

3- 常见错误

3.1- 错误 1

ollama serve

Error: listen tcp 127.0.0.1:11434: bind: Only one usage of each socket address (protocol/network address/port) is normally permitted.

解决方案

这个错误信息表明端口 127.0.0.1:11434 已经被另一个进程占用了。通常，这意味着 Ollama 已经在运行，或者有其他程序正在使用该端口。以下是解决这个问题的步骤：

3.1.1- 检查端口是否被占用

打开命令行终端，输入以下命令查看端口 11434 是否被占用：

netstat -aon | findstr 11434

如果看到类似 LISTENING 的输出，说明端口被占用。

3.1.2- 找到占用端口的进程

记下上一步输出中的 PID（进程 ID），然后输入以下命令查看哪个进程在使用该端口：

tasklist | findstr <PID>

例如，如果 PID 是 17556，则命令为：

tasklist | findstr 17556

3.1.3- 结束占用端口的进程

结束占用端口的进程，可以使用以下命令：

taskkill /PID <PID> /F

例如，如果 PID 是 17556，则命令为：

taskkill /PID 17556 /F

3.1.4- 重新启动 Ollama

结束占用端口的进程后，再次尝试启动 Ollama：

ollama serve

3.2- Ollama Keys

这是一份与你的账户关联的公钥列表。添加你的公钥将允许你将模型推送到你的命名空间。要找到你的公钥，请执行以下步骤：

3.2.1- MacOS

~/.ollama/id_ed25519.pub

3.2.2- Linux

/usr/share/ollama/.ollama/id_ed25519.pub

3.2.3- Windows

C:\Users\<username>\.ollama\id_ed25519.pub

3.3- 步骤七：使用 Open-WebUI（可选）

1. 下载并安装 Open-WebUI，进入 backend 目录，执行 start_windows.bat 脚本启动服务。
2. 打开浏览器，访问 http://127.0.0.1:8080，即可进入 Open-WebUI 的网页界面，进行模型的交互操作。

3.4- 步骤八：高级配置（可选）

1. 修改默认端口：如果需要更改默认端口，可以设置环境变量 OLLAMA_HOST：

   set OLLAMA_HOST=0.0.0.0:8080
   

2. 公开访问：默认情况下，Ollama 只允许本地访问。如果需要公开访问，可以修改 OLLAMA_HOST 为 0.0.0.0。

4- 总结

通过以上详细步骤，你已经成功在 Windows 10 系统上安装并运行了 Ollama。Ollama 提供了一个简便的方式来本地部署和运行大型语言模型，适用于开发、研究和隐私保护等多种场景。希望本教程能帮助你快速上手并体验 AI 技术的魅力。