拾荒的小海螺

1、简述

Ollama 是一个高效的 AI 推理引擎，支持多种大模型的加载和推理。DeepSeek 是一款高性能的开源大模型，适用于 NLP 任务。本文将介绍如何在 Windows 上安装并运行 DeepSeek，并列出相关的安装选项，如修改安装目录。

2、环境准备

在安装 Ollama 和 DeepSeek 之前，请确保你的 Windows 系统满足以下要求：

操作系统：Windows 10/11 (64-bit)
Python 版本：Python 3.8 及以上
内存CPU：64G
显存GPU：RTX3070TI 推荐 8GB 以上的显存，以便加载 DeepSeek 模型

首先，安装 Python 并配置环境变量。然后安装所需的 Python 库：

pip install --upgrade pip setuptools wheel
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

如果你的服务器是 NVIDIA GPU，请确保已安装最新的驱动，并检查 nvidia-smi 是否可用。

3、安装 Ollama

Ollama 提供 Windows 版本，可通过官方安装包安装。

3.1 下载并安装 Ollama

访问 Ollama 官网下载 Windows 版本。
运行安装程序并按照提示安装。
安装完成后，打开 cmd 或 PowerShell，运行以下命令检查安装是否成功：

ollama --v

3.2 修改安装目录（可选）

Ollama 默认安装在 C:\Program Files\Ollama，如果需要修改安装目录，可以在安装时选择自定义路径。

如果已经安装并想更改目录，可以按照以下步骤：

卸载 Ollama。
重新运行安装程序，并选择新的安装路径。

OllamaSetup.exe /DIR=D:\wlsoft\ollama

4、集成 DeepSeek 模型

4.1 下载 DeepSeek 模型

DeepSeek 提供了多个开源模型，可通过 ollama 命令下载。

ollama run deepseek-r1:7b

注意：DeepSeek 模型较大，下载可能需要一定时间。

4.2 修改模型存储目录（可选）

Ollama 默认将模型存储在 C:\Users\<用户名>\.ollama，如果需要修改，可以设置环境变量 OLLAMA_HOME，修改好后重启Ollama进程，将默认路径底下的models拷贝到你新设置的目录，例如：

setx OLLAMA_HOME D:\ollama_models

其他的参数也可以通过环境变量来设置：

OLLAMA_HOST=0.0.0.0 解决外网访问问题
OLLAMA_MODELS=D:\ollama_models   解决windows模型默认下载C 盘的问题
OLLAMA_KEEP_ALIVE=24h     设置模型加载到内存中保持24个小时(默认情况下，模型在卸载之前会在内存中保留 5 分钟)
OLLAMA_HOST=0.0.0.0:11434 解决无法api访问的问题及修改默认端口11434端口
OLLAMA_NUM_PARALLEL=2  设置2个用户并发请求
OLLAMA_MAX_LOADED_MODELS=2 设置同时加载多个模型

4.3 在 Ollama 上加载 DeepSeek

安装好 Ollama 和 DeepSeek 之后，我们可以使用以下 Python 代码来加载并运行模型：

import requests

url = "http://localhost:11434/api/generate"
headers = {"Content-Type": "application/json"}
data = {"model": "deepseek-ai/deepseek-llm-7b", "prompt": "What is DeepSeek AI?"}

response = requests.post(url, json=data, headers=headers)
print(response.json())

4.4 运行推理服务

如果希望将 DeepSeek 部署为 API 服务，可以使用 Ollama 提供的 run 命令：

ollama run deepseek-r1:7b

然后可以通过 HTTP 请求调用该服务，例如：

curl -X POST "http://localhost:11434/api/generate" -d '{"model": "deepseek-ai/deepseek-llm-7b", "prompt": "What is DeepSeek AI?"}' -H "Content-Type: application/json"

5、安装 Ollama-WebUI

推荐安装ollama web-ui来管理和使用测试模型,通过GIT拉取项目源码：

git clone https://github.com/ollama-webui/ollama-webui-lite.git

当前环境要提前准备nodejs环境：

cd ollama-webui-lite
npm install

安装完成后，可以通过run方法启动,访问http://localhost:3000：

npm run dev

6、结论

本文介绍了如何在 Windows 上安装并运行 Ollama 和 DeepSeek，包括环境准备、修改安装目录、下载 DeepSeek 模型及运行推理服务等内容。希望对你有所帮助！

AI：Ollama 集成 DeepSeek 的技术指南