Ollam + open-webui

在windows上跑大语言模型其实挺简单的。

去Ollama官方网站 Ollama下载并安装 https://ollama.com/download/OllamaSetup.exe

ollama --help
Large language model runner

Usage:
  ollama [flags]
  ollama [command]

Available Commands:
  serve       Start ollama
  create      Create a model from a Modelfile
  show        Show information for a model
  run         Run a model
  pull        Pull a model from a registry
  push        Push a model to a registry
  list        List models
  cp          Copy a model
  rm          Remove a model
  help        Help about any command

Flags:
  -h, --help      help for ollama
  -v, --version   Show version information

Use "ollama [command] --help" for more information about a command.

拉取一个大语言模型比如 gemma:2b

ollama pull gemma:2b

在命令行中跑大语言模型并推理

ollama run gemma:2b
>>> 你是谁
我是一个 AI 自然语言处理模型，来自 Google。

我是一个大型语言模型，训练在大量文本上的数据上。我可以理解和生成多种语言，并可以完成各种自然语言任务，例如文本分类、关键词提取、自然语言翻译等等。

>>> 

到这一步说明ollama本地跑大语言模型就没问题了。

参考这里 Install Docker Desktop on Windows | Docker Docs 下载并安装 https://desktop.docker.com/win/main/amd64/Docker%20Desktop%20Installer.exe

然后在CMD 里面直接运行下面命令：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.nju.edu.cn/open-webui/open-webui:main

打开网页 http://127.0.0.1:3000 之后注册一下就可以登录进去和大语言模型聊天了