Usage:  docker model COMMAND

Commands:
  list        List models available locally
  pull        Download a model from Docker Hub
  rm          Remove a downloaded model
  run         Run a model interactively or with a prompt
  status      Check if the model runner is running
  version     Show the current version

拉取模型

将模型从 Docker Hub 拉取到您的本地环境。

$ docker model pull <model>

示例

$ docker model pull ai/smollm2

输出

Downloaded: 257.71 MB
Model ai/smollm2 pulled successfully

列出可用模型

列出当前已拉取到您的本地环境的所有模型。

$ docker model list

您将看到类似以下内容

+MODEL       PARAMETERS  QUANTIZATION    ARCHITECTURE  MODEL ID      CREATED     SIZE
+ai/smollm2  361.82 M    IQ2_XXS/Q4_K_M  llama         354bf30d0aa3  3 days ago  256.35 MiB

运行模型

运行模型并使用提交的提示或在聊天模式下与其交互。

一次性提示

$ docker model run ai/smollm2 "Hi"

输出

Hello! How can I assist you today?

交互式聊天

docker model run ai/smollm2

输出

Interactive chat mode started. Type '/bye' to exit.
> Hi
Hi there! It's SmolLM, AI assistant. How can I help you today?
> /bye
Chat session ended.

移除模型

从您的系统中移除已下载的模型。

$ docker model rm <model>

输出

Model <model> removed successfully

将 Docker Model Runner 集成到您的软件开发生命周期中

您现在可以开始构建由 Docker Model Runner 提供支持的生成式 AI 应用程序了。

如果您想尝试现有的生成式 AI 应用程序，请遵循以下说明。

设置示例应用程序。克隆并运行以下仓库

$ git clone https://github.com/docker/hello-genai.git

在您的终端中，导航到 hello-genai 目录。
运行 run.sh 来拉取所选模型并运行应用程序
在浏览器中打开仓库 README 中指定的地址访问您的应用程序。

您将看到生成式 AI 应用程序的界面，您可以在其中开始输入提示。

您现在可以与由本地模型提供支持的您自己的生成式 AI 应用程序进行交互。尝试几个提示，注意响应速度有多快——它们都使用 Docker 在您的机器上运行。

常见问题

哪些模型可用？

所有可用模型都托管在公共 Docker Hub 命名空间 ai 中。

哪些 API 端点可用？

启用该功能后，以下新 API 可用

#### Inside containers ####

http://model-runner.docker.internal/

    # Docker Model management
    POST /models/create
    GET /models
    GET /models/{namespace}/{name}
    DELETE /models/{namespace}/{name}

    # OpenAI endpoints
    GET /engines/llama.cpp/v1/models
    GET /engines/llama.cpp/v1/models/{namespace}/{name}
    POST /engines/llama.cpp/v1/chat/completions
    POST /engines/llama.cpp/v1/completions
    POST /engines/llama.cpp/v1/embeddings
    Note: You can also omit llama.cpp.
    E.g., POST /engines/v1/chat/completions.

#### Inside or outside containers (host) ####

Same endpoints on /var/run/docker.sock

    # While still in Beta
    Prefixed with /exp/vDD4.40

如何通过 OpenAI API 交互？

从容器内部

从另一个容器内部使用 curl 调用 OpenAI 端点 (chat/completions) 的示例

#!/bin/sh

curl http://model-runner.docker.internal/engines/llama.cpp/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "ai/smollm2",
        "messages": [
            {
                "role": "system",
                "content": "You are a helpful assistant."
            },
            {
                "role": "user",
                "content": "Please write 500 words about the fall of Rome."
            }
        ]
    }'

从主机使用 Unix 套接字

从主机使用 curl 通过 Docker 套接字调用 OpenAI 端点 (chat/completions) 的示例

#!/bin/sh

curl --unix-socket $HOME/.docker/run/docker.sock \
    localhost/exp/vDD4.40/engines/llama.cpp/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "ai/smollm2",
        "messages": [
            {
                "role": "system",
                "content": "You are a helpful assistant."
            },
            {
                "role": "user",
                "content": "Please write 500 words about the fall of Rome."
            }
        ]
    }'

从主机使用 TCP

如果您想从主机与 API 交互，但使用 TCP 而非 Docker 套接字，您可以从 Docker Desktop GUI 或通过 Docker Desktop CLI 启用主机端 TCP 支持。例如，使用 docker desktop enable model-runner --tcp <port>。

之后，按照先前文档中的说明，使用 localhost 和选定的或默认端口与其交互。

#!/bin/sh

	curl http://localhost:12434/engines/llama.cpp/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "ai/smollm2",
        "messages": [
            {
                "role": "system",
                "content": "You are a helpful assistant."
            },
            {
                "role": "user",
                "content": "Please write 500 words about the fall of Rome."
            }
        ]
    }'

已知问题

`docker model` 未被识别

如果您运行 Docker Model Runner 命令并看到

docker: 'model' is not a docker command

这意味着 Docker 无法找到插件，因为它不在预期的 CLI 插件目录中。

要解决此问题，请创建一个符号链接以便 Docker 可以检测到它

$ ln -s /Applications/Docker.app/Contents/Resources/cli-plugins/docker-model ~/.docker/cli-plugins/docker-model

链接后，重新运行该命令。

打开 Docker Desktop 中的设置视图。
导航到 开发中功能 中的 测试版 选项卡。
取消勾选 启用 Docker Model Runner 复选框。
选择 应用并重启。

Docker Model Runner

启用 Docker Model Runner

可用命令

模型运行器状态

查看所有命令