优化构建中的缓存使用

使用Docker构建时，如果指令及其依赖的文件自上次构建以来没有更改，则会从构建缓存中重用一层。重用缓存中的层可以加快构建过程，因为Docker无需再次重新构建该层。

以下是一些可用于优化构建缓存并加快构建过程的技术

• 排序你的层：将Dockerfile中的命令按逻辑顺序排列可以帮助你避免不必要的缓存失效。
• 保持上下文较小：上下文是指发送到构建器以处理构建指令的文件和目录集。尽可能减小上下文可以减少需要发送到构建器的数据量，并降低缓存失效的可能性。
• 使用绑定挂载：绑定挂载允许你将主机上的文件或目录挂载到构建容器中。使用绑定挂载可以帮助你避免镜像中不必要的层，这可能会减慢构建过程。
• 使用缓存挂载：缓存挂载允许你指定在构建期间使用的持久化包缓存。持久化缓存有助于加快构建步骤，特别是涉及使用包管理器安装包的步骤。拥有一个持久的包缓存意味着，即使你重新构建一个层，你也只需下载新的或已更改的包。
• 使用外部缓存：外部缓存允许你将构建缓存存储在远程位置。外部缓存镜像可以在多个构建之间以及不同的环境中共享。

排序你的层

将Dockerfile中的命令按逻辑顺序排列是一个很好的起点。由于更改会导致对后续步骤进行重建，因此尝试使代价较高的步骤出现在Dockerfile的开头。经常更改的步骤应出现在Dockerfile的末尾，以避免触发未更改层的重建。

考虑以下示例。Dockerfile代码段从当前目录中的源文件运行JavaScript构建

# syntax=docker/dockerfile:1
FROM node
WORKDIR /app
COPY . .          # Copy over all files in the current directory
RUN npm install   # Install dependencies
RUN npm build     # Run build

此Dockerfile效率相当低。更新任何文件都会导致每次构建Docker镜像时都重新安装所有依赖项，即使这些依赖项自上次以来没有更改也是如此。

相反，可以将COPY命令分成两部分。首先，复制包管理文件（在本例中为package.json和yarn.lock）。然后，安装依赖项。最后，复制项目源代码，该代码会频繁更改。

# syntax=docker/dockerfile:1
FROM node
WORKDIR /app
COPY package.json yarn.lock .    # Copy package management files
RUN npm install                  # Install dependencies
COPY . .                         # Copy over project files
RUN npm build                    # Run build

通过在Dockerfile的早期层安装依赖项，当项目文件更改时，无需重新构建这些层。

保持上下文较小

确保你的上下文不包含不必要文件的最简单方法是在构建上下文的根目录中创建一个.dockerignore文件。.dockerignore文件的工作方式类似于.gitignore文件，允许你从构建上下文中排除文件和目录。

这是一个示例.dockerignore文件，它排除了node_modules目录，所有以tmp开头的文件和目录

node_modules
tmp*

在.dockerignore文件中指定的忽略规则适用于整个构建上下文，包括子目录。这意味着它是一种相当粗粒度的机制，但它是排除已知在构建上下文中不需要的文件和目录（例如临时文件、日志文件和构建工件）的好方法。

使用绑定挂载

你可能熟悉在使用docker run或Docker Compose运行容器时使用的绑定挂载。绑定挂载允许你将主机上的文件或目录挂载到容器中。

# bind mount using the -v flag
docker run -v $(pwd):/path/in/container image-name
# bind mount using the --mount flag
docker run --mount=type=bind,src=.,dst=/path/in/container image-name

要在构建中使用绑定挂载，你可以在Dockerfile中使用--mount标志和RUN指令

FROM golang:latest
WORKDIR /app
RUN --mount=type=bind,target=. go build -o /app/hello

在这个示例中，在执行go build命令之前，当前目录被挂载到构建容器中。源代码在RUN指令执行期间在构建容器中可用。指令执行完毕后，挂载的文件不会保留在最终镜像中，也不会保留在构建缓存中。只有go build命令的输出保留下来。

Dockerfile 中的COPY和ADD指令允许您将文件从构建上下文复制到构建容器中。使用绑定挂载对于构建缓存优化非常有利，因为您不会向缓存添加不必要的层。如果您的构建上下文比较大，并且仅用于生成构件，则最好使用绑定挂载将生成构件所需的源代码临时挂载到构建中。如果您使用COPY将文件添加到构建容器，BuildKit 会将所有这些文件包含在缓存中，即使这些文件未在最终镜像中使用。

在构建中使用绑定挂载时，需要注意以下几点

• 默认情况下，绑定挂载是只读的。如果您需要写入挂载的目录，则需要指定rw选项。但是，即使使用rw选项，更改也不会保留在最终镜像或构建缓存中。文件写入在RUN指令执行期间持续存在，并在指令执行完毕后被丢弃。

• 挂载的文件不会保留在最终镜像中。只有RUN指令的输出会保留在最终镜像中。如果您需要将构建上下文中的文件包含在最终镜像中，则需要使用COPY或ADD指令。

• 如果目标目录不为空，则目标目录的内容会被挂载的文件隐藏。RUN指令执行完毕后，原始内容将被恢复。

  示例

  例如，给定一个构建上下文，其中只包含一个Dockerfile

  .
  └── Dockerfile

  以及一个将当前目录挂载到构建容器的Dockerfile

  FROM alpine:latest
  WORKDIR /work
  RUN touch foo.txt
  RUN --mount=type=bind,target=. ls
  RUN ls

  使用绑定挂载的第一个ls命令显示挂载目录的内容。第二个ls命令列出原始构建上下文的内容。

  构建日志

  #8 [stage-0 3/5] RUN touch foo.txt
  #8 DONE 0.1s
  
  #9 [stage-0 4/5] RUN --mount=target=. ls -1
  #9 0.040 Dockerfile
  #9 DONE 0.0s
  
  #10 [stage-0 5/5] RUN ls -1
  #10 0.046 foo.txt
  #10 DONE 0.1s

使用缓存挂载

Docker 中的常规缓存层对应于指令及其依赖文件的精确匹配。如果指令及其依赖文件自构建层以来已更改，则该层将失效，构建过程必须重新构建该层。

缓存挂载是一种指定在构建期间使用的持久性缓存位置的方法。缓存是跨构建累积的，因此您可以多次读取和写入缓存。这种持久性缓存意味着，即使您需要重新构建层，也只需下载新的或更改的包。任何未更改的包都将从缓存挂载中重用。

要在构建中使用缓存挂载，您可以使用--mount标志以及Dockerfile中的RUN指令

FROM node:latest
WORKDIR /app
RUN --mount=type=cache,target=/root/.npm npm install

在这个示例中，npm install命令使用/root/.npm目录（npm 缓存的默认位置）的缓存挂载。缓存挂载在构建之间持久存在，因此即使您最终需要重新构建层，也只需下载新的或更改的包。对缓存的任何更改都将在构建之间持久存在，并且缓存将在多个构建之间共享。

您指定缓存挂载的方式取决于您使用的构建工具。如果您不确定如何指定缓存挂载，请参阅您使用的构建工具的文档。以下是一些示例

RUN --mount=type=cache,target=/go/pkg/mod \
    go build -o /app/hello

RUN --mount=type=cache,target=/var/cache/apt,sharing=locked \
  --mount=type=cache,target=/var/lib/apt,sharing=locked \
  apt update && apt-get --no-install-recommends install -y gcc

RUN --mount=type=cache,target=/root/.cache/pip \
    pip install -r requirements.txt

RUN --mount=type=cache,target=/root/.gem \
    bundle install

RUN --mount=type=cache,target=/app/target/ \
    --mount=type=cache,target=/usr/local/cargo/git/db \
    --mount=type=cache,target=/usr/local/cargo/registry/ \
    cargo build

RUN --mount=type=cache,target=/root/.nuget/packages \
    dotnet restore

RUN --mount=type=cache,target=/tmp/cache \
    composer install

务必阅读您使用的构建工具的文档，以确保您使用的是正确的缓存挂载选项。包管理器对它们如何使用缓存有不同的要求，使用错误的选项可能会导致意外行为。例如，Apt 需要独占访问其数据，因此缓存使用选项sharing=locked来确保使用相同缓存挂载的并行构建相互等待，而不是同时访问相同的缓存文件。

使用外部缓存

构建的默认缓存存储位于您使用的构建器（BuildKit 实例）内部。每个构建器都使用自己的缓存存储。当您在不同的构建器之间切换时，缓存不会在它们之间共享。使用外部缓存允许您定义一个远程位置来推送和拉取缓存数据。

外部缓存对于 CI/CD 管道尤其有用，在 CI/CD 管道中，构建器通常是短暂的，构建时间非常宝贵。在构建之间重用缓存可以极大地加快构建过程并降低成本。您甚至可以在本地开发环境中使用相同的缓存。

要使用外部缓存，您可以使用docker buildx build命令指定--cache-to和--cache-from选项。

• --cache-to 将构建缓存导出到指定位置。
• --cache-from 指定构建要使用的远程缓存。

以下示例演示如何使用docker/build-push-action设置 GitHub Actions 工作流程，并将构建缓存层推送到 OCI 注册表镜像

name: ci

on:
  push:

jobs:
  docker:
    runs-on: ubuntu-latest
    steps:
      - name: Login to Docker Hub
        uses: docker/login-action@v3
        with:
          username: ${{ vars.DOCKERHUB_USERNAME }}
          password: ${{ secrets.DOCKERHUB_TOKEN }}

      - name: Set up Docker Buildx
        uses: docker/setup-buildx-action@v3

      - name: Build and push
        uses: docker/build-push-action@v6
        with:
          push: true
          tags: user/app:latest
          cache-from: type=registry,ref=user/app:buildcache
          cache-to: type=registry,ref=user/app:buildcache,mode=max

此设置告诉 BuildKit 在user/app:buildcache镜像中查找缓存。构建完成后，新的构建缓存将被推送到同一镜像，覆盖旧的缓存。

此缓存也可以在本地使用。要在本地构建中拉取缓存，您可以使用docker buildx build命令的--cache-from选项

$ docker buildx build --cache-from type=registry,ref=user/app:buildcache .

总结

优化构建中的缓存使用可以显著加快构建过程。保持构建上下文较小、使用绑定挂载、缓存挂载和外部缓存都是您可以用来充分利用构建缓存并加快构建过程的技术。

有关本指南中讨论的概念的更多信息，请参见

• .dockerignore 文件
• 缓存失效
• 缓存挂载
• 缓存后端类型
• 构建最佳实践