具有 Pod 到 Pod 通信的作业

在本例中,您将在 索引完成模式 中运行作业,该模式配置为使作业创建的 Pod 可以使用 Pod 主机名而不是 Pod IP 地址相互通信。

作业中的 Pod 可能需要相互通信。每个 Pod 中运行的用户工作负载可以查询 Kubernetes API 服务器以了解其他 Pod 的 IP,但依赖 Kubernetes 的内置 DNS 解析要简单得多。

索引完成模式下的作业会自动将 Pod 的主机名设置为 ${jobName}-${completionIndex} 格式。您可以使用此格式来确定性地构建 Pod 主机名并启用 Pod 通信,无需 创建与 Kubernetes 控制平面的客户端连接以通过 API 请求获取 Pod 主机名/IP。

此配置适用于需要 Pod 网络但不想依赖与 Kubernetes API 服务器的网络连接的用例。

开始之前

您应该已经熟悉 作业 的基本用法。

您需要有一个 Kubernetes 集群,并且 kubectl 命令行工具必须配置为与您的集群通信。建议在至少有两个节点(不充当控制平面主机)的集群上运行本教程。如果您还没有集群,可以使用 minikube 创建一个,或者可以使用以下 Kubernetes 游乐场之一

您的 Kubernetes 服务器必须为 v1.21 或更高版本。要检查版本,请输入 kubectl version

启动具有 Pod 到 Pod 通信的作业

要在作业中使用 Pod 主机名启用 Pod 到 Pod 通信,您必须执行以下操作

  1. 设置一个 无头服务,该服务具有作业创建的 Pod 的有效标签选择器。无头服务必须与作业位于同一个命名空间。一种简单的方法是使用 job-name: <your-job-name> 选择器,因为 Kubernetes 会自动添加 job-name 标签。此配置将触发 DNS 系统创建运行作业的 Pod 的主机名的记录。

  2. 通过在作业模板规范中包含以下值,将无头服务配置为作业 Pod 的子域服务

    subdomain: <headless-svc-name>
    

示例

以下是一个通过启用 Pod 主机名实现 Pod 到 Pod 通信的作业的工作示例。只有在所有 Pod 成功使用主机名相互 ping 后,作业才会完成。


apiVersion: v1
kind: Service
metadata:
  name: headless-svc
spec:
  clusterIP: None # clusterIP must be None to create a headless service
  selector:
    job-name: example-job # must match Job name
---
apiVersion: batch/v1
kind: Job
metadata:
  name: example-job
spec:
  completions: 3
  parallelism: 3
  completionMode: Indexed
  template:
    spec:
      subdomain: headless-svc # has to match Service name
      restartPolicy: Never
      containers:
      - name: example-workload
        image: bash:latest
        command:
        - bash
        - -c
        - |
          for i in 0 1 2
          do
            gotStatus="-1"
            wantStatus="0"             
            while [ $gotStatus -ne $wantStatus ]
            do                                       
              ping -c 1 example-job-${i}.headless-svc > /dev/null 2>&1
              gotStatus=$?                
              if [ $gotStatus -ne $wantStatus ]; then
                echo "Failed to ping pod example-job-${i}.headless-svc, retrying in 1 second..."
                sleep 1
              fi
            done                                                         
            echo "Successfully pinged pod: example-job-${i}.headless-svc"
          done          

在应用上述示例后,使用以下方式通过网络相互访问:<pod-hostname>.<headless-service-name>。您应该看到类似于以下内容的输出

kubectl logs example-job-0-qws42
Failed to ping pod example-job-0.headless-svc, retrying in 1 second...
Successfully pinged pod: example-job-0.headless-svc
Successfully pinged pod: example-job-1.headless-svc
Successfully pinged pod: example-job-2.headless-svc
上次修改时间:2023 年 8 月 23 日下午 2:05 PST:更新作业以适合科学计算 (f3dfd99576)