调度器配置

特性状态： Kubernetes v1.25 [稳定]

你可以通过编写配置文件并将配置文件路径作为命令行参数传递来定制 kube-scheduler 的行为。

调度配置文件允许你在 kube-scheduler 中配置不同的调度阶段。每个阶段都暴露在一个扩展点中。插件通过实现一个或多个这些扩展点来提供调度行为。

你可以通过运行 kube-scheduler --config <文件名> 来指定调度配置文件，使用 KubeSchedulerConfiguration v1 结构体。

一个最小的配置如下所示

apiVersion: kubescheduler.config.k8s.io/v1
kind: KubeSchedulerConfiguration
clientConnection:
  kubeconfig: /etc/srv/kubernetes/kube-scheduler/kubeconfig

配置文件

调度配置文件允许你在 kube-scheduler 中配置不同的调度阶段。每个阶段都暴露在一个 扩展点 中。插件 通过实现一个或多个这些扩展点来提供调度行为。

你可以配置单个 kube-scheduler 实例来运行 多个配置文件。

扩展点

调度发生在一系列阶段中，这些阶段通过以下扩展点公开

  1. queueSort：这些插件提供了一个排序函数，用于对调度队列中的待处理 Pod 进行排序。一次只能启用一个队列排序插件。
  2. preFilter：这些插件用于在过滤之前预处理或检查有关 Pod 或集群的信息。它们可以将 Pod 标记为不可调度。
  3. filter：这些插件相当于调度策略中的谓词，用于过滤掉无法运行 Pod 的节点。过滤器按配置的顺序调用。如果没有节点通过所有过滤器，则 Pod 将被标记为不可调度。
  4. postFilter：当没有找到 Pod 的可行节点时，将按配置顺序调用这些插件。如果有任何 postFilter 插件将 Pod 标记为*可调度*，则不会调用其余插件。
  5. preScore：这是一个信息性扩展点，可用于执行预评分工作。
  6. score：这些插件为已通过过滤阶段的每个节点提供分数。然后，调度器将选择加权分数总和最高的节点。
  7. reserve：这是一个信息性扩展点，用于在为给定 Pod 保留资源时通知插件。插件还实现了一个 Unreserve 调用，该调用在 Reserve 期间或之后发生故障时被调用。
  8. permit：这些插件可以阻止或延迟 Pod 的绑定。
  9. preBind：这些插件在绑定 Pod 之前执行任何必要的工作。
  10. bind：这些插件将 Pod 绑定到节点。bind 插件按顺序调用，一旦一个插件完成了绑定，其余插件将被跳过。至少需要一个绑定插件。
  11. postBind：这是一个信息性扩展点，在绑定 Pod 后调用。
  12. multiPoint：这是一个仅限配置的字段，允许同时为所有适用的扩展点启用或禁用插件。

对于每个扩展点，你可以禁用特定的 默认插件 或启用你自己的插件。例如

apiVersion: kubescheduler.config.k8s.io/v1
kind: KubeSchedulerConfiguration
profiles:
  - plugins:
      score:
        disabled:
        - name: PodTopologySpread
        enabled:
        - name: MyCustomPluginA
          weight: 2
        - name: MyCustomPluginB
          weight: 1

你可以在禁用数组中使用 * 作为名称来禁用该扩展点的所有默认插件。如果需要，这也可以用于重新排列插件顺序。

调度插件

以下默认启用的插件实现了一个或多个这些扩展点

  • ImageLocality：优先选择已经拥有 Pod 运行的容器镜像的节点。扩展点：score。
  • TaintToleration：实现 污点和容忍度。实现扩展点：filter、preScore、score。
  • NodeName：检查 Pod 规范节点名称是否与当前节点匹配。扩展点：filter。
  • NodePorts：检查节点是否有请求的 Pod 端口的空闲端口。扩展点：preFilter、filter。
  • NodeAffinity：实现 节点选择器 和 节点亲和性。扩展点：filter、score。
  • PodTopologySpread：实现 Pod 拓扑扩展。扩展点：preFilter、filter、preScore、score。
  • NodeUnschedulable：过滤掉 .spec.unschedulable 设置为 true 的节点。扩展点：filter。
  • NodeResourcesFit：检查节点是否拥有 Pod 请求的所有资源。分数可以使用以下三种策略之一：LeastAllocated（默认）、MostAllocated 和 RequestedToCapacityRatio。扩展点：preFilter、filter、score。
  • NodeResourcesBalancedAllocation：优先选择如果 Pod 调度到该节点将获得更均衡的资源使用率的节点。扩展点：score。
  • VolumeBinding：检查节点是否具有或是否可以绑定请求的 卷。扩展点：preFilter、filter、reserve、preBind、score。
  • VolumeRestrictions：检查挂载在节点上的卷是否满足特定于卷提供程序的限制。扩展点：filter。
  • VolumeZone：检查请求的卷是否满足它们可能具有的任何区域要求。扩展点：filter。
  • NodeVolumeLimits：检查节点是否可以满足 CSI 卷限制。扩展点：filter。
  • EBSLimits：检查节点是否可以满足 AWS EBS 卷限制。扩展点：filter。
  • GCEPDLimits：检查节点是否可以满足 GCP-PD 卷限制。扩展点：filter。
  • AzureDiskLimits：检查节点是否可以满足 Azure 磁盘卷限制。扩展点：filter。
  • InterPodAffinity：实现 Pod 间亲和性和反亲和性。扩展点：preFilter、filter、preScore、score。
  • PrioritySort：提供基于默认优先级的排序。扩展点：queueSort。
  • DefaultBinder：提供默认绑定机制。扩展点：bind。
  • DefaultPreemption：提供默认抢占机制。扩展点：postFilter。

你还可以通过组件配置 API 启用以下默认情况下未启用的插件

  • CinderLimits：检查节点是否可以满足 OpenStack Cinder 卷限制。扩展点：filter。

多个配置文件

你可以将 kube-scheduler 配置为运行多个配置文件。每个配置文件都有一个关联的调度器名称，并且可以在其 扩展点 中配置不同的插件集。

使用以下示例配置，调度器将使用两个配置文件运行：一个使用默认插件，另一个禁用所有评分插件。

apiVersion: kubescheduler.config.k8s.io/v1
kind: KubeSchedulerConfiguration
profiles:
  - schedulerName: default-scheduler
  - schedulerName: no-scoring-scheduler
    plugins:
      preScore:
        disabled:
        - name: '*'
      score:
        disabled:
        - name: '*'

希望根据特定配置文件进行调度的 Pod 可以在其 .spec.schedulerName 中包含相应的调度器名称。

默认情况下，会创建一个调度器名称为 default-scheduler 的配置文件。此配置文件包含上述默认插件。当声明多个配置文件时，需要为每个配置文件指定唯一的调度器名称。

如果 Pod 没有指定调度器名称，kube-apiserver 会将其设置为 default-scheduler。因此，应该存在一个具有此调度器名称的配置文件，以便调度这些 Pod。

应用于多个扩展点的插件

从 kubescheduler.config.k8s.io/v1beta3 开始，配置文件中新增了一个字段 multiPoint，它允许跨多个扩展点轻松启用或禁用插件。multiPoint 配置的目的是在使用自定义配置文件时简化用户和管理员所需的配置。

假设有一个插件 MyPlugin，它实现了 preScore、score、preFilter 和 filter 扩展点。要为 MyPlugin 启用其所有可用扩展点，配置文件如下所示

apiVersion: kubescheduler.config.k8s.io/v1
kind: KubeSchedulerConfiguration
profiles:
  - schedulerName: multipoint-scheduler
    plugins:
      multiPoint:
        enabled:
        - name: MyPlugin

这相当于为 MyPlugin 的所有扩展点手动启用它，如下所示

apiVersion: kubescheduler.config.k8s.io/v1
kind: KubeSchedulerConfiguration
profiles:
  - schedulerName: non-multipoint-scheduler
    plugins:
      preScore:
        enabled:
        - name: MyPlugin
      score:
        enabled:
        - name: MyPlugin
      preFilter:
        enabled:
        - name: MyPlugin
      filter:
        enabled:
        - name: MyPlugin

在这里使用 multiPoint 的一个好处是，如果 MyPlugin 将来实现了另一个扩展点，则 multiPoint 配置将自动为新扩展点启用它。

可以使用该扩展点的 disabled 字段从 MultiPoint 扩展中排除特定的扩展点。这适用于禁用默认插件、非默认插件或使用通配符 ('*') 禁用所有插件。例如，要禁用 Score 和 PreScore，可以这样做

apiVersion: kubescheduler.config.k8s.io/v1
kind: KubeSchedulerConfiguration
profiles:
  - schedulerName: non-multipoint-scheduler
    plugins:
      multiPoint:
        enabled:
        - name: 'MyPlugin'
      preScore:
        disabled:
        - name: '*'
      score:
        disabled:
        - name: '*'

从 kubescheduler.config.k8s.io/v1beta3 开始，所有默认插件都通过 MultiPoint 在内部启用。但是，各个扩展点仍然可用，以便灵活地重新配置默认值（例如顺序和 Score 权重）。例如，假设有两个 Score 插件 DefaultScore1 和 DefaultScore2，每个插件的权重为 1。可以使用不同的权重对它们重新排序，如下所示

apiVersion: kubescheduler.config.k8s.io/v1
kind: KubeSchedulerConfiguration
profiles:
  - schedulerName: multipoint-scheduler
    plugins:
      score:
        enabled:
        - name: 'DefaultScore2'
          weight: 5

在此示例中，无需在 MultiPoint 中显式指定插件，因为它们是默认插件。Score 中唯一指定的插件是 DefaultScore2。这是因为通过特定扩展点设置的插件始终优先于 MultiPoint 插件。因此，此代码段本质上是对两个插件重新排序，而无需同时指定它们。

配置 MultiPoint 插件时，优先级的一般层次结构如下所示

  1. 特定扩展点首先运行，并且它们的设置会覆盖其他任何地方的设置
  2. 通过 MultiPoint 手动配置的插件及其设置
  3. 默认插件及其默认设置

为了演示上述层次结构，以下示例基于以下插件

插件扩展点
DefaultQueueSortQueueSort
CustomQueueSortQueueSort
DefaultPlugin1Score、Filter
DefaultPlugin2Score
CustomPlugin1Score、Filter
Score、Filter、BindScore、Filter

CustomPlugin2

apiVersion: kubescheduler.config.k8s.io/v1
kind: KubeSchedulerConfiguration
profiles:
  - schedulerName: multipoint-scheduler
    plugins:
      multiPoint:
        enabled:
        - name: 'CustomQueueSort'
        - name: 'CustomPlugin1'
          weight: 3
        - name: 'CustomPlugin2'
        disabled:
        - name: 'DefaultQueueSort'
      filter:
        disabled:
        - name: 'DefaultPlugin1'
      score:
        enabled:
        - name: 'DefaultPlugin2'

PreScore、Score、PreFilter、Filter

这些插件的有效示例配置如下

  • 请注意，在特定扩展点中重新声明 MultiPoint 插件不会出错。重新声明将被忽略（并记录），因为特定扩展点优先。
  • 除了将大多数配置保存在一个位置之外，此示例还执行以下操作
  • 启用自定义 queueSort 插件并禁用默认插件
  • 启用 CustomPlugin1 和 CustomPlugin2，它们将在其所有扩展点首先运行

禁用 DefaultPlugin1，但仅针对 filter

apiVersion: kubescheduler.config.k8s.io/v1beta2
kind: KubeSchedulerConfiguration
profiles:
  - schedulerName: multipoint-scheduler
    plugins:

      # Disable the default QueueSort plugin
      queueSort:
        enabled:
        - name: 'CustomQueueSort'
        disabled:
        - name: 'DefaultQueueSort'

      # Enable custom Filter plugins
      filter:
        enabled:
        - name: 'CustomPlugin1'
        - name: 'CustomPlugin2'
        - name: 'DefaultPlugin2'
        disabled:
        - name: 'DefaultPlugin1'

      # Enable and reorder custom score plugins
      score:
        enabled:
        - name: 'DefaultPlugin2'
          weight: 1
        - name: 'DefaultPlugin1'
          weight: 3

重新排序 DefaultPlugin2 以在 score 中首先运行（甚至在自定义插件之前）

在 v1beta3 之前的配置版本中，如果没有 multiPoint，则上述代码段等同于以下内容

  • v1beta2 → v1beta3

    apiVersion: kubescheduler.config.k8s.io/v1beta2
kind: KubeSchedulerConfiguration
profiles:
- pluginConfig:
  - args:
      scoringStrategy:
        resources:
        - name: cpu
          weight: 1
        type: MostAllocated
    name: NodeResourcesFit

  • v1beta3 → v1

  • 使用 v1beta2 配置版本，您可以为 NodeResourcesFit 插件使用新的评分扩展。新的扩展结合了 NodeResourcesLeastAllocated、NodeResourcesMostAllocated 和 RequestedToCapacityRatio 插件的功能。例如，如果您以前使用 NodeResourcesMostAllocated 插件，则应改用 NodeResourcesFit（默认启用）并添加一个 pluginConfig，其 scoreStrategy 类似于

  • 调度器插件 NodeLabel 已弃用；请改用NodeAffinity 插件（默认启用）来实现类似的行为。

  • 调度器插件 ServiceAffinity 已弃用；请改用InterPodAffinity 插件（默认启用）来实现类似的行为。

  • 调度器插件 NodePreferAvoidPods 已弃用；请改用节点污点来实现类似的行为。

  • 在 v1beta2 配置文件中启用的插件优先于该插件的默认配置。
    • 为调度器运行状况检查和指标绑定地址配置的无效 host 或 port 将导致验证失败。
    • 默认情况下，三个插件的权重会增加
    • InterPodAffinity 从 1 增加到 2

  • NodeAffinity 从 1 增加到 2

TaintToleration 从 1 增加到 3

  • 调度器插件 SelectorSpread 已移除，请改用 PodTopologySpread 插件（默认启用）来实现类似的行为。
  • 下一步
  • 阅读kube-scheduler 参考
否