挑战
京东拥有超过 3 亿活跃用户，2017 年总收入超过 550 亿美元，是中国最大的零售商，其运营是超大规模的缩影。例如，京东的产品数据库中有超过 1 万亿张图片，每天新增 1 亿张，如此庞大的数据量需要即时访问。2014 年，京东将其应用程序迁移到使用 OpenStack 和 Docker 在裸机上运行的容器中，以“加快计算资源的交付速度，并简化运营，”京东首席架构师刘海峰表示。但到 2015 年底，随着数十万个节点在多个数据中心运行，“我们遇到了很多问题，因为我们的平台不够强大，我们遇到了瓶颈和可扩展性问题，”刘说。“我们现在就需要未来五年发展的基础设施。”
解决方案
京东转向 Kubernetes 来容纳其集群。2016 年初，该公司开始从 OpenStack 过渡到 Kubernetes，如今，京东运行着全球最大的 Kubernetes 集群。“Kubernetes 提供了一个强大的基础，我们在此基础上定制了解决方案，以满足我们作为中国最大零售商的需求。”
影响
“借助 Kubernetes 平台，我们拥有更高的数据中心效率、更好的资源管理和更智能的部署，”刘说。部署时间从几个小时缩短到几十秒。以 IT 成本衡量，效率提高了 20-30%。随着团队正在进行的进一步优化，刘认为每年有可能节省数亿美元。但也许成功的最好证明是年度“双十一”购物节，该活动于 2018 年首次在 Kubernetes 平台上运行。在 11 天的时间里，京东的交易额达到 230 亿美元，“我们的电子商务平台表现出色，”刘说。“基础设施为‘双十一’的准备工作铺平了道路。我们采取了预测交易量、模拟客户行为提前准备以及演练故障的方法。由于 Kubernetes 的可扩展性，我们能够处理极高的需求。”
例如，京东的产品数据库中有超过 1 万亿张图片供客户使用，每天新增 1 亿张。如此庞大的数据量需要即时访问，才能确保流畅的在线客户体验。
2014 年，京东将其应用程序迁移到使用 OpenStack 和 Docker 在裸机上运行的容器中，以“加快计算资源的交付速度，并简化运营，”京东首席架构师刘海峰表示。但到 2015 年底，随着多个数据中心中数十万个节点的运行，“我们遇到了很多问题，因为我们的平台不够强大，我们遇到了瓶颈和可扩展性问题，”刘补充道。“我们现在就需要未来五年发展的基础设施。”
在考虑了许多编排技术后，京东决定采用 Kubernetes 来容纳其不断增长的集群。“主要原因是 Kubernetes 可以为我们提供更高效、可扩展和更简单的应用程序部署，此外，我们可以利用它来进行灵活的平台调度，”刘说。
Kubernetes 基于 Google 的 Borg 这一事实也给了该公司信心。该团队喜欢 Kubernetes 拥有清晰简单的架构，并且它主要使用 Go 开发，而 Go 是京东内部流行的语言。尽管他认为当时的 Kubernetes“还不够成熟，”但刘说，“我们还是采用了它。”
该团队花了一年时间开发基于 Kubernetes 的新容器引擎平台，并在 2016 年底开始在公司内部推广。“我们希望集群成为创建服务的默认方式，这样可扩展性更容易，”刘说。“我们与开发人员交谈，兴趣越来越浓厚，我们一起解决了问题。”其中一些问题包括网络性能和 etcd 可扩展性。“但在过去两年中，Kubernetes 变得更加成熟和稳定，”他补充道。
如今，该公司运行着全球最大的 Kubernetes 集群。“我们定制了 Kubernetes，并在其之上构建了一个现代化的系统，”刘说。“Kubernetes 加上我们自己的优化，这整个生态系统帮助我们节省了成本和时间。借助 Kubernetes 平台，我们拥有更高的数据中心效率、更好的资源管理和更智能的部署。”
结果是显而易见的：部署时间从几个小时缩短到几十秒。以 IT 成本衡量，效率提高了 20-30%。但也许成功的最好证明是年度“双十一”购物节，该活动于 2018 年首次在 Kubernetes 平台上运行。在 11 天的时间里，京东的交易额达到 230 亿美元，“我们的电子商务平台表现出色，”刘说。“基础设施为‘双十一’的准备工作铺平了道路。我们采取了预测交易量、模拟客户行为提前准备以及演练故障的方法。由于 Kubernetes 的可扩展性，我们能够处理极高的需求。”
京东现在正处于 Kubernetes 的第二阶段：该平台已经稳定、可扩展且灵活，因此重点是如何更高效地运行，以进一步降低成本。随着团队正在进行的资源管理优化，刘认为每年有可能节省数亿美元。
“我们在大约数万个物理裸机节点上运行 Kubernetes 和容器集群，”他说。“使用 Kubernetes 并利用我们自己的机器学习管道来预测我们每个应用程序需要多少资源，以及我们自己的智能扩展算法，我们可以提高资源利用率。例如，如果我们将资源利用率提高几个百分点，这意味着我们可以减少巨大的硬件成本。这样一来，我们就不需要那么多服务器来获得相同的工作负载。这可以为我们节省大量资源。”
京东荣获 CNCF 2018 年度最终用户奖，该公司还在其平台上使用了Helm、CNI、Harbor和Vitess。京东开发人员为 Vitess（CNCF 用于可扩展 MySQL 集群管理的项目）做出了巨大贡献，该公司希望在不久的将来将其自己的项目捐赠给 CNCF。社区参与是京东的优先事项。“我们与这个社区建立了良好的合作关系，”刘说。“我们可以与社区分享我们的成功经验，我们也收到来自其他人的良好反馈。所以这是互惠互利的。”
为此，刘为其他考虑采用云原生技术的公司提供了以下建议。“首先你需要将这项技术与你自己的业务相结合，其次是你需要明确的目标，”他说。“你不能仅仅因为别人在使用这项技术就使用它。你需要考虑你自己的目标。”
对于京东的目标来说，这些云原生技术与其自主研发的创新完美契合。“Kubernetes 帮助我们降低了运营的复杂性，使分布式系统稳定且可扩展，”刘说。“最重要的是，我们可以利用 Kubernetes 来调度资源，以降低硬件成本。这是一项重大胜利。”