云原生大数据平台大势所趋 智领云KDP快人一步_云领智库app安卓版

通信世界网消息（CWW）当前云原生已成为业界热议话题，而Kubernetes（K8s）作为云原生领域的关键项目，已经成为了云原生的标配。

2021年3月，Apache的Spark支持了Kubernetes；同年5月，Kafka也公开支持Kubernetes，标志着最核心的大数据组件现在都支持Kubernetes。这也成为云原生大数据领域两大标志性事件。

作为硅谷最早一批从事云和大数据研究与实践的技术专家，曾负责Twitter、Ask.com等企业内部数据平台搭建的彭锋身处技术最前线，让他比常人更敏锐地嗅到了云原生技术、数据驱动能力在提升企业运营效率方面的商机。2016年，彭锋回国创业，创立了智领云，担任智领云CEO，发力如何依托云原生技术将大数据平台做成一个产品。

智领云CEO 彭锋

传统大数据平台存在多种痛点

国内企业在使用Kubernetes时，大多是在做云计算方面的相关调度，针对大数据领域，企业还在管理另一套纷繁复杂的系统，也就是传统大数据平台，而这带来的弊端和遇到的麻烦实在太多了。

与云原生的数据平台相比，传统大数据平台存在多种痛点。传统大数据平台比如Hadoop、HBase、Hive每一个都是独立安装流程，没法共享这个资源池，每一个都有自己运维的机制，每一个都有自己分布式管理的机制，所以系统在运行的时候不仅安装复杂、运维复杂，系统效率还特别低，而且对运维人员要求高。很多大企业即使集群很大，但是系统各个组件都是各自为战，没法形成统一的体系，资源效率特别低，造成特别大的问题。

“云原生大数据平台代表了未来的技术趋势。”以下几点便能说明这一趋势，据Gartner预测，部署在云原生平台上的数字工作负载将由2021年的30%增长至2025年的95%；Spark、Kafka等大数据核心组件，2021年开始Kubernetes原生支持；2022年6月，阿里云和腾讯云的云原生数据湖产品均通过了中国信息通信研究院首批云原生数据湖能力评测；美国苹果公司在2022年的一次技术大会上透露，Apple的云原生大数据平台每天运行38万个Spark作业。

在这样的背景下就需要考虑是否要将企业大数据平台迁移到Kubernetes上来，那么如何同时管理Kubernetes和大数据平台的需求变得更加迫切。

大数据平台碰上K8s，KDP应运而生

基于此，智领云自主研发了市场上首个可完全在Kubernetes上部署的容器化云原生大数据平台——Kubernetes Data Platform(简称KDP)。

KDP深度整合了云原生架构的优势，将大数据组件及数据应用纳入Kubernetes管理体系，标准化系统管理，提升系统运行效率，降低运维成本，消除应用孤岛及数据孤岛，解决传统Hadoop大数据平台在部署、运维、运行效率上由于架构限制带来的难点。

“简单来讲，我们可以允许客户在Kubernetes上运行它所有的大数据组件，并把它管理起来。”彭锋如是说。

在Kubernetes上运行大数据平台有四个好处：第一，统一管理，复用Kubernetes基础架构，复杂度大大降低；第二，资源混排，高效利用共享资源池，各个组件及整个集群都很容易弹性伸缩；第三，整个系统能够快速支持新应用的集成，快速迭代；第四，系统稳定性得到极大提高，运维效率高。

值得一提的是，KDP既可以快速从零开始打造一套企业级云原生大数据底座平台，同时也可以支持渐进式地对现有大数据系统进行云原生改造和迁移，助力企业更高效地进行数字化创新和数字化转型。

专注中间管理层，更加轻量化

过去企业使用的统一管理平台是Cloudera Data Platform（CDP）。CDP的管理逻辑是把各种大数据组装起来，进行统一的管理。

彭锋表示，KDP和CDP最大的区别是CDP是一个封闭的系统，而KDP是一个开放的系统。KDP底层全部是Kubernetes，Kubernetes好处在于所有的组件都可以标准化。只要能跟Kubernetes对接，就可以对接进来。

以前的大数据组件不标准，大家都是自己一套发布管理方式，而现在有Kubernetes之后，所有的发布管理方式标准了，中间的管理层成为可能。当前大数据的组件都是各个大数据组件公司来开发，但是中间管理层是欠缺的，KDP所扮演的角色是一个中间管理层。而智领云做的正是中间的管理层，其下的组件客户可以任意选择，而组件的运行和管理方式是统一的。

彭锋表示，智领云专注于中间这一层管理，更加轻量化。相当于在用户现有的业务系统上添加一个数据平台的功能，和用户现在的管理系统融为一体，用户现有的业务系统可以和数据平台打通使用，十分符合云原生容易融合统一管理的趋势。

走向开源，让KDP更好地服务用户

当谈到KDP的商业模式时，彭锋表示：“未来，我们可以将基于Kubernetes的大数据平台（基础版）免费提供给企业用户使用。在此基础之上，如何为客户提供更好、更深层次的增值服务则是需要我们认真思考的问题，比如提供更好的安全性、更多企业级的特性和功能，以及解决方案层面的价值等。更重要的一点是，KDP最终可以成为一个数据和AI应用的发布平台，让AI和数据应用使用门槛进一步降低。”

目前多家大型集团和企业都在与智领云洽谈合作，智领云的KDP平台也得到了大家的认可，并获得了客户的一致好评。

但对于彭锋来说，做云原生平台仅靠自己的力量是完全不够的，他希望借助全部开发者的力量，让KDP的迭代走上快车道。因此，彭锋也表示在不久的将来会将KDP平台开源并组建相关社区，这样就可以群策群力，加速KDP应用的落地与新功能的开发，更好地服务于最终客户。

“开源能够产生的效益更大，我们公司的主要思路是让更多的人能够使用和开发，更多人用了我们云原生的平台，上面的工具才能更好地去发挥作用，更好地发布，更好地管理，更好地为用户提供价值。”