EnginePlus受邀参加亚马逊云科技中国峰会 分享Spark on Amazon EKS实践经验
近日，亚马逊云科技中国峰会在上海召开。亚马逊云科技的众多技术合作伙伴受邀出席峰会，围绕“构建新格局，重塑云时代”的主题，进行了系列主题演讲和产品展示，分享云计算领域的先进技术经验与企业成功实践。
Mobvista汇量科技资深架构师、EnginePlus产品负责人陈绪也来到现场，与嘉宾们分享了在Amazon Elastic Kubernetes Service (Amazon EKS) 上部署Spark的干货经验，并以Mobvista汇量科技自身为例，介绍了Spark on Amazon EKS的业务实践成果。
Spark
on EKS: 业务增长带来挑战
记者了解到，Spark 作为广泛应用的大数据处理框架，提供了丰富的Data Frame接口以及SQL查询的功能，同时也可以通过PySpark对接深度学习框架。据悉，汇量科技使用的Spark集群承担了大规模ETL、数据处理分析、Ad-hoc查询，以及算法模型训练的重要任务，现在离线计算集群有上万CPU核心，每日处理PB级的数据。
陈绪介绍道，其团队最初采用HDP，在EC2 上搭建了弹性的Hadoop服务，但随着业务规模的发展，更多的挑战开始显现：一方面，团队希望各业务线之间可实现资源隔离，同时具备高效的弹性能力，以保障业务产出时效性;另一方面，系统遇到大规模的临时查询作业时，查询数据量可达数十TB，这给集群的弹性伸缩带来了很大压力。对此，陈绪表示：“弹性伸缩的效率影响着作业执行时间和总体成本。因此，我们通过调研，开始尝试通过容器化的架构来解决上述问题。
汇量科技 业务实践成果 ： EnginePlus
陈绪介绍称，团队选择了Amazon EKS服务来搭建容器化Spark计算平台：“将不同的组件划分到若干不同的NodeGroup，包括Spark Driver、Spark Executor，以及Zeppelin、Jupyter的Notebook”，从而为不同类型的节点组配置不同的资源类型，并分别实现弹性伸缩，获得更好的性价比。
>相关《EnginePlus受邀参加亚马逊云科技中国峰会 分享Spark on Amazon EKS实践经验》内容：
1、 普京暂定明年唯一出国访问：参加北京冬奥开幕式
理财鱼小提示：普京暂定明年唯一出国访问：参加北京冬奥开幕式 普京暂定明年唯一出国访问：参加北京冬奥开幕式 2021-12-26 18:02 · 据俄罗斯卫星网26日报道，俄总统新闻秘书佩斯科夫表示，普京总统2022年目前唯一一次，也是第一次出国访问安排，是参加北京冬奥...【继续阅读】
2、 9岁甜馨参加钢琴演出！穿红色西装好帅气，裤子太长走路超大步
理财鱼小提示：9岁甜馨参加钢琴演出！穿红色西装好帅气，裤子太长走路超大步 近日，9岁甜馨在学校音乐会上弹钢琴的视频被曝光，她弹奏了一曲高难度的《克罗地亚狂想曲》，引发网友热议。 只见甜馨头发完全梳在脑后，扎成了一个高高的马尾，显得非常干练。她身上...【继续阅读】
3、 德约大概率缺席ATP杯 是否参加澳网悬念留到最后
理财鱼小提示：德约大概率缺席ATP杯 是否参加澳网悬念留到最后 据塞尔维亚媒体报道，德约科维奇团队中的人士透露，诺瓦克将跳过一月初在悉尼开打的ATP杯；至于是否参加澳网，有望在新年前公布最终决定。 德约科维奇 图据IC photo 据德约团队中一位不愿意透露姓名...【继续阅读】