大数据处理为何选择spark

更新时间:02-08 教程 由 冰魄 分享
大数据处理为何选择spark?

Spark 特点

开源的集群云计算框架端到端的数据分析平台(可视化监控)相较于Hadoop map reduce 在功能性能上都更进一步可以单例模式也可以集群模式Streaming 处理数据(实时数据接收处理)支持多语言:Scala/python/java/RAmazon,eBay, Yahoo 使用Spark丰富的库:Grahp, SQL, ML, Streaming多种管理框架可选择(Yarn, mesos)

基于内存的计算

当我们需要读取数据来分析时,它已经在运行中,我们可以很容易地检索它。有利于实时风险管理和欺诈检测。缓存了大量数据,数据变得高度可访问。系统的计算速度提高。改进复杂事件处理,基于 DAG 图的 task 和 Lazy evaluation 。

Spark 数据分析流程

我是工作多年的大数据攻城狮一枚,相关问题可以在评论区留言,或者私信我!

声明:关于《大数据处理为何选择spark》以上内容仅供参考,若您的权利被侵害,请联系13825271@qq.com
本文网址:http://www.25820.com/tutorial/14_2208355.html