多源异构数据融合方法

更新时间:02-09 教程 由 瞳荧 分享

多源异构数据融合方法?

多源异构数据融合系统,用于航空业的多源异构数据融合,包括:

数据源层,所述数据源层用于获取各异构数据源的集合,其获取的数据源包括结构化数据、非结构化数据及实时流数据;

计算层,所述计算层用于对所述数据源的收集、清洗、存储及计算,其包括内存计算框架、流计算框架、数据仓库、数据挖掘引擎、分布式计算框架及文件系统;

所述内存计算框架用于实现基于内存的数据计算,所述流计算框架用于对于航空PNR数据的实时接收以及计算,所述数据仓库用于存储结构化后的网站浏览相关数据,所述数据挖掘引擎用于用户的模型建立和计算,用于对于整个大数据平台的资源管理,所述文件系统用于整个平台底层的数据文件存储;

数据层,所述数据层用于实现存储数据访问,其包括SQL系统、NoSQL系统及缓存系统;所述SQL系统用于实现关系型数据库的存储和搜索,所述NoSQL系统用于非关系型数据库的存储和搜索,所述缓存系统用于基于缓存的数据存储和计算;

分析层,所述分析层用于实现对用户关联后的数据分析及画像刻画,其包括语义层及OLAP引擎;所述语义层用于实现基于分析后和业务场景进行报表的开发和展示,所述OLAP引擎用于实现对于数据分析的联机分析处理。

声明:关于《多源异构数据融合方法》以上内容仅供参考,若您的权利被侵害,请联系13825271@qq.com
本文网址:http://www.25820.com/tutorial/14_2200886.html