学习程序开发可以多浏览一些开源平台上面的项目,博客,问答等。比较著名的平台如github,stackoverflow等。
在github上搜索bigdata,就会出现相关的项目,有一个大数据入门指南的项目挺不错的,你可以参照着学习。地址:https://github.com/heibaiying/BigData-Notes,如果访问被限制,可以点赞,评论。
如下是摘自项目中的图解,和章节导航。
附:项目的相关知识点如下
✒️前言
大数据学习路线
大数据技术栈思维导图
大数据常用软件安装指南
一、Hadoop
分布式文件存储系统——HDFS
分布式计算框架——MapReduce
集群资源管理器——YARN
Hadoop单机伪集群环境搭建
Hadoop集群环境搭建
HDFS常用Shell命令
HDFSJavaAPI的使用
基于Zookeeper搭建Hadoop高可用集群
二、Hive
Hive简介及核心概念
Linux环境下Hive的安装部署
HiveCLI和Beeline命令行的基本使用
Hive常用DDL操作
Hive分区表和分桶表
Hive视图和索引
Hive常用DML操作
Hive数据查询详解
三、Spark
SparkCore:
Spark简介
Spark开发环境搭建
弹性式数据集RDD
RDD常用算子详解
Spark运行模式与作业提交
Spark累加器与广播变量
基于Zookeeper搭建Spark高可用集群
SparkSQL:
DateFrame和DataSet
StructuredAPI的基本使用
SparkSQL外部数据源
SparkSQL常用聚合函数
SparkSQLJOIN操作
SparkStreaming:
SparkStreaming简介
SparkStreaming基本操作
SparkStreaming整合Flume
SparkStreaming整合Kafka
四、Storm
Storm和流处理简介
Storm核心概念详解
Storm单机环境搭建
Storm集群环境搭建
Storm编程模型详解
Storm项目三种打包方式对比分析
Storm集成Redis详解
Storm集成HDFS/HBase
Storm集成Kafka
五、Flink
Flink核心概念综述
Flink开发环境搭建
FlinkDataSource
FlinkDataTransformation
FlinkDataSink
Flink窗口模型
Flink状态管理与检查点机制
FlinkStandalone集群部署
六、HBase
Hbase简介
HBase系统架构及数据结构
HBase基本环境搭建(Standalone/pseudo-distributedmode)
HBase集群环境搭建
HBase常用Shell命令
HBaseJavaAPI
HBase过滤器详解
HBase协处理器详解
HBase容灾与备份
HBase的SQL中间层——Phoenix
Spring/SpringBoot整合Mybatis+Phoenix
七、Kafka
Kafka简介
基于Zookeeper搭建Kafka高可用集群
Kafka生产者详解
Kafka消费者详解
深入理解Kafka副本机制
八、Zookeeper
Zookeeper简介及核心概念
Zookeeper单机环境和集群环境搭建
Zookeeper常用Shell命令
ZookeeperJava客户端——ApacheCurator
ZookeeperACL权限控制
九、Flume
Flume简介及基本使用
Linux环境下Flume的安装部署
Flume整合Kafka
十、Sqoop
Sqoop简介与安装
Sqoop的基本使用
十一、Azkaban
Azkaban简介
Azkaban3.x编译及部署
AzkabanFlow1.0的使用
AzkabanFlow2.0的使用
十二、Scala
Scala简介及开发环境配置
基本数据类型和运算符
流程控制语句
数组——Array
集合类型综述
常用集合类型之——List&Set
常用集合类型之——Map&Tuple
类和对象
继承和特质
函数&闭包&柯里化
模式匹配
类型参数
隐式转换和隐式参数
十三、公共内容
大数据应用常用打包方式