内容纲要

欢迎转载,作者:Ling,注明出处:大数据教程: 01-大数据概述

前言:

2019年来了,新年有新气象,所以准备系统性写一写大数据相关基础知识和实践。

大数据是当前非常热门的一个领域,它是人工智能的基础,是大型系统的基础。容器技术使得大数据部署开发更加方便。知识图谱也是典型的一个大数据的应用。关于大数据,每个公司都有自己的一整套系统,在开源世界也基本上可以找到相应的各个技术。大数据是一门必须掌握的技术。

于是乎,我就想结合自己的实践,通过知识导图系统地介绍大数据核心基础知识以及实践,以防遗忘,以备随时查询。全是干货,希望对大家有帮助。

整个大数据核心架构如下

很多类似技术只选取了其中最具代表性的一个

bigdata

下面是部分实践截图:

容器管理​:

rancher

Hadoop集群管理:

hadoopmanager

Yarn集群管理:​ yarnmanager

集群操作互动:

huemanager

集群数据流管理:

nifimanager

虚拟机节点:

vmnode

Docker仓库管理:harbormanager

需要掌握的知识:

01_Bigdata01 02_Linux01 03_Shell01 04_Docker01 05_Kubernets01 06_Hadoop01 07_Hive01 08_HBase01 09_Zookeeper01 10_Flume01 11_Sqoop01 12_Oozie01 13_Kafka01 14_Storm01 15_Scala01 16_Spark01 17_HUE01 18_Nifi01

可互动:

hadoopinteractive