课程简介

    从最初的“数据仓库”到后来的“数据湖”，再到今天的“数据中台”， 企业数据平台的设计理念也在不断进化，方法论革新的背后是大数据技术的强力支撑，本课程面向企业大数据平台架构设计、开发、实施人员。将大数据平台的架构设计和原型系统的具体实现结合在一起讲解，希望能帮助学员有效地学习大数据平台的设计方法和各项技术，并能融汇贯通。

课程面向中高级技术人员，侧重与多项技术的整合，架构的实现，对其中某一单独的技术细节并未太深入。

课程安排了实际操作，学员通过系统的部署，演示代码的运行和测试数据的导入等来源于实践的训练，可以快速的掌握架构的核心并应用于实际项目。要求学员有在Linux下进行脚本编程的经验。

时间

2-3天，视企业要求。

大纲

第一章 中台简介

第二章中台架构

中台的技术体系

基础设施及集群规划

第三章 系统典型组成

Linux

Redis

CDH

MySQL

Spark

Nginx

高可用概述

第四章 大数据平台架构设计

案例简介

架构方案讲解

实验

第五章 数据采集

技术堆栈与选型

 基于Camel的实时采集

实验

第六章 主数据管理

建设策略

实验

第7章 实时计算

技术堆栈与选型

流计算工程结构

集成Kafka

集成Hbase

实验

第8章 大数据与数据仓库

数据仓库的基本理论

数据仓库架构

源数据层的设计与构建

明细数据层的设计与构建

汇总数据层的设计与构建

实验

第9章 数据存储

NoSQL数据库概览

HBase

实验

第10章 作业调度

技术堆栈与选型

工作流的组织策略

实现工作流

部署与提交工作流

实验

第11章 扩展讨论（选）

扩展：数据湖架构

数据中台与业务中台

业务中台与微服务

区块链结合