【课程背景】

随着电信运营商与大型企业数据体量向 PB 级迈进，业务对数据处理的时效性、平台的高可用性以及集群的资源利用率提出了极为严苛的要求。当前的企业级数据平台已全面演进至“流批一体”与“湖仓一体”架构。大型企业的 IT 运维与数据工程师不仅需要保障分布式集群的稳定运行，更需要具备跨越底层存储引擎、核心计算框架、数仓建模规范及全链路性能调优的复合型架构思维。

【课程收益】

1.掌握全局数据流转架构：从海量日志与业务数据采集，到高可用消息总线流转，建立完整的数据流拓扑认知。

2.精通底层存储与计算基座调优：深入理解 HDFS 高可用架构与 YARN 资源调度策略，具备定位底层物理节点瓶颈的能力。

3.掌握核心引擎深度性能调优：透彻理解 Hive 与 Spark 核心组件的执行计划，熟练解决数据倾斜、OOM 等严重阻碍集群性能的生产级痛点。

4.具备实时计算与极速分析能力：掌握 Flink 流处理状态管理与容错机制，熟练应用 ClickHouse/Doris 等 OLAP 引擎实现百亿级数据秒级响应。

5.建立企业级数据治理规范：掌握基于 Kimball 的维度建模方法论，熟练运用调度系统与元数据管理工具，实现全链路的 DataOps 落地。

【课程特色】

全链路贯穿：以数据生命周期（采集-存储-计算-分析-治理）为核心骨架，避免单一组件孤立讲解。

深潜核心算力：针对 Spark 和 Hadoop 生态进行底层机制剖析，直击大型企业运维排障的核心盲区。

真实痛点驱动：课程实验直接对标生产环境中的高并发、资源抢占、数据倾斜等极限场景。

【课程对象】

大型企业、运营商的 IT 运维工程师与系统管理员；

希望向全栈数据架构师转型的大数据开发工程师；

需要深入理解底层性能优化逻辑的 DBA 与数仓工程师。

【课程大纲】

模块一：全局视野与数据集成总线 [建议时长：5天]

单元 1：物理架构演进与协同调度 (2天)

第 1 课：企业级数据架构变迁

章节 1：传统 Hadoop 生态到 Lambda 与 Kappa 架构解析

章节 2：“流批一体”与“湖仓一体”的物理架构定义与边界

第 2 课：集群协同与资源调度 (Zookeeper & YARN)

章节 1：Zookeeper 选举机制、ZAB 协议与高可用脑裂防护

章节 2：YARN 架构状态机与 Capacity Scheduler 队列抢占调优

章节 3：前沿演进：从 YARN 调度向 Kubernetes (K8s) 容器化调度的迁移逻辑

单元 2：海量数据采集与异构同步 (1.5天)

第 1 课：日志与业务数据实时采集

章节 1：Flume 拓扑架构与断点续传机制配置

章节 2：基于 Canal/Debezium 的 MySQL Binlog 实时解析与 CDC 架构

第 2 课：异构数据源批处理同步

章节 1：DataX 与 Apache SeaTunnel 底层架构剖析

章节 2：离线同步中的网络限速、并发控制与脏数据容忍机制

单元 3：高并发流转总线 (Kafka) (1.5天)

第 1 课：Kafka 底层存储与网络模型

章节 1：Log 存储模型、PageCache 与零拷贝 (Zero-Copy) 技术

章节 2：ISR 副本机制与高可用保障

第 2 课：生产级运维与调优

章节 1：防止数据丢失、重复消费的端到端配置

章节 2：分区 (Partition) 倾斜处理与集群扩缩容实战

【模块核心实验】：构建跨节点高可用数据集成总线

配置 ZK 与 Kafka 集群，利用 Flume 收集 Nginx 日志并经 DataX 建立 MySQL 同步链路，验证节点宕机时的数据自动故障转移。

模块二：海量存储基座与离线数仓建设 [建议时长：7天]

单元 1：分布式存储基座 (HDFS) (1.5天)

第 1 课：HDFS 核心机制与高可用

章节 1：NameNode 元数据管理机制与 Federation 联邦架构

章节 2：读写底层全流程追踪与机架感知策略

第 2 课：HDFS 运维与治理

章节 1：小文件产生机制及对 NameNode 内存的致命危害

章节 2：企业级小文件合并与归档治理方案

单元 2：高并发海量 NoSQL 存储 (HBase) (2天)

第 1 课：HBase 架构与底层数据结构

章节 1：LSM-Tree 存储结构与 HRegionServer 寻址机制

章节 2：WAL 日志与 MemStore 刷盘机制

第 2 课：HBase 建模与性能调优

章节 1：RowKey 散列设计原则（解决热点与数据倾斜）

章节 2：布隆过滤器 (Bloom Filter) 与 Compaction 合并风暴优化

单元 3：规范化数仓建模 (Kimball) (1.5天)

第 1 课：数仓建模理论体系

章节 1：Inmon 范式建模与 Kimball 维度建模对比

章节 2：事实表设计（事务、周期快照、累积快照）与维度表设计

第 2 课：企业级数仓分层落地

章节 1：ODS、DWD、DWS、ADS 的分层原则与规范

章节 2：拉链表机制与缓慢变化维 (SCD) 处理实战

单元 4：SQL 化数据分析与调优 (Hive) (2天)

第 1 课：Hive 架构与执行流

章节 1：MetaStore 结构剖析与物理转化过程

章节 2：列式存储格式 (ORC/Parquet) 与压缩算法对比

第 2 课：数据倾斜诊断与终极化解

章节 1：Hive SQL 执行计划 (Explain) 关键指标解读

章节 2：Join 倾斜与 Group By 倾斜的底层成因与代码重写打散策略

【模块核心实验】：亿级话单数据的存储与分层治理

将百 GB 级模拟通信话单导入 HDFS，建立 Hive 数仓分层并抽取热点查询字段同步至 HBase，验证 RowKey 散列设计对大并发查询的性能提升。

模块三：新一代计算引擎深度调优 (Spark) [建议时长：7天]

单元 1：Spark Core 底层计算模型 (2天)

第 1 课：分布式数据集与容错

章节 1：RDD 弹性机制深度解析与 Lineage 血缘容错

章节 2：宽依赖与窄依赖的物理意义

第 2 课：任务调度与执行物理拓扑

章节 1：从逻辑 DAG 到物理 Stage 的切分规则

章节 2：Shuffle 机制的演进历程与底层的磁盘 I/O 消耗

单元 2：Spark SQL 核心解析与优化 (2.5天)

第 1 课：Catalyst 优化器原理

章节 1：RBO (基于规则) 与 CBO (基于代价) 的逻辑计划重写

章节 2：钨丝计划 (Tungsten) 对 CPU 与内存的高效利用

第 2 课：Spark 核心性能调优手段

章节 1：Broadcast Hash Join 在大宽表生成中的强制应用

章节 2：Salting (加盐) 机制彻底解决 Spark Shuffle 数据倾斜

单元 3：Spark 集群运维与排障实战 (2.5天)

第 1 课：内存模型与 OOM 定位

章节 1：统一内存管理模型：Execution 与 Storage 的动态分配边界

章节 2：Executor OOM 与 Driver OOM 的典型诱因与排查链路

第 2 课：企业级配置调优

章节 1：数据本地化 (Data Locality) 级别分析与网络传输压降

章节 2：推测执行 (Speculative Execution) 应对长尾 Task

【模块核心实验】：Spark JVM 内存极限调优与防 OOM 压测

在集群中提交严重倾斜且消耗大内存的 Spark 任务，通过抓取 Heap Dump 定位 OOM 源头，调整 Executor 内存参数、堆外内存与 GC 策略，使失败任务平稳跑通。

模块四：实时计算与极速分析架构 [建议时长：7天]

单元 1：流批一体引擎核心机制 (Flink) (3天)

第 1 课：Flink 运行时架构

章节 1：分布式执行图 (ExecutionGraph) 与 Task Slot 资源隔离

章节 2：反压 (Backpressure) 的产生机制与网络缓冲排障

第 2 课：状态管理与时间语义

章节 1：State 状态后端 (RocksDB) 内存模型与大状态调优

章节 2：Checkpoint 容错屏障机制与全局一致性保障

章节 3：Window 窗口切分与 Watermark 乱序事件处理

第 3 课：实时数仓实战

章节 1：Flink SQL 在 Kafka 数据源上的 CDC 消费与双流 Join

章节 2：端到端 (Kafka-Flink-Sink) Exactly-Once 语义的实现

单元 2：极速分析与联邦查询引擎 (4天)

第 1 课：极速 OLAP 引擎 (ClickHouse/Doris)

章节 1：列式存储的物理块结构与向量化执行引擎

章节 2：MergeTree/Aggregate 引擎机制与稀疏索引原理

章节 3：大宽表高并发查询优化与物化视图应用

第 2 课：联邦查询引擎 (Presto/Trino)

章节 1：MPP 架构解析与内存计算管道 (Pipeline) 模型

章节 2：跨数据源（Hive + MySQL + Elasticsearch）的联合查询配置

第 3 课：全文检索与日志分析 (Elasticsearch)

章节 1：倒排索引结构与 Lucene 底层机制

章节 2：分片 (Shard) 与副本 (Replica) 路由策略及脑裂预防

【模块核心实验】：多引擎协同的实时大屏与跨源分析

利用 Flink 读取 Kafka 实时流进行状态聚合写入 ClickHouse 提供大屏秒级响应；同时使用 Trino 构建联邦查询，在一条 SQL 中联合 ClickHouse 的实时数据与 Hive 的离线历史数据。

模块五：数据治理、调度与前沿湖仓 [建议时长：4天]

单元 1：全链路调度与治理体系 (2天)

第 1 课：复杂工作流编排

章节 1：DolphinScheduler/Airflow 在数仓流水线中的依赖规划

章节 2：任务容错、重试机制与跨物理资源池的调度策略

第 2 课：数据资产与质量监控 (DataOps)

章节 1：Apache Atlas 数据血缘追踪在排障与下线评估中的应用

章节 2：数据质量中心 (DQC) 的规则制定与熔断拦截机制

单元 2：湖仓一体架构前沿 (Iceberg/Hudi) (2天)

第 1 课：数据湖底层机制

章节 1：Data Lake 的核心诉求与底层元数据组织格式 (Snapshot/Manifest)

章节 2：流批融合场景下的 ACID 事务支持与行级更新 (Upsert)

第 2 课：前沿场景闭环推演

章节 1：Schema Evolution（表结构演进）与 Time Travel（时间旅行查询）机制

章节 2：基于 Flink + Iceberg + Trino 构建完整的湖仓一体实时链路

【模块核心实验】：基于 Airflow 与 Atlas 的全生命周期审计

编写 DAG 编排从数据集成、Hive 离线处理到结果导出的全流程。引入异常数据触发 DQC 熔断，并通过 Atlas 血缘图谱逆向定位上游出错的计算节点。

杨文清

大数据&云计算资深实战派专家 杨文清

【专业资质】

20年企业应用与研发经验

拥有2项人工智能相关国家发明专利

中国联通集团深度培训资深讲师

AWS 云计算认证专家

曾任 IBM中国华南区高级咨询顾问

曾任华为Cloud BU高级架构师

曾任广州云宏研发总监

曾任广州智数x-Lab实验室首席科学家

武汉大学计算机科学专业硕士，22年企业应用与研发经验，曾就职于IBM、华为等大型企业，十年华为工作经验，任职华为高级架构师。

并先后担任过知名互联网公司研发总监和智数xLab实验室首席数据科学家。亚马逊云计算认证专家、VMware国际认证讲师。

中国联通集团引擎计划深度培训资深讲师（主讲Docker&K8S、Hadoop、Spark、机器学习、深度学习），对云计算、大数据有深刻的理解，主导过多项国家级大数据项目，并拥有人工智能方面的若干项国家专利。

【实战经验】

IBM中国华南区高级咨询顾问，期间曾参与公安、金融、通信、制造等行业云计算产品方案研发，为多个大型企业提供IT基础建设咨询。

华为Cloud BU高级架构师，聚焦于是云服务产业端到端管理的经营单元，负责构建云服务竞争力，对云服务的客户满意度和商业成功负责。

广州云宏研发总监，带领团队研发了WinCloud云计算管理平台、CnWare云计算操作系统，产品覆盖运营商、公安、金融、政府机关、教育、医疗等多个领域，虚拟机数量超过50万。受到国家、省市领导和专家的肯定和好评。

【项目实战经验】

国产云操作系统 (CnWare) 研发总监

云宏：参与主导公司核心产品WinCloud云管理平台建设，是当前市场上唯一可以同时管理小型机虚拟化、x86虚拟化和arm架构虚拟化的云管理平台；CnWare是唯一的国产云操作系统，对标VmWare，内容包括虚拟化管理中心、虚拟化中间件和虚拟化引擎3部分，实现了全生态全流程的虚拟化覆盖。该产品在中国电信集团采购入围时获得总分第一的成绩。

构建智慧水务AI预警平台 实验室首席科学家

智数信息：任职xLab实验室首席科学家，负责公司前瞻性技术的基础研究，并实现新技术在项目中的落地。期间将以太坊区块链技术应用到了现有的食品溯源系统；协助研发团队在智慧城市管理项目实现了物联网数据的全自动处理过程；协助研发团队将自动化运营引入到港珠澳大桥综合管理系统。作为公司首席科学家，对基础研究的标准化（选型、可行性、研究、应用）过程制定了完整的过程管理。

港珠澳大桥综合业务管理系统 首席架构师

构建综合业务管理平台，为大桥的物流、应急管理、通关提供坚实的数据支撑，提升信息化效率。

宝安智慧水务 研发总监|架构师

实现了物联网数据的全自动处理、自定义指标预警、自助式数据可视化分析，用于企业污水排放监控 。

财政信息一体化 后端架构师

建设大数据平台与业务系统，实现数据整合、可视化、异常数据监控与财政指标智能预测 。

电信经营分析系统 项目经理 / 主导设计

用数据仓库技术与可视化，对电信企业的内部和外部数据进行综合分析处理，生成运营指标 。

【擅长领域】

核心技术/技术管理/架构能力；热衷于技术驱动业务，致力于将新技术转化为高效的生产力。

【讲师优势】

拥有超过20年一线实战经验的复合型技术专家与资深讲师。兼具华为与IBM的顶级企业架构视野，以及将前沿技术从0到1成功产品化的落地能力。

多年来始终坚持在技术一线参与核心研发工作。 对技术在真实业务场景中的痛点、难点和选型权衡有极为深刻的理解，确保了其教学内容与业界最新实践紧密结合，直击问题本质。

【主讲项目/课程(部分)】可根据企业需求组合成不同深度的技术训练营。

《数据科学基础》

《Python编程：从入门到数据处理》

《数据分析思维》

《数据可视化技术与分析报告撰写》

《机器学习核心》

《机器学习经典算法与理论》

《集成学习实战：深入解析XGBoost等模型》

《基于Spark的海量数据分析与机器学习》

《深度学习进阶》

《深度学习框架PyTorch：入门与应用》

《卷积神经网络(CNN)与循环神经网络(LSTM)实战》

《LLM基础：注意力机制(Transform)实战》

《AI技术工程化》

《AI应用基础：提示词工程》

《RAG（检索增强生成）开发实战》

《AI Agent（智能体）开发实战》

《AI 行业应用案例分析》

【授课风格】

1.实战派落地教学，拒绝空谈赋能​

课程内容紧密结合主导的大型项目真实经验，案例翔实，以真实场景、真实案例、真实打法为核心支撑，全干货、全落地，拒绝空谈理论。

2.架构师全局视野，搭建体系能力​

跳出单一操作教学，深度拆解业务底层逻辑与运营架构，溯源打法设计原理，助力学员构建系统化、可迭代的完整业务体系。

3.通透化授学思维，实现举一反三​

依托全域实战经验拆解核心本质，沉淀通用方法论，助力学员举一反三、灵活复用、全域落地。真正实现学一项、通一类、用全域。

【服务客户(部分)】

运营商：联通集团总部、中国电信河南有限公司、中国电信山东有限公司、中国电信江苏有限公司、中国电信重庆有限公司、中国联通广东有限公司、中国联通福建有限公司、中国联通广西有限公司、中国联通上海有限公司、中国联通陕西有限公司、中国联通河北有限公司、中国联通云南有限公司、中国联通重庆有限公司、中国联通四川有限公司、中国联通青海有限公司、中国移动江苏有限公司、中国移动云南有限公司、中国移动浙江有限公司、中国移动河南有限公司、中国移动四川有限公司、中国移动吉林有限公司、中国移动湖北有限公司、中国移动安徽有限公司等

IT公司：华为、腾讯云、IBM、DELL、航天科工、中国航天、TaTa集团、中科曙光、龙芯中科、航天云网、航天科工、联想集团、腾讯云、蓝盾、浩云科技、润乾等

能源：国家电网（湖北省、浙江省、成都等）、南方电网、广东能源集团、江苏核电、国家电投、国网电科院、国能集团长源电力、中煤电力等

银行：中国银行广州分行、招商银行武汉分行、中国银行江苏分行、农业银行荆州分行、交通银行贵州分行、交通银行武汉分行、建设银行广州分行、中国邮政储蓄银行长沙分行、中国邮政储蓄银行南昌分行、平安银行杭州分行、广发银行广州分行、兴业银行、北京银行、工商银行、工银投资、宁波银行等