【课程背景】

随着互联网时代的到来，数据量急剧增加，并发量也越来越大，用户对于系统的体验和要求也变得越来越高，从而对系统可靠性、性能及可扩展性目标也提出了更大的挑战，企业的架构设计和开发人员熟悉业界主流成熟中间件的使用方法和场景就显得尤为重要。

本课程围绕业界主流成熟中间件，以场景化案例方式贯穿整个课程，让学员不仅掌握常用成熟中间件的使用方法和场景，同时也能深刻理解如何高效使用和运维中间件，从而最终达到提高软件整体的可靠性、性能及可扩展性的目标，从而满足公司数字化转型和中心市场化转型的技术需要。

【课程收益】

掌握业界主流中间件应用场景

掌握业界主流中间件技术选型

掌握业界主流中间件的底层原理

掌握业界主流中间件的最佳实践

【课程对象】

CTO、技术总监、研发负责人、架构师、研发工程师、售前技术工程师、运维工程师

【课程大纲】

一、中间件概述及应用场景

1、中间件相关概念

中间件的定义

为什么使用中间件

2、中间件分类及应用场景

消息中间件及应用场景分析

缓存类中间件及应用场景分析

分布式协调类中间件及应用场景分析

检索类中间件及应用场景分析

链路跟踪类中间件及应用场景分析

链路跟踪类中间件及应用场景分析

日志采集类中间件及应用场景分析

主流微服务中间件及应用场景分析

数据库中间件之应用场景分析

案例：亿级流量分布式架构设计思路

二、缓存类中间件

1、缓存

缓存的定义

缓存能解决什么问题？

缓存架构之分布式缓存与集中式缓存

缓存的基本原则

2、分布式缓存

分布式缓存的持久化

分布式缓存的高可用

分布式缓存的横向扩展

分布式缓存常见业务场景分析

多级缓存

3、分布式缓存之Redis

分布式缓存的持久化

分布式缓存的高可用

分布式缓存之Redis

Redis常用数据结构及其应用场景

Redis高级特性：发布/订阅、过期设置、事务支持

Redis持久化策略之rdb与aof

Redis主从复制

Redis集群

Redis集群扩容

如何避免缓存失效，降低缓存性能？

缓存雪崩原理以及如何应对？

热点缓存key重建，优化性能

Key高性能巧妙设计必须遵循的规范

Redis降低性能的慎用命令

Redis过期清除策略

案例：基于redis实现的缓存会话共享案例分析

上机实战：redis集群搭建与部署

上机实战：基于redis实现热数据缓存

上机实战：基于redis实现分布式锁

三、消息类中间件

1、消息类中间件

分布式系统之同步调用案例分析

分布式系统同步调用存在问题与优化方向

消息队列之分布式系统异步调用案例分析

消息队列之削峰填谷案例分析

消息中间件选型与对比

消息队列编程模型之点对点

消息队列编程模型之发布/订阅

2、消息中间件之Kafka

分布式系统之同步调用案例分析

分布式消息系统之Kafka

Kafka数据分段

Kafka应用模型

Kafka集群部署架构

Kafka相关术语

Kafka下载和安装

Kafka topic管理

Kafka消息的收发

Kafka单播、多播

Kafka消费者分组及偏移量

Kafka的日志

Kafka集群配置与消息的收发

Kafka调优

如何避免消息重复消费？

如何避免消息堆积？

延时队列使用

如何提升消息丢列的消息并发消费能力？

案例：基于kafka设计的千万级账单推送系统

实战：微服务架构下基于消息队列实现微服务间数据最终一致性

四、分布式协调类中间件

1、分布式协调中间件

2、分布式协调中间件之ZooKeeper

ZooKeeper诞生的背景和它的作用

ZooKeeper单机版安装、常用命令

ZooKeeper集群版的安装、节点角色

ZooKeeper的接入和使用

ZooKeeper运行机制剖析

ZooKeeper的典型应用场景与实现思路

ZooKeeperWatch机制的运行流程

案例：基于ZooKeeper实现的服务注册与发现

五、检索类中间件

1、全文检索

全文检索的定义

全文检索解决了什么问题？

搜索引擎的应用场景

2、分布式检索与分析之ElasticSearch

搜索引擎的应用场景

分布式检索与分析之ElasticSearch

ElasticSearch VS Lucence

ElasticSearch VS Solr

分词技术与原理

分词之倒排索引

基于倒排索引实现的案例演示

ElasticSearch的核心概念

ElasticSearch副本集定义与原理

ElasticSearch分片定义与原理

ElasticSearch安装与配置注意事项

ElasticSearch可视化之Kibana

IK分词器的应用

ElasticSearch数据管理与基本操作

ElasticSearch的查询

ElasticSearch批量文档处理

ElasticSearch文档映射

ElasticSearch集群环境与原理深入剖析

案例：基于ElasticSearch实现的热搜评论

六、链路跟踪类中间件

1、微服务架构面临问题

如何快速发现问题？

如何判断故障影响范围？

如何梳理服务依赖及依赖的合理性？

如何分析链路性能问题及实时容量规划

2、微服务分布式链路追踪技术实现

分布式链路追踪的定义与应用

分布式链路追踪之Spring Cloud Sleuth

Spring Cloud Sleuth相关概念

Spring Cloud Sleuth链路跟踪数据实现

Zipkin实现链路跟踪数据的收集、存储、查找和展现

基于Zipkin＋Sleuth整合

如何提升链路跟踪数据的存储性能？

如何确保链路跟踪数据不被丢失？

如何确保链路跟踪服务端离线期间数据的留存？

与Skywalking对比

七、日志采集类中间件

1、日志分析面临问题

传统日志系统存在问题分析

如何实现日志统一搜集、统一存储、统一查询？

2、日志中心解决方案ELK

ELK应用案例分析

ELK核心组成

ELK之ElasticSearch

ELK之logstash

ELK之kibana

ELK之工作流程剖析

ELK常见应用架构

ELK典型应用架构

海量日志的ELK集群架构

案例：基于ELK实现的访问日志分析

八、主流微服务中间件

1、分布式系统下数据库面临问题

本地事务VS分布式事务

二阶段提交协议过程与原理分析

二阶段提交协议的缺点

三阶段提交

分布式事务的目标

分布式事务之强一致性应用场景

分布式事务之最终一致性应用场景

2、分布式事务框架之Seata

分布式事务框架之Seata

Seata支持的4种模式

实战：微服务架构下基于Seata的4种模式实现微服务间数据强一致性

九、数据库中间件

1、分布式系统下数据库面临问题

什么是分库分表？

什么情况下需要分库分表？

分库分表之垂直分表

分库分表之垂直分库

分库分表之水平分表

分库分表之水平分库分表

分库分表带来的问题-跨库关联查询

分库分表带来的问题-分布式事务

分库分表带来的问题-排序翻页函数计算

分库分表带来的问题-全局主键避重

如何选择合适的数据分片键？分片键常用算法有哪些？

如何自定义分片键的算法？

2、分库分表主流中间件之客户端分库分表ShardingJDBC

分库分表主流中间件之客户端分库分表ShardingJDBC

ShardingJDBC对于现有应用的SQL或ORM有什么要求或局限性？

分库分表主流中间件之服务端分库分表MyCat

分布式数据库NoSQL

实战：基于ShardingJDBC实现的分库分表之广播表、绑定表方案

陈国星

陈国星老师

——企业IT团队技能提升引领者

曾任国内通信行业上市公司 广东融合通信 技术负责人

华为（运营商5G云改云原生方向） 签约讲师

阿里云（paas产品）特约讲师

阿里云企业级互联网架构认证专家

研发迭代领域专家

软件安全架构领域专家

【个人简介】

陈国星老师拥有15年IT研发经验，11年IT架构与管理经验，8年IT企业培训经验，负责企业IT团队技术类课程交付，涉及运营商、银行、证券、央企、事业单位等世界500强企业，包括新员工入职专题类的技术类岗位课程全流程跟进与实施、企业老员工IT专业技能提升（Java方向）、架构设计、微服务、DevOps、云原生、大数据等专题，与业内知名企业阿里、华为、企培行业头部企业建立长期的企业培训渠道深度合作模式。

曾主导南方电网互联网客户服务平台和新型客户统一模型建设、大型集团公司基于微服务架构的业务中台和数据中台建设、广东省智慧城市建设项目、教育行业云平台与虚拟化平台建设、基于IOT在美妆行业的平台建设。

精通大型分布式应用架构设计与技术研发。对于大规模分布式架构、微服务架构、软件安全架构设计等方向特别有研究，尤其对于高并发应用有丰富的架构与落地经验。擅长Java开发技能体系、软件架构、微服务、软件工程和研发团队管理，长期为某上市集团公司提供项目管理和架构顾问支持。

熟悉阿里云相关技术栈，有过多次中型项目阿里公有云上云经验；熟悉腾讯云的私有化架构，有过互联网大型项目的私有化落地实施经验。

曾在平安证券、中国电信、中国移动、中国联通、工商银行、中国银行、中数通、花样年集团等企业做过上门的项目服务，咨询及培训服务过300多家成长型企事业单位。现任某上市公司技术负责人，高级技术顾问，首席系统架构师。

【授课风格】

专业性强：凭借多年互联网公司的从业经验，结合多年服务于世界500强企业IT咨询与培训经验，能深刻理解大型企业的IT团队诉求，帮企业一起深入打造企业IT团队的金字塔模型。

实用落地：凭借15年丰富的工作经验、项目经验，成为技术实战、实操、实用、实施专家。

引导启发：理论结合实战的方式带领学员一起，让学员得到事半功倍的收获。授课条理清晰，深入浅出，通过一个或多个实际案例贯穿整个课程，语言表达能力强。

对症下药：善于捕捉学员痛点，从痛点分析到痛点解决，来调动学员学习积极性；思维敏捷，可以根据学生的实际需求随即应变。

风趣幽默：轻松愉快，深入浅出；生动活泼，通俗易懂；谈笑风生，印象深刻。

【主讲课程】

软件研发系列

《Java web核心应用开发培训》

《Java企业应用进阶与实战》

《Java企业应用利器之SpringBoot实战》

《SpringCloud应用开发实战》

《JVM深入剖析与调优实战》

《MySQL数据库高级应用开发与性能优化实战》

架构设计系列

《微服务架构设计与实战》

《大规模分布式系统架构与实践》

《互联网中间件和开源技术进阶》

《ElasticSearch应用与实战》

《基于ELK的实时日志分析平台》

《Kafka应用与实战》

《软件安全设计与开发》

【服务客户】

运营商类：中国移动（总部及各省级单位）、中国联通（江苏联通、佛山联通）、中国电信（广东省电信、河北电信）

银行类：工商银行（广东省行、深圳分行）、中国银行（深圳分行）、建设银行、华商银行（深圳分行）、农业银行（东莞、佛山、南海分行）、广州农商行、东莞农商行、广东省邮政

证券&保险：深圳平安证券、平安科技、深圳南方基金、中国人保、招商证券、招商信诺

航空类：南方航空、深圳航空、9元航空、中航信

其它类：重庆赛迪、格力集团 、中国数字通信