课程目标

理解python的特征

知晓python的结构

会使用相应方法，完成部分数据分析工作

培训对象

有数据库基础知识

有编程基础知识

有统计学基本知识

有数据分析、数据挖掘、统计分析的基本概念

对数据分析感兴趣

课程内容

第1天

主题Python的优点和不足

优点

1、python语言更接近自然语言

2、python是开放源码的自由软件

3、python可移植在各种平台上

4、python支持面向过程的函数编程，也支持面向对象的抽象编程

5、可扩展和可嵌入

6、各种功能丰富的库

7、编码规范。各种强制缩进方式提供了可读性。

不足

8、运行速度可能不理想。

9、python是开源软件，通过封装加密进行商业化，就是一个问题。

10,、繁多的标准库和第三方库

主题重要的python库

1、NumPy （numerical python）

2、Pandas 处理结构化数据的大量数据结构和函数

3、Matplotlib 绘制数据图表

4、IPython 交互式窗口，科学计算工具集的一部分

5、SciPy 专门解决科学计算中，标准问题域的包的集合。

6、Scikit-learn 机器学习库

主题Python的安装和配置

1、anaconda

2、Windows系统下的安装

3、Linux系统下的安装

主题 Ipython基础

1、IPython交互式计算和开发环境

2、Ipython启动、简单命令

3、内省

4、使用历史命令

5、与操作系统交互

6、软件开发工具

7、ipython html notebook

8、用ipython提高代码开发效率

9、ipython高级功能

主题Ipython编码效率与高级功能

1、利用python提高代码效率的几点提示

2、高级Ipython功能

第2天

主题numpy数组和矢量计算

1、NumPy的ndarray：多维数组

2、通用函数 数组函数

3、利用数组进行数据处理

4、用于数组文件的输入输出

5、线性代数

6、随机数生产

7、随机漫步

主题pandas 数据处理分析工具

1、pandas的数据结构介绍

2、基本功能

3、汇总和计算描述统计

4、处理缺失数据

5、层次化索引

6、其他有关pandas的话题

主题数据加载 转储

1、读写文本格式的数据

2、二进制数据格式

3、使用HTML和Web API

4、使用数据库

5、使用excel文件

6、使用hadoop大数据

主题简单数据清洗

1、合并数据集

2、重塑和轴向旋转

3、数据转换

4、字符串操作

主题python的绘图和可视化

1、python的图形化工具生态系统

2、matplotlib API入门

3、pandas中的绘图函数

4、绘制地图

第3天

主题数据的分组计算--分层样本

1、GroupBy技术

2、数据聚合

3、分组运算和转换

4、透视表和交叉表

主题时间序列

1、日期和时间数据类型及工具

2、时间序列基础

3、日期的范围、频率以及移动

4、时区处理

5、时期及其算数运算

6、重采样及频率转换

7、时间序列绘图

8、移动窗口函数

9、性能和内存使用方面的注意事项

主题numpy高级应用

1、ndarray对象的内部机制

2、高级数组操作

3、广播

4、ufunc高级应用

5、结构化和记录式数组

6、关于排序

7、numpy的matrix类

8、高级数组输入输出

9、性能建议

主题蒙特卡洛模拟

1、纯python

2、用numpy向量化

3、用对数欧拉方法实现全向量化

4、图形化分析

5、技术分析

主题统计学 正态检验

1、正态性检验

2、基准案例

3、现实世界的数据

第4天

主题金融应用 投资优化组合

1、基本理论

2、数据

3、投资组合优化

4、有效边界

5、资本市场线

主题k 近邻算法

1、k近邻算法概述

2、准备数据：从文本文件中解析数据

3、分析数据：使用matplotlib创建散点图

4、准备数据：归一化数值

5、测试算法：作为完整程序验证分类器

6、使用算法：构建完整可用的系统

主题决策树

1、决策树的构造

信息增益

划分数据集

递归构建决策树

2、使用matplotlib注解绘制树形图

matplotlib注解

构造注解树

3、测试和存储分类器

测试算法：使用决策树执行分类

使用算法：决策树的存储

主题概率论 朴素贝叶斯

1、基于贝叶斯决策理论的分类方法

2、条件概率

3、使用条件概率来分类

4、使用朴素贝叶斯进行文档分类

5、使用python进行文本分类

主题Logistic 回归分析

大纲1、基于Logistic回归和sigmoid函数的分类

2、基于最优化方法的 最佳回归系数确定

梯度上升法

训练算法：使用梯度上升找到最佳参数

分析数据：画出决策边界

训练算法：随机梯度上升

第5天

主题支持向量机

1、SVM应用的一般框架

2、基于最大间隔分隔数据

3、寻找最大间隔

4、SMO高效优化算法

5、利用完整plattSMO算法加速优化

6、在复杂数据上应用核函数

主题回归 ----- 预测数值型数据

1、用线性回归找到最佳拟合直线

2、局部加权线性回归

3、缩减系数来“理解”数据

岭回归

lasso

向前逐步回归

4、权衡偏差与方差

主题树回归

1、复杂数据的局部性建模

2、连续和离散型特征的树的构建

3、将CART算法用于回归

构建树 运行代码

4、树剪枝

预剪枝 后剪枝

5、模型树

6、树回归与标准回归的比较

主题大数据与mapreduce

1、mapreduce：分布式计算框架

2、hadoop流

3、mapreduce上的机器学习

4、在python中使用mrjob来自动化MapReduce

5、真的需要MapReduce吗

孙增辉

讲师资质

Oracle 数据库 DBA认证

SAS 数据分析高级程序员认证

Hadoop大数据及数据分析讲师

讲师简介

数据库专家。 孙增辉老师多年从事数据库的管理和教学工作。对oracle、sql server、mysql等关系型数据库有丰富的教学经验。对于hive、HBase这些非关系型NoSql数据库也有相当成熟的教学实践。

数据分析讲师。孙增辉老师多年讲授SAS数据分析软件的应用与数据分析实践。对SSPS、R、python等在数据分析方向的教学也有相当经验。

Hadoop大数据、spark大数据分析讲师。自2015年以来，孙增辉老师频繁从事大数据方向的教学工作

Python+人工智能

Openstack云计算技术

Docker应用容器引擎

讲师专长

孙增辉老师在数据库、大数据、数据分析，python+人工智能，这条数据应用链路上，非常擅长。

讲师IT从业经验证明和项目经验证明从业经验：

孙增辉老师从2008您进入数据库行业之后，基本上一直从事数据相关工作。没有脱离这个行业。

项目经验 ：

1.项目名称：华夏银行oracle数据库技术培训

项目描述：孙增辉老师多次在华夏银行进行oracle数据库培训。从2013年至2016年，几乎每年都要进行两三次数据库培训项目。

工作内容：为专业数据库技术部门及非技术相关部门培训数据库技术

2.项目名称：广东移动 鼎湖培训学院 大数据及数据分析

项目描述：长期多次在鼎湖培训中心，多次讲授大数据、大数据分析等相关课程。

工作内容：为专业技术部门及非技术相关部门培训大数据、数据分析技术

3.项目名称：建设银行研发中心 大数据技术培训（北京西城）

项目描述：为研发人员进行大数据技术培训

某银行数据库迁移项目

因业务发展，旧有的系统无法承担业务增长造成的压力，需要将数据库迁移到新的平台。

作为项目负责人，编写实施方案，沟通项目实践窗口，安排方案测试并组织实施。

某银行全国数据库管理员培训项目

为金融机构的oracle数据库管理员提供培训。

金融机构的技术人员一般有较好的技术基础，这对讲师的能力也是一种考验。

作为主讲讲师，讲授相关技术知识。

某银行储蓄数据库性能调优项目

为机构的数据库查询性能提供优化。

由于新业务上线，系统老旧，以及管理能力瓶颈造成的性能无法满足需要，对数据库进行调优。通过优化代码、重新组织存储、合理建设索引等方法完成项目。

作为项目工程师，确认影响范围，组织实施测试，实施调优。

某银行数据库开发项目

审核代码、优化代码在数据库中的执行效率。维护测试数据库、组织测试数据。

作为数据库管理员，提供技术支持。

ORACLE OCP公开课项目

面向社会培训的oracle认证课程。

主要是对oracle数据库的初级学员进行培训。课程内容涉及oracle数据库的全方位知识，知识点全面，深度中等。

作为主讲讲师，安排课程进度，组织教学实验，维护学习气氛。

ORACLE 数据库灾备方案 咨询项目

对企业的oracle数据库灾备项目进行咨询。

企业的oracle数据库灾备，是数据安全工作的重点，也是保障数据安全的重要手段。帮助企业完成灾备方案并实施，是一项十分重要的工作。

作为咨询顾问，进行售前技术交流、审核实施方案、安排组织方案测试。

ORACLE系统管理 系列培训/咨询项目

结合各行业企业客户的项目和培训需求，设计、开发相应的课程体系、定制课件、现场培训、系统规划、安装、配置、性能优化、疑难解答等。

作为主讲讲师/咨询顾问，提供技术支持，帮助界定项目范围、时间长度安排。

某大学 计算机学院 oracle培训项目

大学生的oracle数据库培训，与其他数据库培训有所不同。掌握课堂纪律，安排好课程的节奏反而是更重要的部分。

作为主讲讲师，安排课程进度，组织教学实验，维护学习气氛。

广东移动 SAS数据分析培训项目

培训项目内容深度要求并不严格，但是移动公司人员对知识的广度要求加大。很多时候培训组织的过程中，都要求按照学员的需求，随时调整讲授内容。这对讲师的讲授经验、项目经验、课程熟悉程度都会有较高要求。

作为主讲讲师，安排课程进度，组织教学实验，维护学习气氛。

SAS程序开发

面向社会的SAS公开课。主要内容为数据处理与简单建模。

很多数据分析课程，一开始就讲授建模部分，但是数据的采集、整理、筛选、变换才是一个数据分析师的基本功。本课程的内容主要是数据处理。

作为主讲讲师，安排课程进度，组织教学实验，维护学习气氛。

SAS数据分析

主要内容是使用描述统计、相关分析、主成分分析、聚类、回归分析、逻辑回归、方差分析、时间序列分析等方法对数据继续分析处理。

作为主讲讲师，安排课程进度，组织教学实验，维护学习气氛。

工作内容：

组织培训并安排考试考核

讲师认证证书

讲师授课经验广东移动中高级数据库培训

招商银行数据库技术培训

中国征信（北京）公司数据库运维培训

建设银行大数据技术培训

中石油化工oracle项目技术培训

广东移动数据分析培训

上海CDA数据分析师项目培训

泰安烟草数据分析培训