课程简介

您需要在各种网站上抓取数据吗？例如金融、证券、期货、各种行业网站，甚至于您想在网上抓取网络小说的内容吗？或者新闻以及评论？

这就是网络爬虫的功能！

您可能想，抓取网页数据，做爬虫工具，这是专业人员的事情啊，我干嘛要做？

But，您的公司可能就没有外包爬虫软件的预算，另外各种网站复杂多变，花了钱请被人做的爬虫软件，网站一改版，就不能用了。

求人不如求己！拥有编制爬虫的能力，对您的帮助多多，也是职场能力和hard skill的重大提升！

课程适用对象

金融、互联网、市场营销等相应职能人员等。

课程教学方式

讲师讲授+互动+软件现场操作

课程大纲

1.Python简介

（1）Python安装

（2）python包安装及介绍

（3）pycharm工具的安装

（4）选择python做爬虫的理由

2.Python程序基础

（1）变量

（2）过程与函数

（3）对象

案例：编程即对象，python处理excel文件对象

3.Python基本语句

（1）输入输出语句

（2）条件判断语句

If、else、elseif、嵌套代码块等。

（3）循环语句

包括for、while以及跳出循环的基础技巧。

4.Python数据结构

（1）列表

（2）元祖

（3）字典

（4）集合

5.python代码的调试过程

（1）运行程序

（2）单步调试

（3）添加断点

（4）添加监视

6.EXCEL和txt格式文本的读写

Python可以读取各种常见的数据格式，但是工作中最常见的还是对于EXCEL和TXT文本的读取，python有专门针对EXCEL和TXT文本的工作包，可以方便地读写，对EXCEL也可以做各种格式：

（1）Xlsx文件的读写

（2）txt文本的读写

7. 爬虫原理和网页构造

（1）爬虫原理

介绍网络连接和爬虫的原理。

（2）网页构造

介绍网页的一般结构和html的基本构造。

（3）html元素和标签

（4）CSS简介

8.爬虫三大库

Python提供了requests、beautifulsoup和Lxml三种常用的爬取网络信息的方法，其中以beautifulsoup最为常用：

（1）Requests库的使用

（2）Beautifulsoup库的使用

（3）各种爬取实例

包括数字、表格、文本、图片、文件下载等。

案例分析：爬取金融期货网站表格数据

9.正则表达式

正则表达式是加速爬虫抓取的强大技术，也是爬虫技术的重要基础：

（1）正则表达式常用符号

（2）Re模块及其方法

案例分析：抓取《斗破苍穹》全文小说

10.表单交互和模拟登录

表单交互是在爬取数据时由程序自动实现和网页的交互，模拟登录是在爬取数据过程中用技术手段实现自动登录：

（1）Selenium包的调用

（2）网页翻页

（3）表格输入和查询

纪贺元

本科毕业于大连理工大学计算机系，硕士和博士均毕业于复旦大学。长期从事数据分析、python、powerbi、VBA、人工智能、大数据、数字化转型、市场调查、EXCEL、信息检索与收集、Access、PPT、SPSS等方面的培训工作，为上海交通大学EDP中心、上海交通大学海外教育中心、上海交通大学继续教育学院、中智、时代光华（北京）、肯耐珂萨（上海）、益策、华嗣、卓华等国内知名培训机构开设过多次内训和公开课课程。立邦涂料长期合作讲师，华晨宝马长期合作讲师（数据统计分析方向、三年一签）。数据分析方面年授课量在110天左右。

纪贺元相关工作经历如下：

时间工作单位职位工作内容

1993-1995上海贝尔电话设备制造有限公司交换机工程师交换机局数据生成，局数据批量数据处理及分析，IBM大型机上编程分析

1995-1999摩托罗拉上海分公司交换机工程师通信交换机软件测试，switchmate数据整理与分析

1999-2001朗讯科技上海办事处技术支持产品的技术支持，负责相应的数据处理以及产品newsletter的资料收集和发布

2001-2003新加坡比技公司技术市场经理手机相关产品和增值业务的开发工作

2003-2007上海全成通信技术有限公司项目经理中移动和中国电信下属多个省公司的数据分析与挖掘方案的供应商，曾经领导了多个“移动业务营销支撑系统”及中移动省公司数据部和大客户部的数据分析项目

2007-至今数据分析培训师从事数据分析和挖掘方面的培训咨询工作 2017年出版《数据分析实战：基于EXCEL和SPSS系列工具的实践》一书，受到了业界的欢迎，https://item.jd.com/12080023.html。

现在第二本专著《从编程小白到python数据分析高手》已经和机械工业出版社签订出版合同，书稿正在写作中，预计2023年1月出版：

纪贺元曾经在上海贝尔、MOTOROLA、Lucent、新加坡比技公司、上海全成等公司长期工作，在过去的实际工作中，本人积累了较多的在数据分析和挖掘的实战经验， 1995年即开始使用EXCEL VBA对于Motorola电信交换机的运营数据进行分析和编程处理，1998年即开始采用SPSS软件进行数据分析和市场调查报表的分析工作，在新加坡比技公司、上海全成通信等公司组织和领导了多项移动通信增值业务数据的数据挖掘项目（采用COGNOS商业报表软件和CLEMENTINE软件）。

纪老师擅长的课程有：

本人也曾经参与或主持过多项数据分析方面、市场调研等方面的咨询项目，包括 ：

2020年：

（1）基于大数据的基金购买及止盈方式回测

（2）基金随心查项目

2018年：

（3）上海大众2019年培训内部需求调研分析，问卷800多份，包括调研数据分析以及分析报告撰写

（2）天顺风能常熟工厂生产部及BOM运维报表系统，用VBA编程，代码2.3万行

（3）思南智库营帐系统，用VBA编程，代码0.9万行

（4）宝钢集团数据分析轮训（9天，包括宝钢上海下属子公司、宝钢国际、新疆八一钢铁等

2017年：某润滑油企业市场调研数据分析

2016年：

基于百度和bing的类爬虫软件设计和编制

2015年：

上海张江高科科技园政府扶持企业资金投入产出绩效分析项目（分析工具提供）（VBA实现DEA算法）

迪皮埃复材构件（太仓、大丰）两公司生产部报表项目（VBA实现）

某证券私募企业股票指标数据跟踪与分析系统（VBA实现）

上海卷烟销售公司低焦油香烟消费者调研

2014年:

上海印钞厂统计分析培训专题咨询

苏州工业园区软环境满意度调研

上海某涂料公司3-5年发展规划-市场信息检索与利用

2013年：

（1）迪皮埃复材构件（太仓）有限公司，生产部数据流程整合咨询项目（包括VBA编码调试）

（2）上海印钞厂统计分析专题咨询

2011年：

内蒙古杏仁露产品上市前调研

2010年：

我国电子阅读器市场用户消费模式调研

2009年：

格林动力汽车尾气净化剂数据分析

杨浦区商管公司下属商业网点调研

2005年：

2005年上海移动有限公司新产品发展模式市场调研

本人擅长数据分析和市场调研等方面的培训，包括用EXCEL、EXCEL VBA、水晶易表、SPSS、SAS、CLEMENTINE等软件进行营销、生产制造、财务等方面的数据分析。

服务客户（仅列知名企业）：

汽车：上汽大众郑州、永达汽车、东风雪铁龙、东风标致、大陆汽车、奇瑞技术中心、上汽集团、标致雪铁龙、奇瑞汽车、大众汽车、大众联合、大众电子、重庆康明斯、宝马发动机、华晨宝马、优美科（中国）、天合汽车、伟巴斯特、大连中升之星、一汽大众、保时捷、天津壳牌、中石化壳牌

金融：浦发银行、交行总行、平安产险广州分公司、平安银行天津分行、360金融、陆金所、西安招商银行、深圳民生银行、建行第二总行（上海）、富邦华一、江苏中行、太平洋保险（2019轮训，10天）、富邦华一银行、平安银行、广东佛山中国人寿保险、平安产险、平安证券、汇添富基金、成都某贷款公司

医药保健：北京大鹏、因美纳、康宝莱、广州健之宝、赛诺菲、阿斯利康、上海医疗器械集团、国药集团、英特格拉、贝泰妮

互联网：欧冶云商、宝尊电商、携程、蘑菇街

电信：中移在线安徽分公司、台州移动、海南移动、湖州移动、常州移动、北京移动、北京联通、中移在线、深圳电信、中国移动集团公司、中国网通北京分公司、河南移动、杭州华数集团

工业：中广核、北京国投氢能、施耐德、晶科能源、西门子、上海电气、宝武集团、南京巴斯夫、公牛电器、德赛蓝微电子、三洋电池（苏州）、博威合金、上海印钞厂、上海造币厂、江南造船厂、可耐福（石膏板）芜湖、赛默飞世尔、金泰线业、迪皮埃（太仓）

航空：吉祥航空、诺翼航空

食品及厨具：宾三得利、苏泊尔、旺旺食品

商业及超市：华联超市、百联

其他：上海中心、上海外联发、广州景兴、中石化壳牌、浦东新区发改委（统计局）、立邦涂料、上海强生、依视路（中国）、广东国笔、大赛璐（中国）、地中海游轮（上海）