掌握web前端基礎(chǔ)語(yǔ)法，如html、css、javascript等

掌握網(wǎng)絡(luò)爬蟲(chóng)原理及常用爬蟲(chóng)庫(kù)的使用，如requests、beautifulsoup、scrapy、selenium等

掌握常用的突破反爬蟲(chóng)技術(shù)，如添加header、使用ip代理、突破動(dòng)態(tài)渲染等

掌握分布式爬蟲(chóng)的原理及開(kāi)發(fā)

?

第1章 Web前端基礎(chǔ)

1．web程序原理

2．Html 基礎(chǔ)

3．Css 基礎(chǔ)

4．Javascript 基礎(chǔ)

5．a(chǎn)jax

第2章 網(wǎng)絡(luò)爬蟲(chóng)基礎(chǔ)

1．初識(shí)爬蟲(chóng)：什么是爬蟲(chóng)、爬蟲(chóng)的工作流程

2．抓包分析：charles 及 fiddler的使用

3．獲取內(nèi)容：urllib、urllib3、requests等庫(kù)的使用

4．HTML解析：正則表達(dá)式、beautifulsoup4

5．?dāng)?shù)據(jù)保存：保存為文件、保存進(jìn)數(shù)據(jù)庫(kù)

6．基礎(chǔ)爬蟲(chóng)實(shí)戰(zhàn)：url 管理器、html 下載器、html 解析器、數(shù)據(jù)存儲(chǔ)器、爬蟲(chóng)調(diào)度器

7．反爬與突破反爬蟲(chóng)：設(shè)置 ip 代理、驗(yàn)證碼、動(dòng)態(tài)渲染等

8．selenium 框架

第3章 Scrapy爬蟲(chóng)框架

1．初識(shí) Scrapy ：Scrapy架構(gòu)、創(chuàng)建項(xiàng)目、執(zhí)行流程

2．Scrapy 基本使用：編寫(xiě)spider、使用 item封裝數(shù)據(jù)、pipline 處理數(shù)據(jù)、標(biāo)簽提取、導(dǎo)出數(shù)據(jù)、下載圖片和文件、中間件等

3．增量式爬蟲(chóng)：重方案、布隆過(guò)濾器等

4．分布式爬蟲(chóng)：redis基礎(chǔ)、分布式爬蟲(chóng)原理、scrapy實(shí)現(xiàn)分布式爬蟲(chóng)

5．部署爬蟲(chóng)：Scrapyd 的安裝及使用