學爬蟲是循序漸進的過程，作為零基礎小白，大體上可分為三個階段，

第一階段是入門，掌握必備的基礎知識；

第二階段是模仿，跟著別人的爬蟲程式碼學，弄懂每一行程式碼；

第三階段是自己動手，這個階段你開始有自己的解題思路了，可以獨立設計爬蟲系統。

爬蟲涉及的技術包括但不限於熟練一門程式語言（這裡以 Python 為例） HTML 知識、HTTP/HTTPS 協議的基本知識、正則表示式、資料庫知識，常用抓包工具的使用、爬蟲框架的使用、涉及到大規模爬蟲，還需要了解分散式的概念、訊息佇列、常用的資料結構和演算法、快取，甚至還包括機器學習的應用，大規模的系統背後都是靠很多技術來支撐的。爬蟲只是為了獲取資料，分析、挖掘這些資料才是價值，因此它還可以延伸到資料分析、資料探勘等領域，給企業做決策，所以作為一名爬蟲工程師，是大有可為的。

那麼是不是一定要把上面的知識全學完了才可以開始寫爬蟲嗎？當然不是，學習是一輩子的事，只要你會寫 Python 程式碼了，就直接上手爬蟲，好比學車，只要能開動了就上路吧，當然寫程式碼可比開車安全多了。

用 Python 寫爬蟲，首先需要會 Python，把基礎語法搞懂，知道怎麼使用函式、類和常用的資料結構如 list、dict 中的常用方法就算基本入門。接著你需要了解 HTML，HTML 就是一個文件樹結構，網上有個 HTML 30分鐘入門教程 夠用了。然後是關於 HTTP 的知識，爬蟲基本原理就是透過網路請求從遠端伺服器下載資料的過程，而這個網路請求背後的技術就是基於 HTTP 協議。作為入門爬蟲來說，你需要了解 HTTP協議的基本原理，雖然 HTTP 規範用一本書都寫不完，但深入的內容可以放以後慢慢去看，理論與實踐相結合。

網路請求框架都是對 HTTP 協議的實現，比如著名的網路請求庫 Requests 就是一個模擬瀏覽器傳送 HTTP 請求的網路庫。瞭解 HTTP 協議之後，你就可以專門有針對性的學習和網路相關的模組了，比如 Python 自帶有 urllib、urllib2（Python3中的urllib），httplib，Cookie等內容，當然你可以直接跳過這些，直接學習 Requests 怎麼用，前提是你熟悉了 HTTP協議的基本內容。這裡不得不推薦的一本書是《圖解HTTP》。資料爬下來，大部分情況是 HTML 文字，也有少數是基於 XML 格式或者 Json 格式的資料，要想正確處理這些資料，你要熟悉每種資料型別的解決方案，比如JSON資料可以直接使用 Python自帶的模組 json，對於 HTML 資料，可以使用 BeautifulSoup、lxml 等庫去處理，對於 xml 資料，除了可以使用 untangle、xmltodict等第三方庫。

入門爬蟲，學習正則表示式並不是必須的，你可以在你真正需要的時候再去學，比如你把資料爬取回來後，需要對資料進行清洗，當你發現使用常規的字串操作方法根本沒法處理時，這時你可以嘗試瞭解一下正則表示式，往往它能起到事半功倍的效果。Python 的 re 模組可用來處理正則表示式。這裡也推薦幾個教程：正則表示式30分鐘入門教程 Python正則表示式指南 正則表示式完全指南

資料清洗完最終要進行持久化儲存，你可以用檔案儲存，比如CSV檔案，也可以用資料庫儲存，簡單的用 sqlite，專業點用 MySQL，或者是分散式的文件資料庫 MongoDB，這些資料庫對Python都非常友好，有現成的庫支援。 Python操作MySQL資料庫 透過Python連線資料庫

從資料的抓取到清洗再到儲存的基本流程都走完了，也算是基本入門了，接下來就是考驗內功的時候了，很多網站都設有反爬蟲策略，他們想方設法阻止你用非正常手段獲取資料，比如會有各種奇奇怪怪的驗證碼限制你的請求操作、對請求速度做限制，對IP做限制、甚至對資料進行加密操作，總之，就是為了提高獲取資料的成本。這時你需要掌握的知識就要更多了，你需要深入理解 HTTP 協議，你需要理解常見的加解密演算法，你要理解 HTTP 中的 cookie，HTTP 代理，HTTP中的各種HEADER。爬蟲與反爬蟲就是相愛相殺的一對，道高一次魔高一丈。如何應對反爬蟲沒有既定的統一的解決方案，靠的是你的經驗以及你所掌握的知識體系。這不是僅憑21天入門教程就能達到的高度。

進行大規模爬蟲，通常都是從一個URL開始爬，然後把頁面中解析的URL連結加入待爬的URL集合中，我們需要用到佇列或者優先佇列來區別對待有些網站優先爬，有些網站後面爬。每爬去一個頁面，是使用深度優先還是廣度優先演算法爬取下一個連結。每次發起網路請求的時候，會涉及到一個DNS的解析過程（將網址轉換成IP）為了避免重複地 DNS 解析，我們需要把解析好的 IP 快取下來。URL那麼多，如何判斷哪些網址已經爬過，哪些沒有爬過，簡單點就是是使用字典結構來儲存已經爬過的的URL，但是如果碰過海量的URL時，字典佔用的記憶體空間非常大，此時你需要考慮使用 Bloom Filter（布隆過濾器），用一個執行緒逐個地爬取資料，效率低得可憐，如果提高爬蟲效率，是使用多執行緒，多程序還是協程，還是分散式操作。

網上的爬蟲教程多如牛毛，原理大體相同，只不過是換個不同的網站進行爬取，你可以跟著網上的教程學習模擬登入一個網站，模擬打卡之類的，爬個豆瓣的電影、書籍之類的。透過不斷地練習，從遇到問題到解決問題，這樣的收穫看書沒法比擬的。

最後打個廣告哈，推薦幾個天善學院爬蟲的課程：

Python網路爬蟲實戰（全網超5W人學習，好評率100%）

本Python 網路爬蟲課程將教授如何用Python抓取、清理、儲存網路資料，透過實際案例示範，傳授如何定義資料產品、從網路萃取與清理資料、資料庫儲存、並進行初步資料分析的基礎方法，讓大資料分析不再只是紙上談兵。

講師介紹：

丘祐瑋(DavidChiu) – 大數軟體(LargitData)創辦人，是一位致力於提供輿情分析服務的創業者與資料科學家，熟悉Hadoop,

Spark 等巨量資料平臺，及擅長使用R,

Python與機器學習技術進行資料分析。曾任多家上市公司顧問及擔任知名大資料應用程式競賽的評審，自身著有Machine

Learning With R Cookbook [Packt] 與 R Cookbook [Packt] 二書

課程連結：https://edu.hellobi.com/course/81

Python3爬蟲三大案例實戰分享

主講導師：

崔慶才，北航碩士，Python技術控，百萬級熱度爬文博主。喜歡鑽研，熱愛生活，樂於分享。

課程介紹：

個人部落格：靜覓 | http://cuiqingcai.com/

祝大家學有所成！

以初學python的我舉例：

簡單的爬蟲，只需要會使用urllib，urllib2，re，requests模組就可以爬一些簡單的網站資料了。如果想要把資料儲存，可能需要xlwt用來操作excel的庫。除了python上述庫的使用，也需要python基礎知識，例如字典，list，迴圈語句，函式定義def等

簡單的爬蟲除了python基礎外，還需要web一些知識，get和post請求方式，簡單說就是會分析網站

如果想要爬取大量資料，複雜網站的話，需要學習多執行緒，框架，反爬等技術，希望早早進入爬蟲界，咱們一起加油

建議有了基本的Python基礎，就開始著手編寫爬蟲，而不是想著什麼時候Python學好了，再去寫程式碼。程式語言的學習最好的方式就應該是帶著問題去學習，這樣掌握的速度是最快的，效果也是最好的。