爬取網站一般用java和python 較多。python 作為當下勢頭正熱的膠水語言，用來爬去網站內容再合適不過了，語法簡介優雅，易入門，並可快速應用於案例。
那麼如何爬取一個網站呢？
隨著越來越多的網站開始重視自己的資料資訊，網站管理員都開始注重網站的反爬蟲，驗證碼，按文字提示順序點選圖片等，越來越多的驗證碼讓使用者不厭其煩，而資料洩露仍舊是當下網際網路的一大問題，有盾便有矛，爬蟲和反爬蟲技術本身也在不斷的發展，反爬蟲技術則需要在使用者體驗和網站安全性之間做一個很好的平衡。
以上。
爬取網站一般用java和python 較多。python 作為當下勢頭正熱的膠水語言，用來爬去網站內容再合適不過了，語法簡介優雅，易入門，並可快速應用於案例。
那麼如何爬取一個網站呢？
首先需要分析網站結構，一般用Chrome 瀏覽器，分析自己需要爬取的內容位於哪個DIV，如果是網站作用了ajx技術，就需要爬取XHR了。對於一般要爬取的資料一般是用requests模組，使用簡單，有豐富的中文文件，如果是大型專案建議用scripy, 是一個極其優秀的爬蟲框架。對於爬取到的資料，當然是需要先清洗一邊，用推薦用beautifulsoup這個包，上手簡單。清洗後的資料需要匯出儲存，如果需要匯出到表格可以用XlsxWrter。隨著越來越多的網站開始重視自己的資料資訊，網站管理員都開始注重網站的反爬蟲，驗證碼，按文字提示順序點選圖片等，越來越多的驗證碼讓使用者不厭其煩，而資料洩露仍舊是當下網際網路的一大問題，有盾便有矛，爬蟲和反爬蟲技術本身也在不斷的發展，反爬蟲技術則需要在使用者體驗和網站安全性之間做一個很好的平衡。
以上。