回覆列表
-
1 # 檸檬愛繪畫
-
2 # 一把勺子
在學scrapy之前,要掌握很多基礎知識,不然學起來會比較吃力
首先是前端的基礎知識,html、css、js的基礎知識要掌握,scrapy是用來寫爬蟲的,爬的就是這些網頁,要了解這些前端知識才能知己知彼;
接著是網頁分析方法,要學會用chrome等瀏覽器來分析頁面,這一點真的很重要,我們在教程裡往往會忽略這塊,但是對新手來說,這塊內容是要在學習過程中不斷摸索的,想要迅速掌握,真的很難;
接下來就是python的基礎知識了,python的語法、request、beautifulsoup等相關類庫的使用;
最後就是scrapy本身的學習了,scrapy既然是一個框架,其本身也是一個比較複雜的機器,它涵蓋了網路爬蟲從訪問網頁、獲取響應、分析響應、資料處理、資料儲存一些列過程,我們不用掌握其原理,會用即可。
說這麼多,其實scrapy是有難度,但是接觸下來,做一些專案,就沒有那麼難的,相信你可以學好用好這個框架,我們一起加油!
rules不能用是因為所繼承的類不具備該成員變數。要使用rules成員變數需要繼承自ClawerSpider類,但具體情況還需要具體,因為scrapy會由於版本不同有些屬性被取消或更換為其他型別的變數。但目前你不能使用(即不能呼叫rules),就代表當前類所繼承的類不對。要用好scrapy,最好參考對應版本的API文件。