回覆列表
  • 1 # 檸檬愛繪畫

    rules不能用是因為所繼承的類不具備該成員變數。要使用rules成員變數需要繼承自ClawerSpider類,但具體情況還需要具體,因為scrapy會由於版本不同有些屬性被取消或更換為其他型別的變數。但目前你不能使用(即不能呼叫rules),就代表當前類所繼承的類不對。要用好scrapy,最好參考對應版本的API文件。

  • 2 # 一把勺子

    在學scrapy之前,要掌握很多基礎知識,不然學起來會比較吃力

    首先是前端的基礎知識,html、css、js的基礎知識要掌握,scrapy是用來寫爬蟲的,爬的就是這些網頁,要了解這些前端知識才能知己知彼;

    接著是網頁分析方法,要學會用chrome等瀏覽器來分析頁面,這一點真的很重要,我們在教程裡往往會忽略這塊,但是對新手來說,這塊內容是要在學習過程中不斷摸索的,想要迅速掌握,真的很難;

    接下來就是python的基礎知識了,python的語法、request、beautifulsoup等相關類庫的使用;

    最後就是scrapy本身的學習了,scrapy既然是一個框架,其本身也是一個比較複雜的機器,它涵蓋了網路爬蟲從訪問網頁、獲取響應、分析響應、資料處理、資料儲存一些列過程,我們不用掌握其原理,會用即可。

    說這麼多,其實scrapy是有難度,但是接觸下來,做一些專案,就沒有那麼難的,相信你可以學好用好這個框架,我們一起加油!

  • 中秋節和大豐收的關聯?
  • 世界上數量最多的動物是什麼?