首頁>Club>
5
回覆列表
  • 1 # 水母星人

    爬蟲面向的是web網站,核心程式碼不多,但是不同的網站,不同的開發設計思路是不同的,專案做的越多越有經驗,所以確實需要大量的專案,下面是常規的爬蟲學習結構。

    Python入門

    1、基本知識、資料型別、流程控制。

    人生苦短,快用Python

    2、函式

    人生苦短,只用Python

    3、用模組

    4、I/O基礎

    人生不短,也用Python

    5、Linux基礎

    Linux基礎

    最後包管理和虛擬環境都要有所瞭解,怎麼樣,這些基礎你都會了嘛!

    web前端

    當然光學了基礎是遠遠不夠的,我們要深入做爬蟲,首先得了解這個東西是怎麼做的瞭解清楚它的原理,那麼web前端方面的學習是必不可少的,下面我們來了解一下。

    1、標籤

    標籤

    2、樣式

    樣式

    3、JS語法

    JS語法

    4、jQuery

    jQuery

    5、Ajax

    Ajax

    6、bootstrap

    bootstrap

    前端部分不用涉及太深,只是學爬蟲的話這些就完全夠用了,俗話說“工欲善其事,必先利其器”,所以我們再把下面這些Python知識學完後,就可以毫無後顧之憂的來學習爬蟲了。

    Python進階

    1、面向物件

    面向物件

    2、裝飾器、惰性器

    裝飾器、惰性器

    3、高階模組

    高階模組

    4、 併發程式設計(多執行緒與多程序)

    什麼是程序、執行緒

    多程序

    多執行緒

    Future實現多程序、多執行緒

    5、併發程式設計(協程、非同步IO)

    協程、非同步IO

    好了,這些東西全部學會以後,就可以進行正式的爬蟲學習了,在之後的學習路途中很多東西一看到就胸有成竹,想皮都皮不起來。

    爬蟲基礎

    學習爬蟲,我們首先要了解什麼是爬蟲以及它的工作流程,知己知彼,方能百戰百勝嘛。當然這些大家都知道的,廢話不多說,先來看看爬蟲基礎知識點。

    1、請求與響應

    請求與響應

    2、爬蟲與反爬蟲

    爬蟲與反爬蟲

    3、開發工具

    開發工具

    4、Urllib庫使用詳解與專案實戰

    Urllib庫使用詳解與專案實戰

    5、requests庫安裝使用與專案實戰

    requests庫安裝使用與專案實戰

    6、太多了看圖

    爬蟲基礎最後一彈

    好了,如果只是想入個門的話,這些都差不多了,但我想每個學爬蟲的小夥伴,都是想成為一個偉大的爬蟲攻城獅的吧!來來來,讓我們繼續看看進階學習方法。

    爬蟲進階

    1、爬蟲框架實現

    爬蟲框架實現

    2、破解反爬技術

    破解反爬技術

    3、代理池實現

    代理池實現

    4、模擬登陸

    模擬登陸

    5、pyspider框架

    pyspider框架

    爬蟲高階部分

    1、APP的抓取

    APP的抓取

    2、Scrapy框架

    Scrapy框架

    3、分散式爬蟲實戰

    分散式爬蟲實戰

    4、分散式爬蟲部署

  • 2 # 壯志山河

    本人跨專業進入網際網路行業,目前職位是演算法工程師,所用語言包括GO、Python和R等,使用的最爽滑的語言還是Python。根據這幾年學習Python的經驗教訓,我將Python程式語言入門的心底體會總結如下:要有人教,要有學習環境,要不斷地交流更新知識。

    1.Python程式語言入門最好有老師教。無論學習什麼技術,有老師教總比自己死扣鑽研要有效率得多。有人要問,要報培訓班嗎?不必,太貴,看入門影片即可,看一遍影片相當於老師講解了一遍。推薦看小甲魚的Python零基礎入門影片(不想找影片的私信,免費分享)。認真看一兩遍影片,然後將影片中的程式自己動手實現,再看Python入門書籍效果更好,推薦看《Python核心程式設計》或《與孩子一起學程式設計》,這兩本書都寫得簡單明瞭,毫不拖泥帶水。

    2.Python程式語言學習需要有一定的學習環境。初學Python或者其他語言,隨著學習的深入,初學者會有一種越學越不知所學的感覺,不知道自己學的有沒有用,畢竟網際網路的方向太多,很容易給人一種學入歧途的感覺。怎麼辦?趁早找網際網路工作。用入門Python的基礎知識,去敲開網際網路公司的大門(當然這需要強大內心和厚臉皮),走上Python程式設計的工作崗位。這樣才能做到學習就是工作,工作就是學習,學到的就是有用的,這樣學習才不會浪費時間和精力,才會更有效。

    3.Python程式語言學習需要不斷地更新知識,需要經常地逛程式設計社群、論壇和交流群來更新自己的知識,看大牛的最新技術,積累經驗和實現方法,以此更好地掌握Python。

    綜上,Python程式設計學習入門需要有人教,需要有一定的學習環境,需要不斷地更新知識跟上發展。等到入門Python之後,你會發現Python入門容易,精通卻很難,估計絕大多數職業都是如此吧。

  • 3 # new-小組會

    Python的幾個基礎資料結構以及其物件內建方法,幾個魔法方法和語言buildin方法。到這裡是語言基礎。之後再看面向物件,學會寫class,繼承、多型搞懂,Python就差不多成了。下面邊學框架邊學高階特性和庫。學django順便學習http、wsgi、幾個簡單的設計模式,學flask學習裝飾器、函式式函式,學tornado順便學多執行緒和協程,理解ioloop。學爬蟲其實是對網路的更深的瞭解。這樣循序漸進,大概一年左右,輔以實戰專案(最好去公司做專案),順帶學會簡單的專案部署和運維,最好全程使用centos或是Ubuntu做作業系統。對了,另外,絕對不要去學Python2了。

  • 中秋節和大豐收的關聯?
  • 歷史上的英國是如何一步步變成強大的“日不落帝國”的?