首頁>科技>

說Python是最容易入門,學得最快的程式語言,應該沒人反對吧?Python可以用於網站後端的開發,資料分析師需要它,遊戲開發者也用到它,主要的是Python爬蟲可以獲取或處理大量資訊。

網路爬蟲的流程是這樣的:模擬瀏覽器傳送請求(獲取網頁程式碼)->提取有用的資料->存放於資料庫或檔案中。

近日,淺黑科技的作者的一位黑客朋友御風給他發了一份《中國爬蟲圖鑑》,根據這位作者稱他的朋友是在騰訊雲鼎實驗室工作,和同事一起研究黑科技,搞了一個威脅情報系統,號稱能探測到全世界的“爬蟲”都在做什麼。

然後在這份圖鑑中,該作者就發現了一件令人毛骨悚然的事:在我們身處的網路世界,處處都爬滿了各種網路爬蟲,它們各有目的,但是隻要是越接近利益的地方,就越是爬滿了爬蟲!最常見的就是我們每天都會使用到的各類APP!

這是一張世界上被爬蟲經常關注的各行各業的比例分佈情況,出行行業是在各類別中佔比最高的,達到20.87%。

在出行的爬蟲中,亞洲航空受爬蟲青睞的程度絕對不低,亞航經常會放出便宜的機票,於是技術宅黃牛黨們利用爬蟲牟利,在指令碼中寫好了精確的時間,毫秒不差,能夠準確的把票拍下了,等到有人需要了,馬上利用程式,棄票,再馬上幫你預定,然後,交易完成!

這只是出行APP中的一個例子,在其他類別的APP中,還有更騷的操作,除了各類APP,生活中的探索精神十足的網友也初試了網路爬蟲的美妙。

網友一:

之前在北京買房,誰想房價開始瘋長,鏈家的房價等資料分析只給了一小部分,遠遠不能滿足自己的需求。於是晚上花了幾個小時的時間寫了個爬蟲,爬下了北京所有的小區資訊及北京所有小區的所有歷史成交記錄。

網友二:

上次發現Android QQ和iOS QQ可以顯示網路狀態(2G/WiFi)之後,突然想到,這樣子好像可以監視某人的出行和作息規律。如果監測頻率足夠頻繁,那麼結合一定的推理,可以大致推測出一個人的行動。如果長期監視,那麼可以大致推出一個人的作息時間。

網友三:

我只用Python爬蟲寫過一個駕校約車的指令碼,讓當時的我不懼上萬的學車同僚,在約車環節沒有輸在起跑線上。

看吧,利用Python爬蟲可以先人一步看到房源記錄,可以推算一個人的作息(但可以說這已經是視監了),也可以插隊約車。

當然,網路爬蟲也不全是不好的,比如谷歌那樣的搜尋引擎爬蟲,為大家提供查閱資訊,各個網站都樂意被掃,但是像上面提到的類似搶票軟體以及各種不正常獲取他人資訊的爬蟲,也是十分惡意了!

但是,技術本無罪,就看你怎麼使用。

  • 整治雙十一購物亂象,國家再次出手!該跟這些套路說再見了
  • 今日,又有六款華為“老旗艦”將開啟EMUI 10公測,有你嗎?