劇多
首頁
資訊
體育
娛樂
汽車
投資
財經
軍事
科技
數碼
科學
遊戲
歷史
健康
政治
影視
旅遊
育兒
美食
時尚
房產
農業
社會
文化
教育
技術
美文
情感
故事
家居
職場
自然
闢謠
心理
攝影
漫畫
生活
其它
Club
Tips
熱門話題
搜尋
註冊
登入
首頁
>
Club
>
yangbaiqiang
2021-10-01 03:17
如何用Python模擬人為訪問網站的行為?
並在統計工具中體現出來?
3
回覆列表
1 # 菸草的香味
使用python模仿人為訪問網站個人認為主要有以下幾個方面:
請求頭,傳送訪問後,伺服器接收到的最直接的感覺就是請求頭了,所以,首先請求頭要和瀏覽器的請求一樣,目前主要是User-Agent、Host、Referer等請求頻率,機器的訪問速度一定是比人的請求速度快的多,如果你一秒有幾十條請求的話,當然不難分辨你是一個爬蟲,可以使程式休息一會等方式cookie,使用者訪問網站時是伴隨著cookie的,cookie中儲存著登陸資訊等,這種可以使用session來實現資源請求,當訪問一個頁面時,一般不會是一個只有一個html檔案,同時伴隨著一些資源的請求,比如css,jpg,json等,而爬蟲一般不會把這些資源全部請求,當然可以使用瀏覽器自動化控制模組(selenium等)來實現操控瀏覽器來請求驗證碼等,有些頁面會伴隨著驗證碼,使用驗證碼來判定訪問者是一個人還是機器,不過一般的驗證碼當然是難不倒我們了以上就是我個人認為的Python爬蟲和瀏覽器的區別,總結不全出,望各位不吝賜教
發表回復
相關內容
如何用iPad執行Python程式碼?
如何用python語言表示一個三維的立方體,該怎麼做?
在地球如何用模擬太空環境證明地球外的視(可觀察的視)界是假的?
如何用單片機制作模擬交通燈?
如何用Python一門語言通吃高效能併發,GPU計算和深度學習?
∧
中秋節和大豐收的關聯?
∨
國際社會為何推遲對塔利班政府的承認?塔利班為何在意國際承認?
熱門排行
對方把你的朋友圈隱蔽了怎麼看?
彼岸花的種子叫什麼?
逆水寒紫色裝備能分解什麼?
跳繩瘦腿效果好嗎?
川西最近幾天氣候變化大嗎?
寶馬x3使用hicar的效果如何?
鐵砧子用什麼固定?
保安脫崗處罰通報範文?
直播經理人是什麼?
27層樓高度還有蚊子嗎?
使用python模仿人為訪問網站個人認為主要有以下幾個方面:
請求頭,傳送訪問後,伺服器接收到的最直接的感覺就是請求頭了,所以,首先請求頭要和瀏覽器的請求一樣,目前主要是User-Agent、Host、Referer等請求頻率,機器的訪問速度一定是比人的請求速度快的多,如果你一秒有幾十條請求的話,當然不難分辨你是一個爬蟲,可以使程式休息一會等方式cookie,使用者訪問網站時是伴隨著cookie的,cookie中儲存著登陸資訊等,這種可以使用session來實現資源請求,當訪問一個頁面時,一般不會是一個只有一個html檔案,同時伴隨著一些資源的請求,比如css,jpg,json等,而爬蟲一般不會把這些資源全部請求,當然可以使用瀏覽器自動化控制模組(selenium等)來實現操控瀏覽器來請求驗證碼等,有些頁面會伴隨著驗證碼,使用驗證碼來判定訪問者是一個人還是機器,不過一般的驗證碼當然是難不倒我們了以上就是我個人認為的Python爬蟲和瀏覽器的區別,總結不全出,望各位不吝賜教