回覆列表
-
1 # 全棧資訊
-
2 # dira大書家
直接看訪問記錄 訪問時間 訪問深度 訪問次數。然後你就能確定大概是誰在爬了,然後直接ban掉ip
-
3 # OB實驗室
自己有管理許可權的網站可以看網站日誌一般請求頭就可以看見非使用者請求的資訊,如果爬蟲對head進行偽裝,可以看ip和請求時長。總之網站日誌是很容易發現爬蟲的。而處理呢可以封禁ip也可以限制同一使用者呢瀏覽縱深。
需要結合打點工具,如growingio等進行分析。
打點工具能夠檢視訪問網站的使用者的很多合法公開的資訊,如手機版本等,可以通過這些進行具體分析,自己的網站有沒有被爬蟲爬取過。