程式設計師用 Python 爬取抖音高顏值美女！不漂亮的不要

首頁>科技>有趣的程式媛2019-11-23 00:29

程式設計師用 Python 爬取抖音高顏值美女！不漂亮的不要

目標場景

如果一條條去刷確實很耗時間，如果 Python 能幫忙篩選出顏值高的小姐姐那就省了很多事。

本篇文章是藉助「百度人臉識別」API，幫我們識別出抖音上顏值高的小姐姐，然後下載到手機相簿中。

準備工作

首先，專案需要對頁面元素進行一些精準的操作，需要提前準備一部 Android 裝置，啟用開發者選項，並在開發者選項中開啟「USB 除錯和指標位置」兩處設定。

為了確保 adb 命令能正常使用，需要提前配置好 adb 開發環境。

頁面元素中的部分元素沒法利用 name 等常用屬性獲取到，可能需要獲取到完整的「UI 樹」，再利用 Airtest 判斷是否存在某個 UI 元素。

# 安裝依賴pip3 install pocoui

另外，專案中會對視訊進行人臉識別，獲取到出現的所有人臉，再進行性別識別及顏值判斷。

這裡需要進行百度雲後臺，註冊一個人臉識別的應用，獲取到一組「API Key 和 Secret Key」值。

http://127.0.0.1/vhost/conf/img_echo.php?w=640&h=329&src=https://console.bce.baidu.com

然後利用官網提供的 API 文件即可獲取到「access token」，由於 ak 的有效期為一個月，所以只需要初始化一次，後面就可以利用人臉識別介面進行正常的識別了。

appid = &#39;你註冊應用的appid&#39;api_key = &#39;你註冊應用的ak&#39;secret_key = &#39;你註冊應用的sk&#39;def get_access_token(): &#34;&#34;&#34; 其關access_token有效期一般有一個月 &#34;&#34;&#34; # 此變數賦值成自己API Key的值 client_id = api_key  # 此變數賦值成自己Secret Key的值 client_secret = secret_key  auth_url = &#39;https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&amp;client_id=&#39; + client_id + &#39;&amp;client_secret=&#39; + client_secret header_dict = {&#39;User-Agent&#39;: &#39;Mozilla/5.0 (Windows NT 6.1; Trident/7.0; rv:11.0) like Gecko&#39;, &#34;Content-Type&#34;: &#34;application/json&#34;} # 請求獲取到token的介面 response_at = requests.get(auth_url, headers=header_dict) json_result = json.loads(response_at.text) access_token = json_result[&#39;access_token&#39;] return access_token

編寫腳本

在上面已經配置好了 adb 環境的情況下，可以直接藉助 python 中的 os 模組執行 adb 命令開啟抖音 App。

# 抖音App的應用包名和初始Activitypackage_name = &#39;com.ss.android.ugc.aweme&#39;activity_name = &#39;com.ss.android.ugc.aweme.splash.SplashActivity&#39;def start_my_app(package_name, activity_name): &#34;&#34;&#34; 開啟應用 adb shell am start -n com.tencent.mm/.ui.LauncherUI :param package_name: :return: &#34;&#34;&#34; os.popen(&#39;adb shell am start -n %s/%s&#39; % (package_name, activity_name))

接著，我們需要擷取當前播放視訊的截圖到本地。

需要注意的是，抖音視訊播放介面包含視訊創作者頭像、BGM 創作者頭像等一些雜亂的元素，可能對人臉識別的結果產生一些誤差，所以需要對螢幕截圖之後的影象進行「二次裁剪」處理。

def get_screen_shot_part_img(image_name): &#34;&#34;&#34; 獲取手機截圖的部分內容 :return: &#34;&#34;&#34; # 截圖 os.system(&#34;adb shell /system/bin/screencap -p /sdcard/screenshot.jpg&#34;) os.system(&#34;adb pull /sdcard/screenshot.jpg %s&#34; % image_name) # 開啟圖片 img = Image.open(image_name).convert(&#39;RGB&#39;) # 圖片的原寬、高(1080*2160) w, h = img.size # 擷取部分，去掉其頭像、其他內容雜亂元素 img = img.crop((0, 0, 900, 1500)) img.thumbnail((int(w / 1.5), int(h / 1.5))) # 儲存到本地 img.save(image_name) return image_name

現在可以使用百度提供的 API 獲取到上面截圖的人臉列表。

def parse_face_pic(pic_url, pic_type, access_token): &#34;&#34;&#34; 人臉識別 5秒之內 :param pic_url: :param pic_type: :param access_token: :return: &#34;&#34;&#34; url_fi = &#39;https://aip.baidubce.com/rest/2.0/face/v3/detect?access_token=&#39; + access_token # 呼叫identify_faces，獲取人臉列表 json_faces = identify_faces(pic_url, pic_type, url_fi) if not json_faces: print(&#39;未識別到人臉&#39;) return None else: # 返回所有的人臉 return json_faces

從上述的人臉列表中篩選出性別為女，年齡為 18-30 歲之間，顏值超過 70 的小姐姐。

def analysis_face(face_list): &#34;&#34;&#34; 分析人臉，判斷顏值是否達標 18-30之間，女，顏值大於80 :param face_list:識別的臉的列表 :return: &#34;&#34;&#34; # 是否能找到高顏值的美女 find_belle = False if face_list: print(&#39;一共識別到%d張人臉，下面開始識別是否有美女~&#39; % len(face_list)) for face in face_list: # 判斷是男、女 if face[&#39;gender&#39;][&#39;type&#39;] == &#39;female&#39;: age = face[&#39;age&#39;] beauty = face[&#39;beauty&#39;] if 18 &lt;= age &lt;= 30 and beauty &gt;= 70: print(&#39;顏值為:%d,及格，滿足條件！&#39; % beauty) find_belle = True break else: print(&#39;顏值為:%d,不及格，繼續~&#39; % beauty) continue else: print(&#39;性別為男,繼續~&#39;) continue else: print(&#39;圖片中沒有發現人臉.&#39;) return find_belle

由於視訊是連續播放的，很難通過擷取視訊某一幀，判斷視訊有出現顏值高的小姐姐。

另外，大部分短視訊播放時長為「10s+」，這裡需要對每一個視訊多次截圖去做人臉識別，直到識別到顏值高的小姐姐。

# 一條視訊最長的識別時間RECOGNITE_TOTAL_TIME = 10 # 識別次數recognite_count = 1# 對當前視訊截圖去人臉識別while True: # 獲取截圖 print(&#39;開始第%d次截圖&#39; % recognite_count) # 擷取螢幕有用的區域，過濾視訊作者的頭像、BGM作者的頭像 screen_name = get_screen_shot_part_img(&#39;images/temp%d.jpg&#39; % recognite_count) # 人臉識別 recognite_result = analysis_face(parse_face_pic(screen_name, TYPE_IMAGE_LOCAL, access_token)) recognite_count += 1 # 第n次識別結束後的時間 recognite_time_end = datetime.now() # 這一條視訊出現了顏值高的小姐姐 if recognite_result: pass else: print(&#39;超時！！！這是一條沒有吸引力的視訊！&#39;) # 跳出裡層迴圈 break

一旦當前播放的視訊識別出有顏值高的小姐姐，就需要模擬儲存視訊到本地的操作。

def save_video_met(): &#34;&#34;&#34; :return: &#34;&#34;&#34; # 分享 os.system(&#34;adb shell input tap 1000 1500&#34;) time.sleep(0.05) # 儲存到本地 os.system(&#34;adb shell input tap 350 1700&#34;)

另外，由於下載視訊的過程是一個耗時操作，在下載進度對話方塊還未消失之前，需要做一個「模擬等待」的操作。

def wait_for_download_finished(poco): &#34;&#34;&#34; 從點選下載，到下載完全 :return: &#34;&#34;&#34; element = Element() while True: # 由於是對話方塊，不能利用Element類來判斷是否存在某個元素來準確處理 # element_result = element.findElementByName(&#39;正在儲存到本地&#39;) # 當前頁面UI樹元素資訊 # 注意：儲存的時候可能會獲取元素異常，這裡需要丟擲，並終止迴圈 # com.netease.open.libpoco.sdk.exceptions.NodeHasBeenRemovedException: Node was no longer alive when query attribute &#34;visible&#34;. Please re-select. try: ui_tree_content = json.dumps(poco.agent.hierarchy.dump(), indent=4).encode(&#39;utf-8&#39;).decode(&#39;unicode_escape&#39;) except Exception as e: print(e) print(&#39;異常，按下載處理~&#39;) break if &#39;正在儲存到本地&#39; in ui_tree_content: print(&#39;還在下載中~&#39;) time.sleep(0.5) continue else: print(&#39;下載完成~&#39;) break

在視訊儲存到本地之後，就可以模擬向上滑動的操作，跳到播放「下一條視訊」。

迴圈上面的操作，即可篩選出所有顏值高的小姐姐，並儲存到本地。

def play_next_video(): &#34;&#34;&#34; 下一個視訊 從下往上滑動 :return: &#34;&#34;&#34; os.system(&#34;adb shell input swipe 540 1300 540 500 100&#34;)

在指令碼一條條刷視訊的過程中，可能會遇到一下廣告，我們需要對這類視訊進行過濾。

def is_a_ad(): &#34;&#34;&#34; 判斷的當前頁面上是否是一條廣告 :return: &#34;&#34;&#34; element = Element() ad_tips = [&#39;去玩一下&#39;, &#39;去體驗&#39;, &#39;立即下載&#39;] find_result = False for ad_tip in ad_tips: try: element_result = element.findElementByName(ad_tip) # 是一條廣告,直接跳出 find_result = True break except Exception as e: find_result = False return find_result

結果結論

執行上面的指令碼，會自動開啟抖音，對每一條小視訊多次進行人臉識別，直到識別到顏值高的小姐姐，儲存視訊到本地，然後繼續刷下一條短視訊。

468