1. 簡介

1.1 概要

AppCrawler 是由霍格沃茲測試學院校長思寒開源的一個專案,通過名字我們大概也能猜出個方向，Crawler 是爬蟲的意思，App 的爬蟲，遍歷 App ：

官方 GitHub 上對這款工具的解釋是：

一個基於自動遍歷的 App 爬蟲工具。支援 Android 和 iOS，支援真機和模擬器。最大的特點是靈活性，可通過配置來設定遍歷的規則。

這裡順便提一下的是谷歌也釋出了一款自動遍歷的工具，名字幾乎一樣，叫做 App Crawler (差了一個空格)，設計的思想也一致，但是這款工具目前還在開發完善中，思寒大佬的工具比谷歌的早了兩年時間，厲害啊！

下面來看看 AppCrawler 的作用和價值。

1.2 需求背景

網際網路的業務需求背景：

業務變更快速業務線眾多業務流程複雜依賴第三方介面較多

測試工作常見問題：

UI 自動化只能覆蓋核心業務邏輯，新功能來不及上自動化產品業務測試量較大，新版釋出後，老功能來不及全面迴歸，容易漏測時間長，強度大的工作後，人容易產生疲乏，對數字的位數，文字的顯示等錯誤資訊的敏感度下降產品的介面深度很深，且包含大量的展示資訊功能專項測試迴歸難度大：記憶體洩漏、健壯性測試、弱網等測試太多

這個時候我們需要一種手段，可以達到兩方面的目的：

Code less: UI 自動化用例維護成本降到最低Automate: 儘可能的自動化覆蓋迴歸業務

而自動遍歷就可以滿足我們對上述的業務的需求；接著再來看我們對自動遍歷測試的一些需求，既然要用自動遍歷，那麼具體要等到什麼樣的效果？

2. 工具選擇

2.1 遍歷工具需求

自動遍歷的需求：

可控：可以定義遍歷的路徑，指定需要測試的業務，保證核心業務的覆蓋優先順序可定製：可實現自動輸入、自動滑動等基礎行為

結果分析：

2.2.1 Monkey

首先來看業界用的較早也是經常聽過的一款工具—— Monkey

這是 Android 官方提供的一個工具，在 Android 的官網我們可以看到對這款工具的解釋如下：

沒錯，谷歌原本設計這款工具是為了對 App 進行壓力測試的，而並不是自動遍歷測試，注意的是這裡的壓力測試並不是我們平常意義上的對服務端的壓力，而是對 App 前端的壓力。下面是思寒對 App 壓力測試的原因解釋：

谷歌早期在設計 Android 的時候，Android 需要響應滑動、輸入、音量、電話等事件，早期 activity 設計不完善的時候，谷歌希望測試 activity 的效能，把所有的資料批量化的輸出給 activity，看 activity 一秒鐘可以處理多少資料。所以早期 Monkey 是用來做 Android 的一個壓力測試的工具。

由於 Monkey 在測試過程中的“隨機”性，恰巧可以被用來做自動遍歷測試，但是 monkey 的缺點行業很明顯，就是不滿足我們的兩個自動遍歷需求：可控性和可定製。

缺點：不支援業務行為定製，無法靈活的控制，經常會點到外部的 App 無法迴歸原測試 App；或者點選到登出和退出，造成無法繼續後面的測試；因此 monkey 在經過調研了解後沒有成為我們做自動遍歷測試的首選。2.2.2 Maxim

Maxim 也是一款自動遍歷工具，由我們國內的一名叫做 zhangzhao 的工程師開發，官方給出的定義是：

An efficient Android Monkey Tester, available for emulators and real devices 基於遍歷規則的高效能 Android Monkey，適用於真機/模擬器的 APP UI 壓力測試。

我們來看看這款工具的優缺點：

優點：

基於Monkey二次開發，也用了一些 AppCrawler 的設計思路，擁有定製化功能；因為底層基於了 Monkey，所以執行速度還是比較快的；

缺點：

因為是基於 Monkey，所以不具備跨平臺性，只能測試 Android，不能測試 iOS，Web 等；

這款工具沒有開源，但是可以直接使用，在 GitHub 上下載後根據官方說明操作即可，這裡不做重點說明，後期有空時候專門研究，獨立成篇，或者直接參考作者在 TesterHome 上的帖子；

重點來看一下工具的特點和選擇性：

- 配置檔案，官方給出了配置檔案的示例，以 json 格式進行編寫：

接觸過 AppCrawler 後會發現寫法非常相似，只不過 AppCrawler 是以 YAML 檔案進行書寫。

選擇：

這也是一款很優秀的工具，可在一定程度上進行定製，如果只測試 Android 系統的話，可以考慮選用 Maxim 做自動遍歷，速度相對較快；如果想要跨平臺或者對開源工具進行二次開發，那就要 AppCrawler 登場了。

2.2.3 AppCrawler

再來看今天的主角 AppCrawler，看看它為何滿足我們的測試需求，它的優缺點有在哪裡。

先來看它與其他框架的關係結構

與其他框架的關係

優點：

跨平臺性：AppCrawler 是基於 Appium 開發的，所以支援 Android 和 iOS。可控性：對測試的頁面，控制元件型別的選擇，測試的深度等都可自由控制；可定製：可自定義操作，如輸入，滑動等；

缺點：

執行速度較慢：AppCrawler 是基於 Appium 開發具備了跨平臺的優點，但是也因為這層封裝造成了執行速度相對較慢；使用門檻高：正因為使用靈活性的問題，也造成了使用門檻的提高，主要基於 YAML 檔案中使用 Appium 的相關技術知識進行配置，這就對使用者有了一定的技術要求；安裝和啟動

3.1 下載

這裡以目前最新的2.4.0為例

如何自己編譯打包：

1）從 GitHub 上 Clone 原始碼，當前開源的最新 2.4.0 版本對應的分支是 2.3.1

2）切換到分支：git checkout 2.3.1

3）執行 mvn clean compile

4）使用 maven 構建：執行 mvn assembly:single 命令進行編譯即可

安裝 ：

AppCrawler 本身是個 jar 包，不需要安裝，需要安裝的是執行時所依賴的環境：

Java版本：Java8、Java10 (未測試過，作者說支援)

Appium：Appium 1.8 以上 因為 AppCrawler 是基於 Appium 開發的，

所以 Appium 的環境是必不可少的Appium的安裝方式可參考另外一篇部落格: Windows (Win10)、Mac 下安裝 Appium；

檢視幫助文件：

直接使用命令 java -jar appcrawler-2.4.0-jar-with-dependencies.jar，可以看到如下幫助文件資訊 相關引數含義和部分註解如下：

$ java -jar appcrawler-2.4.0-jar-with-dependencies.jar----------------AppCrawler 2.4.0 [霍格沃茲測試學院特別紀念版]Appium 1.8.1 Java8 testedapp爬蟲, 用於自動遍歷測試. 支援Android和iOS, 支援真機和模擬器專案地址: https://github.com/seveniruby/AppCrawler移動測試技術交流: https://testerhome.com聯絡作者: [email protected] (思寒)致謝: 曉光 泉龍 楊榕 恆溫 mikezhou yaming116 沐木--------------------------------Usage: appcrawler [options] -a, --app <value> Android或者iOS的檔案地址, 可以是網路地址, 賦值給appium的app選項 #安裝App，實際中使用較少 -e, --encoding <value> set encoding, such as UTF-8 GBK #在Windows下可能會產生亂碼，對其編碼格式進行設定 -c, --conf <value> 配置檔案地址 #複雜且重要，是AppCrawler定製的核心 -p, --platform <value> 平臺型別android或者ios, 預設會根據app字尾名自動判斷 -t, --maxTime <value> 最大執行時間. 單位為秒. 超過此值會退出. 預設最長執行3個小時 -u, --appium <value> appium的url地址 #執行依賴於appium，不加此引數就使用預設的appium地址埠 -o, --output <value> 遍歷結果的儲存目錄. 裡面會存放遍歷生成的截圖, 思維導圖和日誌 --capability k1=v1,k2=v2... # 和appium的capability設定一致 appium capability選項, 這個引數會覆蓋-c指定的配置模板引數, 用於在模板配置之上的引數微調 -r, --report <value> 輸出html和xml報告 --template <value> 輸出程式碼模板 --master <value> master的diff.yml檔案地址 --candidate <value> candidate環境的diff.yml檔案 --diff 執行diff對比 -vv, --verbose 是否展示更多debug資訊 --demo 生成demo配置檔案學習使用方法 --help示例appcrawler -a xueqiu.apkappcrawler -a xueqiu.apk --capability noReset=trueappcrawler -c conf/xueqiu.json -p android -o result/appcrawler -c xueqiu.json --capability udid=[你的udid] -a Snowball.appappcrawler -c xueqiu.json -a Snowball.app -u 4730appcrawler -c xueqiu.json -a Snowball.app -u http://127.0.0.1:4730/wd/hub#生成demo例子appcrawler --demo#啟動已經安裝過的appappcrawler --capability "appPackage=com.xueqiu.android,appActivity=.view.WelcomeActivityAlias"#從已經結束的結果中重新生成報告appcrawler --report result/#新老版本對比appcrawler --candidate result/ --master pre/ --report ./

這裡順便說一下的是當前版本的diff功能還不完善，也相對較複雜，目前先不做深入研究

Quick Start：

1） 啟動appium

$ appium[Appium] Welcome to Appium v1.14.1[Appium] Appium REST http interface listener started on 0.0.0.0:4723

2）啟動模擬器或真機，保證 adb devices 可有找到你的裝置

$ adb devicesList of devices attachedFKFBB19120151100 device

3） 根據參考文件中的命令,啟動遍歷一個已經安裝過的 App (以示例中的雪球 App 為例):

java -jar appcrawler-2.4.0-jar-with-dependencies.jar --capability "appPackage=com.xueqiu.android,appActivity=.view.WelcomeActivityAlias"

這個命令執行後會以預設的方式去執行用例,然後遍歷

測試結果

如果沒有使用 -o 引數指定 log 輸出的路徑，AppCrawler 就會在當前目錄下生成以時間為命名的資料夾，裡面儲存了所有的資料，檔案、截圖、log

$ ls20191129154742appcrawler-2.4.0-jar-with-dependencies.jar

開啟資料夾會發現如下，每一步都會進行截圖(這也是速度變慢的原因之一吧)以及對於的 dom 檔案，這裡會看到有幾個 steps 檔案，這個只是隨意點了某個操作來告知使用者正在操作，真正的執行步驟是從這之後開始。

報告中也可以檢視對應頁面操作事件的截圖

擷取部分 log 展示如下：

 2019-11-29 15:48:10 INFO [Crawler.996.doElementAction] current element = MainActivity.tag=ImageView.depth=242019-11-29 15:48:10 INFO [Crawler.997.doElementAction] current index = 22019-11-29 15:48:10 INFO [Crawler.998.doElementAction] current action = click2019-11-29 15:48:10 INFO [Crawler.999.doElementAction] current xpath = //*[@resource-id="com.xueqiu.android:id/decor_content_parent"]//*[@resource-id="android:id/content"]//*[@resource-id="com.xueqiu.android:id/mainContent"]//*[@resource-id="com.xueqiu.android:id/main_content"]//*[@resource-id="com.xueqiu.android:id/pager"]//*[@resource-id="com.xueqiu.android:id/layout_refresh"]//*[@resource-id="com.xueqiu.android:id/list"]//*[@resource-id="com.xueqiu.android:id/today_topic_container"]//*[@resource-id="com.xueqiu.android:id/time_line_topic_item_case2"]//*[@resource-id="com.xueqiu.android:id/today_topic_container"]//*[@resource-id="com.xueqiu.android:id/time_line_topic_footer"]//*[@resource-id="com.xueqiu.android:id/feedback"]2019-11-29 15:48:10 INFO [Crawler.1000.doElementAction] current url = MainActivity2019-11-29 15:48:10 INFO [Crawler.1001.doElementAction] current tag path =hierarchy/android.widget.FrameLayout/android.widget.LinearLayout/android.widget.FrameLayout/android.view.ViewGroup/android.widget.FrameLayout/android.widget.LinearLayout/android.widget.FrameLayout/android.widget.FrameLayout/android.widget.RelativeLayout/android.view.ViewGroup/androidx.viewpager.widget.ViewPager/android.widget.RelativeLayout/android.view.ViewGroup/androidx.recyclerview.widget.RecyclerView/android.widget.LinearLayout/android.widget.FrameLayout/android.widget.FrameLayout/android.widget.LinearLayout/android.widget.RelativeLayout/android.widget.FrameLayout/android.widget.RelativeLayout/android.widget.FrameLayout/android.widget.ImageView2019-11-29 15:48:10 INFO [Crawler.1002.doElementAction] current file name = MainActivity.tag=ImageView.depth=242019-11-29 15:48:10 INFO [Crawler.1071.doElementAction] need input click2019-11-29 15:48:10 INFO [AppiumClient.53.findElementByURI] find by uri element= MainActivity.tag=ImageView.depth=242019-11-29 15:48:10 INFO [AppiumClient.245.findElementsByURI] findElementByAndroidUIAutomator new UiSelector().className("android.widget.ImageView")2019-11-29 15:48:10 INFO [AppiumClient.60.findElementByURI] find by xpath success2019-11-29 15:48:10 INFO [Crawler.1080.doElementAction] mark 20191129154742/1_Steps.tag=.name=NOT_FOUND.clicked.png to 20191129154742/2_MainActivity.tag=ImageView.depth=24.click.png2019-11-29 15:48:10 INFO [AppiumClient.141.mark] read from 20191129154742/1_Steps.tag=.name=NOT_FOUND.clicked.png2019-11-29 15:48:11 INFO [AppiumClient.154.mark] write png 20191129154742/1_Steps.tag=.name=NOT_FOUND.clicked.png2019-11-29 15:48:11 INFO [AppiumClient.161.mark] ImageIO.write newImageName 20191129154742/2_MainActivity.tag=ImageView.depth=24.click.png2019-11-29 15:48:11 INFO [Crawler.1095.$anonfun$doElementAction$5] click element

index 等於幾就表示第幾次事件，action 表示當前的操作，xpath 就表示當前操作的元素的 xpath 表示式。

4. 補充說明

總說 AppCrawler 慢，其他工具相對較快，原因為何，先來看他們的架構組成

- appcrawler- appium、atx- appium on Uiautomator2 server、atx on Uiautomator2、maxim、adb shell uiautomator、改進版本Uiautomator2 server- Uiautomator2- AccessibilityService

底層有個叫 AccessibleServices 東西，它可以獲取 Android 所有介面的控制元件，uiautomator獲取元素進行操作的時候就是靠 AccessibleServices 去獲取控制元件，然後去觸發一定的行為，uiautomator 就是將其進行了包裝；

基於 uiautomator，Appium 開發了一個 uiautomator server，ATX 開發了一個uiautomator2,maxim 就處於這一層。

Appium 走的是 HTTP 協議，ATX 走的是 JSON-RPC 協議，AppCrawler 處於最上層 所以 AppCrawler 由於多了兩層封裝，再加上執行過程中加入了截圖(可以在配置中取消，但是取消後不利於結果的檢視)，執行起來自然就慢了。

改進期望：後期期望 AppCrawler 團隊可以將其根據需求指定底層操作，繞過很多不必要的流程來增加效率，這樣功能非常完善的同時也能保證效率

（文章來源於霍格沃茲測試學院）