人工智慧演算法黑箱的法律規制——以智慧投顧為例展開

徐 鳳

內容摘要：人工智慧演算法不公開、不透明，被稱為“演算法黑箱”。面對演算法黑箱，不少人主張和呼籲演算法透明。但絕對的透明是不存在的，即使透明也是相對的透明。換言之，在人工智慧時代，演算法的不公開是原則，公開才是例外。儘管如此，人們應有權要求演算法公平。演算法透明追求的其實是演算法的簡要說明，包括演算法的假設和限制、演算法的邏輯、演算法的種類、演算法的功能、演算法的設計者、演算法的風險、演算法的重大變化等方面。演算法透明的具體方法除了公開披露之外，還可以有諸如演算法備案、演算法解釋權等替代工具，還應有演算法審查、評估與測試，演算法治理、第三方監管等保障演算法公平的其他措施。

關鍵詞：人工智慧演算法演算法黑箱智慧投顧

演算法是人工智慧的基礎。“演算法就是一系列指令，告訴計算機該做什麼。”“演算法的核心就是按照設定程式執行以期獲得理想結果的一套指令。”所有的演算法都包括以下幾個共同的基本特徵：輸入、輸出、明確性、有限性、有效性。演算法因數學而起，但現代演算法的應用範疇早已超出了數學計算的範圍，已經與每個人的生活息息相關。因此，“我們生活在演算法的時代”。隨著人工智慧時代的到來，演算法越來越多地支配著我們的生活，也給現存的法律制度和法律秩序帶來了衝擊和挑戰。人工智慧演算法不公開、不透明，被稱為“演算法黑箱”。這是人工智慧給人類社會帶來的重大新型問題之一。法律制度如何應對“演算法黑箱”的挑戰？法律如何規制演算法？這是法學研究必須面對的現實問題。人工智慧的應用場景很多，筆者主要以智慧投顧為例，來闡述演算法黑箱的法律規制。相信它將對人工智慧的其他應用場景提供有益的借鑑和啟迪。

一、演算法透明之爭

“黑箱”是控制論中的概念。作為一種隱喻，它指的是那些不為人知的不能開啟、不能從外部直接觀察其內部狀態的系統。人工智慧所依賴的深度學習技術就是一個“黑箱”。深度學習是由計算機直接從事物原始特徵出發，自動學習和生成高階的認知結果。在人工智慧系統輸入的資料和其輸出的結果之間，存在著人們無法洞悉的“隱層”，這就是“演算法黑箱”。對透明的追求使人心理安定，“黑箱”使人恐懼。如何規制演算法“黑箱”，演算法是否要透明，如何透明，是法律規制遇到的首要問題。

（一）對演算法透明的呼籲及其理由

面對演算法黑箱，不少人主張、呼籲演算法透明。總結其理由，主要有以下幾點：

第一，演算法透明是消費者知情權的組成部分。這種觀點主張，因為演算法的複雜性和專業性，人工智慧具體應用領域中的資訊不對稱可能會更加嚴重，演算法透明應是消費者知情權的組成部分。

第二，演算法透明有助於緩解這種資訊不對稱。這種觀點主張，演算法的資訊不對稱加重不只發生在消費者與演算法設計者、使用者之間，更發生在人類和機器之間，演算法透明有助於緩解這種資訊不對稱。

第三，演算法透明有助於防止人為不當干預。這種觀點以智慧投顧為例，認為演算法模型是公開的，在雙方約定投資策略的前提下，執行策略由時間和事件函式共同觸發，執行則由計算機程式自動完成，避免了人為不當干預的風險，它比人為干預更加公平、公開和公正。

第四，演算法透明有助於防止利益衝突。這種觀點以智慧投顧為例，認為由於演算法的非公開性和複雜性，智慧投顧給出的資產配置建議有可能是推薦了與其自身利益高度攸關的產品，這就難以保證投資建議的獨立性和客觀性。智慧投顧可以透過對於推薦產品選項的特殊排列方式，把對自己最有利的產品排在最容易被選擇到的位置。只有演算法透明，才能防止這種利益衝突。

第五，演算法透明有助於防範資訊繭房。這種觀點認為，演算法可能形成資訊繭房。演算法科學的外表容易誤導投資者，強化投資者的偏見，從而導致錯誤決策。演算法技術為原本和普羅眾生疏離的複雜難懂的金融披上了簡單易懂的面紗，金融的高風險性被成功掩蓋，輕鬆化的人機互動介面掩蓋了金融風險的殘酷本質。

第六，演算法透明有助於打破技術中立的外衣。智慧金融給人以中立的感覺，而事實上，技術的背後是人。人類會將人性弱點和道德缺陷帶進和嵌入演算法之中，但它們卻可能隱蔽於演算法背後，從而更不易被發覺。

第七，演算法透明有助於打破演算法歧視。賓夕法尼亞州法學院的TomBaker和荷蘭鹿特丹伊拉斯謨大學的BenedictG.、C.Dellaert教授認為：公眾不能預設智慧投顧機器人沒有人類所具有的不純動機。因為智慧金融演算法存在歧視和黑箱現象，因此才需要演算法的透明性或解釋性機制。

第八，演算法透明有助於打破“演算法監獄”與“演算法暴政”。在人工智慧時代，商業企業和公權部門都採用人工智慧演算法作出的自動化決策，演算法存在的缺陷和偏見可能會使得大量的客戶不能獲得貸款、保險、承租房屋等服務，這如同被囚禁在“演算法監獄”。然而，如果自動化決策的演算法不透明、不接受人們的質詢、不提供任何解釋、不對客戶或相對人進行救濟，客戶或相對人無從知曉自動化決策的原因，自動化決策就會缺少“改正”的機會，這種情況就屬於“演算法暴政”。演算法透明則有助於打破“演算法監獄”與“演算法暴政”。

第九，演算法透明是提供演算法可責性問題的解決工具和前提。有學者認為演算法透明性和可解釋性是解決演算法可歸責性的重要工具。明確演算法決策的主體性、因果性或相關性，是確定和分配演算法責任的前提。

第十，演算法透明有助於提高人們的參與度，確保質疑精神。這種觀點認為，在卡夫卡的環境中，如果你不瞭解某個決定的形成過程，就難以提出反對的理由。由於人們無法看清其中的規則和決定過程，人們無法提出不同的意見，也不能參與決策的過程，只能接受最終的結果。為走出這一困境，演算法透明是必要的。還有人認為，質疑精神是人類前進的工具，如果沒有質疑，就沒有社會進步。為了保證人類的質疑，演算法必須公開——除非有更強的不公開的理由，比如保護國家安全或個人隱私。

第十一，公開透明是確保人工智慧研發、涉及、應用不偏離正確軌道的關鍵。這種觀點認為，人工智慧的發展一日千里，人工智慧可能擁有超越人類的超級優勢，甚至可能產生災難性風險，因而應該堅持公開透明原則，將人工智慧的研發、設計和應用置於監管機構、倫理委員會以及社會公眾的監督之下，確保人工智慧機器人處於可理解、可解釋、可預測狀態。

（二）反對演算法透明的聲音及其理由

聲音並非一邊倒。反對演算法透明的聲音也不少，其主要理由如下：

第一，類比徵信評分系統。徵信評分系統不對外公開是國際慣例，其目的是防止“炒信”、“刷信”，

使評級結果失真。很多人工智慧系統類似於信用評級系統。

第二，周邊定律。周邊定律是指法律無須要求律師提請我們注意身邊具有法律意義的內容，而是將其直接植入我們的裝置和周邊環境之中，並由這些裝置和環境付諸實施。主張該觀點的人宣稱，人類正在步入技術對人類的理解越來越深刻而人類卻無須理解技術的時代。智慧時代的裝置、程式，就像我們的人體器官和中樞神經系統，我們對其知之甚少但卻可以使用它們。同樣，演算法為自我管理、自我配置與自我最佳化而完成的自動計算活動，也無須使用者的任何體力與智力投入。

第三，演算法不透明有助於減少麻煩。如果披露了演算法，則可能會引起社會輿論的譁然反應，從而干擾演算法的設計，降低預測的準確性。大資料預測儘管準確的機率較高，但也不能做到百分之百。換言之，大資料預測也會不準，也會失誤。如果將演算法公之於眾，人們對預測錯誤的賦值權重就有可能偏大，從而會阻礙技術的發展。

第四，防止演算法趨同。演算法披露之後，好的演算法、收益率高的演算法、行業領導者的演算法可能會引起業界的效仿，從而會出現“羊群效應”，加大順週期的風險。

第五，資訊過載或難以理解。演算法屬於計算機語言，不屬於日常語言，即使對外披露了，除專業人士之外的大多數客戶難以理解。換言之，對外披露的資訊對於大多數使用者來講可能屬於無效資訊。

第六，偏見存在於人類決策的方方面面，要求演算法滿足高於人類的標準是不合理的。演算法透明性本身並不能解決固有的偏見問題。要求演算法的透明性或者可解釋性，將會減損已申請專利的軟體的價值。要求演算法的透明性還為動機不良者擾亂系統和利用演算法驅動的平臺提供了機會，它將使動機不良者更容易操縱演算法。

第七，演算法披露在現實中存在操作困難。智慧投顧可能涉及多個演算法，披露哪個或哪些演算法？演算法披露到什麼程度？

（三）折中派的觀點及其理由

有人認為，演算法是一種商業秘密。“演算法由程式設計者設計，進而給網站帶來巨大的商業價值，因此其本質上是具有商業秘密屬性的智力財產。”如果將自己的專有演算法程式公之於眾，則有可能洩漏商業秘密，使自己喪失技術競爭優勢。鑑於很多演算法屬於涉及商業利益的專有演算法，受智慧財產權法保護，因此即使是強制要求演算法透明，也只能是有限度的透明。

還有人認為，如何對待演算法，這個問題並沒有“一刀切”的答案。在某些情況下，增加透明度似乎是一個正確的做法，它有助於幫助公眾瞭解決策是如何形成的，但是在涉及國家安全時，公開原始碼的做法就不適用了，因為一旦公開了特定黑盒子的內部執行機制，某些人就可以繞開保密系統，使演算法失效。

（四）筆者的觀點——演算法的不公開是原則，公開是例外

絕對的透明是不存在的，即使透明也是相對的透明。在歷史上，人類社會隨著複雜性的增加，不可避免地產生以組織和技術形態出現的各類“黑箱”，它們的決定雖然影響著社會公眾的利益，但仍然保持著某種程度的秘密性。為了克服資訊不對稱帶來的各種弊端，法律作出了各種迴應，包括設計出某種程度的資訊公開和透明化機制。例如上市公司強制資訊披露等，以保障相關當事人和社會大眾的知情權，避免恐慌，讓社會大眾保持一定程度的預測能力。但是，儘管如此，上市公司就絕對透明瞭嗎？事實上，絕對透明是做不到的。資訊披露是有成本的，投資者的知情權也是需要保障的。為了平衡這種衝突，法律發展出了資訊的“重大性”標準，只有符合這一標準的資訊才應予披露，而不是所有的資訊才能披露。那麼，在演算法披露領域，是否要借鑑上市公司的資訊“重大性”標準呢？如果要借鑑，演算法的透明就是一種有限的透明。而且，就資訊的“重大性”標準而言，實踐中和學術界仍有“價格敏感重大性”和“投資決策重大性”之爭。演算法透明如果要借鑑，該標準該如何設定呢？這也是一個難題。

鑑於演算法透明的利多於或大於弊，我們支援演算法有限透明的立場。演算法的完全透明是做不到的。在前人工智慧時代，也有各種各樣的演算法，這些演算法也在影響著人們的生活，但人們並未要求其完全公開。在人工智慧時代，也可以做這樣的推理：演算法的不公開是原則，公開是例外。如果需要公開，也需要制定法律明確哪些演算法應該公開，以及如何公開。

筆者認為，具有壟斷地位的演算法，或國家財政資金提供支援的、目的是提供普遍公共服務的演算法，人們應有權要求其公開。因為具有壟斷地位的演算法限制了人們的選擇權，對個人施加的影響巨大，人們應有知情權。而國家財政資金提供支援的、目的是提供普遍公共服務的演算法，之所以需要公開，是因為這是納稅人知情權的組成部分。此外，對於歧視某一類人、侵犯公民平等權的演算法，儘管它未必需要向社會公開，但人們有權提起訴訟，讓其接受法官的審查。這是因為，從理論上說，私人的商業秘密作為個人利益，在涉嫌侵犯個人的權利時，是不能對抗法官的審查權的。

儘管演算法不公開是原則，但人們應有權要求公平也是原則。美國《公平信用報告法》確保消費者可以看到某個資料檔案對信用評分的影響，並且有權糾正檔案中包括的任何錯誤，而《平等信用機會法》則禁止在信用評分中納入種族或性別歧視。這種做法值得我國借鑑，即我國法律即使不要求演算法公開，但也應要求演算法公平，並將其置於法官的審查之下。

二、演算法透明的實踐與內容

人們呼籲演算法透明，卻往往忽略了演算法透明的具體內容，這將使演算法透明的呼籲停留於表面上，而不具有現實的可操作性。揆諸當下各國的探索與實踐，可以發現，演算法透明的具體內容還沒有真正付諸實施。

（一）演算法透明的探索與實踐

2017年，美國計算機學會公眾政策委員會公佈了6項演算法治理指導原則。第一個原則是知情原則，即演算法設計者、架構師、控制方以及其他利益相關者應該披露演算法設計、執行、使用過程中可能存在的偏見以及可能對個人和社會造成的潛在危害。第二個原則是質詢和申訴原則，即監管部門應該確保受到演算法決策負面影響的個人或組織享有對演算法進行質疑並申訴的權力。第三個原則是演算法責任認定原則。第四個原則是解釋原則，即採用演算法自動化決策的機構有義務解釋演算法執行原理以及演算法具體決策結果。第五個原則是資料來源披露原則。第六個原則是可審計原則。仔細審視這6項原則，其要求的演算法透明的具體內容主要是演算法的偏見與危害、演算法執行原理以及演算法具體決策結果，以及資料來源。

發生於美國威斯康星州的Statev.Loomis案所引發了美國社會關於演算法透明的爭論。在該案中，該州一法院使用“再犯風險評估內容”來進行量刑，被告Loomis認為法官違反了正當程式原則，他有權檢查法律的演算法，量刑法院應該公開演算法。但該州最高法院認為，演算法只是量刑的一個因素，而不是唯一因素，演算法量刑沒有違反正當程式原則，但法官應向被告解釋其在作出量刑決定時所考量的因素並提醒法官警惕使用演算法量刑可能帶來的偏見。總之，在該案中，該州最高法院傾向於保護演算法產品廠商的商業秘密，不會要求公開演算法程式碼，也沒有要求廠商用自然語言解釋演算法的設計原理、功能和目的。

2017年年底，紐約州透過一項《演算法問責法案》要求成立一個由自動化決策系統專家和相應的公民組織代表組成的工作組，專門監督自動化決策演算法的公平和透明。之前，該法案有一個更徹底的版本，規定市政機構要公佈所有用於“追蹤服務”或“對人施加懲罰或維護治安”的演算法的原始碼，並讓它們接受公眾的“自我測試”。“這是一份精煉的、引人入勝的、而且是富有雄心的法案”，它提議每當市政府機構打算使用自動化系統來配置警務、處罰或者服務時，該機構應將原始碼——系統的內部執行方式——向公眾開放。很快，人們發現這個版本的法案是一個很難成功的方案，他們希望不要進展得那麼激進。因此，最終透過的法案刪去了原始草案中的披露要求，設立了一個事實調查工作組來代替有關披露的提議，原始草案中的要求僅在最終版本里有一處間接地提及——“在適當的情況下，技術資訊應當向公眾開放”。

在歐盟，《通用資料保護條例》（GDPR）在鑑於條款第71條規定：“在任何情況下，該等處理應該採取適當的保障，包括向資料主體提供具體資訊，以及獲得人為干預的權利，以表達資料主體的觀點，在評估後獲得決定解釋權並質疑該決定。”據此，有人主張GDPR賦予了人們演算法解釋權。但也有學者認為，這種看法很牽強，個人的可解釋權並不成立。

我國《新一代人工智慧發展規劃》指出：“建立健全公開透明的人工智慧監管體系。”這提出了人工智慧監管體系的透明，而沒有要求演算法本身的透明。

（二）演算法透明的內容不是演算法程式碼而是演算法說明

人們呼籲演算法透明，但透明的內容具體是演算法的原始碼，還是演算法的簡要說明？秉承“演算法公開是例外，不公開是原則”的立場，即使是在演算法需要公開的場合，也需要考察演算法公開的具體內容是什麼。

演算法的披露應以保護使用者權利為必要。演算法的原始碼、演算法的具體程式設計公式（實際上也不存在這樣的程式設計公式）是不能公開的。這主要是因為演算法的原始碼一方面非常複雜，且不斷迭代升級，甚至不可追溯，無法予以披露；另一方面，公開原始碼是專業術語，絕大部分客戶看不懂，即使公開了也沒有意義。

演算法的透明追求的是演算法的簡要說明（簡稱演算法簡介）。演算法的簡介包括演算法的假設和限制、演算法的邏輯、演算法的種類、演算法的功能、演算法的設計者、演算法的風險、演算法的重大變化等。演算法簡介的公開，也是需要有法律規定的，否則，不公開仍是基本原則。例如，美國《智慧投顧升級指導意見》規定的與演算法相關的披露內容包括：管理客戶賬戶所使用的演算法的說明；演算法功能的介紹（如透過演算法能對客戶個人賬戶進行投資和重新調整）；演算法的假設和限制（如該演算法是基於現代投資組合理論，說明背後的假設和該理論的侷限性）；對使用演算法管理客戶賬戶所固有的特定風險的描述（例如該演算法可能不考慮市場條件而重新調整客戶賬戶，或者進行比客戶預期更頻繁地調整以及演算法可能無法應對市場條件的長期變化）；任何可能導致用於管理客戶賬戶的智慧投顧演算法重寫的狀況描述（如智慧投顧可能在緊張的市場狀況下停止交易或採取其他臨時性防禦措施）；關於第三方參與管理客戶賬戶的演算法的開發、管理或所有權的說明，包括對這種安排可能產生的任何衝突利益的解釋（例如，如果第三方以打折的方式向智慧投顧方提供演算法，那麼此演算法同樣可能會將客戶引導到一種能使第三方獲利的產品上）。還如，新加坡金融管理局希望數字顧問可以書面向客戶披露演算法相關資訊：首先，演算法的假設、限制和風險；其次，明確數字顧問可以推翻演算法或者暫停數字顧問的情形；再次，披露對演算法的任何重大調整。總之，該指導意見要求披露的是對演算法的說明而不是演算法本身。

三、演算法透明的替代或輔助方法

演算法透明不能簡單類比上市公司的透明，演算法透明的具體方法除了公開披露之外，還可以有其他替代方法。當然它們也可以成為輔助方法。這些方法究竟是替代方法還是輔助方法，取決於立法者的決斷。

（一）備案或註冊

備案即要求義務人向監管機構或自律組織備案其演算法或演算法邏輯，演算法或演算法邏輯不向社會公開，但監管機構或自律組織應知悉。這種觀點認為，智慧投顧應向監管部門備案其演算法（邏輯），監管部門應對智慧投顧的演算法進行大致分類，並採取必要的措施避免同質化，以免造成羊群效應。此外，還要明確要求智慧投顧定期檢查模型或演算法的有效性，一旦有重要修改，應再次備案。

其實，在程式化交易、量化交易或高頻交易領域，備案已是常規做法。歐洲證券市場監管局要求從事量化交易的投資機構每年向其報備交易策略、交易引數的設定及其限制、核心風險控制模組構成及交易系統測試結果。之所以如此，是因為演算法備案一方面促使量化交易投資機構更為謹慎地使用和監控演算法交易系統；另一方面也有助於促使監管機構掌握前沿的技術，以便更好地理解和評估演算法交易系統，從而有助於改善和提高監管機構的監管能力。

演算法很複雜，很難用公式或可見的形式表達出來。演算法的種類很多，一個人工智慧系統可能會涉及很多演算法，且演算法也在不斷迭代、更新和打補丁，就像其他軟體系統不斷更新一樣。因此，演算法本身沒法備案，更無法披露。可以備案和披露的是演算法的邏輯和引數。《關於規範金融機構資產管理業務的指導意見》（以下簡稱《資管新規》）第23條要求：“金融機構應當向金融監督管理部門報備人工智慧模型的主要引數以及資產配置的主要邏輯。”即是因為如此。但是，演算法邏輯和主要引數的披露卻可能引起業界的紛紛效仿，從而可能帶來羊群效應。也正因為如此，演算法邏輯和主要引數的備案，需要對金融監督管理部門及其工作人員課加嚴格的保密責任。

除了演算法邏輯的備案以外，還可以要求演算法開發設計人員的註冊。2017年1月，SEC批准了對NASD規則1032（f）的修正案，該修正案擴大了需要註冊為證券交易者的人員範圍。具體而言，自2017年1月30日起，每個主要負責設計、開發或重大修改與股票、優先股或可轉換債券有關的演算法交易策略的人，或在上述活動中負責日常監管或指導的人，必須透過57系列考試並註冊為證券交易者。美國自律監管組織——金融服務監管局的目標是確保公司識別並註冊一個或多個相關人員，他具備交易策略（例如，套利策略）及實施該交易策略的技術實施（例如編碼）的知識並對此負責，以便公司來評估相關產品的結果是否實現了其業務目標，且是否是合規的。如果智慧投顧不是自行設計和開發演算法，而是委託第三方設計和開發演算法，則該第三方的設計開發機構中主要負責設計、開發或重大修改與股票、優先股或可轉換債券有關的演算法交易策略的人，也必須註冊為證券交易者。這些經驗也值得我國借鑑。

（二）演算法可解釋權

一旦人工智慧系統被用於作出影響人們生活的決策，人們就有必要了解人工智慧是如何作出這些決策的。方法之一是提供解釋說明，包括提供人工智慧系統如何執行以及如何與資料進行互動的背景資訊。但僅釋出人工智慧系統的演算法很難實現有意義的透明，因為諸如深度神經網路之類的最新的人工智慧技術通常是沒有任何演算法輸出可以幫助人們瞭解系統所發現的細微模式。基於此，一些機構正在開發建立有意義的透明的最佳實踐規範，包括以更易理解的方法、演算法或模型來代替那些過於複雜且難以解釋的方法。筆者認為，是否賦予客戶以演算法可解釋權有待深入論證，但演算法設計者有義務向公權機關解釋演算法的邏輯。

四、演算法公平的保障措施

演算法公開、演算法備案等規制工具都屬於資訊規制工具，它們是形式性的規制工具。除了資訊規制工具之外，還有其他實質性規制工具。形式性規制工具追求的價值目標是形式公平，實質性規制工具追求的價值目標是實質公平。在消費者權益和投資者權益保護過程中，除了保障形式公平之外，也要保障實質公平。因此，除了資訊規制工具之外，還應有保障演算法公平的其他實質性規制工具，這些工具主要包括三個方面，一是演算法審查、評估與測試，二是演算法治理，三是第三方監管。

（一）演算法審查、測試與檢測

在人工智慧時代，演算法主導著人們的生活。資料應用助推資料經濟，但也有許多模型把人類的偏見、誤解和偏愛編入了軟體系統，而這些系統正日益在更大程度上操控著我們的生活。“這些數學模型像上帝一樣隱晦不明，只有該領域最高級別的牧師，即那些數學家和計算機科學家才明白該模型是如何運作的。”人們對模型得出的結論毫無爭議，從不上訴，即使結論是錯誤的或是有害的。凱西·奧尼爾將其稱為“數學殺傷性武器”。“演算法就是上帝，數學殺傷性武器的裁決就是上帝的指令。”

然而，數學家和計算機科學家畢竟不是上帝，他們應當接受社會的審查。演算法是人類的工具，而不是人類的主人。數學家和計算機科學家是人類的一員，他們應與我們普羅大眾處於平等的地位，而不應凌駕於人類之上，他們不應是人類的統治者。即使是人類的統治者——君主或總統，在現代社會也應接受法律的規範和治理、人民的監督和制約，更何況群體龐大的數學家和計算機科學家。總之，演算法應該接受審查。

演算法黑箱吸入資料，吐出結論，其公平性應接受人類的審查。演算法的開發者、設計者也有義務確保演算法的公平性。在智慧投顧領域，作為智慧投顧的核心要素，演算法利用大資料，基於各種模型和假設，將有關資料轉化為適合特定投資者的投資建議。如果演算法的設計有問題，則演算法輸出的結果可能會產生有較大偏差甚至是錯誤的結果，無法實現客戶預期的投資目標。因此，有必要審查演算法的有效性。這在國外已有實踐。例如，美國對智慧投顧演算法的審查包括初步審查和持續審查。初步審查包括評估數字諮詢工具使用的前提假設和相關方法是否適合特定的目標，評估系統輸出是否符合公司的預期目標等；持續審查包括評估數字化建議工具使用的模型是否適用於持續變化的市場等。澳大利亞明確規定智慧投顧要有測試文件，說明演算法測試的計劃、案例、結果、缺陷及解決方法。目前，我國在智慧投顧演算法方面尚未建立起完整的監督和測試框架。因此，有必要借鑑發達市場的成熟經驗，儘快填補智慧投顧演算法的監管空白。具體內容可包括：第一，智慧投顧平臺自身應充分理解演算法使用的假設、投資者的偏好、模型以及演算法的侷限性；第二，為演算法的設計、開發和執行建檔，以便監管部門對演算法進行檢查和監督；第三，對演算法是否適合特定的投資目標、是否符合客戶預期進行測試和評估；第四，對演算法的更新迭代進行嚴格監測。

應該對人工智慧系統進行測試。人工智慧機器人目前尚未成為獨立的民事主體，不能獨立承擔民事責任，但這並不妨礙對其頒發合格證書和營運證書。這正如汽車可以獲得行駛證書和營運許可證書一樣。自然人投資顧問參加資格考試，本質上就是對其“從業資格所需要的知識圖譜”進行抽樣評測。智慧投顧也可以參加“從業資格”考試。智慧投顧參加從業資格考試，本質上是評測其知識圖譜是否具有投資顧問服務所要求的功能。智慧投顧參加從業資格考試的形式就是要對智慧投顧系統和演算法進行測試。2016年8月，韓國金融委員會出臺了“機器人投顧測試床的基本執行方案”，透過三階段的稽核程式檢驗機器人投顧平臺的實際運營情況，測試演算法的穩定性、收益性和整體系統的安全性。總之，我們可以透過評測智慧投顧系統的知識圖譜來判斷它是否具備“從業資格”。智慧投顧應該是可以被“評測的”。只有檢測合格的智慧投顧才能投入市場，從事服務。

監測對於防範演算法風險必不可少。由於智慧投顧可能造成系統性金融風險，對此可以採取宏觀審慎管理措施來監測，例如觀測智慧投顧是否存在大規模的一致性行為和協同行為等。運用專業技術對演算法的執行進行持續監測。如果發現演算法存在嚴重錯誤，應及時中止系統服務，並採取有效措施予以糾正。我國的《資管新規》也有這方面的要求。尤其是在智慧投顧發展初期，需要審慎評估智慧投顧對證券市場的影響，密切監測並加強對智慧投顧演算法的一貫性、中立性、合法性和安全性等方面的監管力度，及時跟蹤市場變化，防範市場系統性金融風險。

（二）演算法治理

智慧投顧應強化對智慧投顧演算法的組織管理。歐盟金融工具市場指令（MiFIDII）要求，一家投資公司應該確保其負責演算法交易風險和合規的員工具有：（1）充足的演算法交易和交易策略知識；（2）跟蹤自動警報所提供資訊的能力；（3）演算法交易造成交易環境紊亂或有疑似市場濫用時，有足夠的權力去質疑負責演算法交易的員工。在澳大利亞，2016年8月正式釋出《RG255：向零售客戶提供數字金融產品建議》指南要求，智慧投顧被許可人應確保業務人員中至少有一位瞭解用於提供數字建議技術和演算法基本原理、風險和規則的人，至少有一位有能力檢查數字建議的人，定期檢查演算法生成的數字建議“質量”。質疑精神是人類社會前進的基本動力，必須將演算法置於人類的質疑和掌控之下。人工智慧的開發者和運營者應有能力理解和控制人工智慧系統，而不能單純地一味依賴於第三方軟體開發者。

人工智慧系統還應建立強大的反饋機制，以便使用者輕鬆報告遇到的效能問題。任何系統都需要不斷迭代和最佳化，只有建立反饋機制，才能更好地不斷改進該系統。

（三）加強第三方演算法監管力量

為了保證對演算法權力的全方位監督，應支援學術性組織和非營利機構的適當介入，加強第三方監管力量。目前在德國已經出現了由技術專家和資深媒體人挑頭成立的名為“監控演算法”的非營利組織，宗旨是評估並監控影響公共生活的演算法決策過程。具體的監管手段包括稽核訪問協議的嚴密性、商定數字管理的道德準則、任命專人監管資訊、線上跟蹤個人資訊再次使用的情況，允許使用者不提供個人資料、為資料訪問設定時間軸、未經同意不得將資料轉賣給第三方等。這種做法值得我國借鑑。為了讓人工智慧演算法去除偏私，在設計算法時，對相關主題具有專業知識的人（例如，對信用評分人工智慧系統具有消費者信用專業知識的人員）應該參與人工智慧的設計過程和決策部署。當人工智慧系統被用於作出與人相關的決定時，應讓相關領域的專家參與設計和執行。