導讀
卡內基•梅隆大學的軟體工程研究所（SEI）是美國聯邦政府資助的一家研發中心，牽頭開發AI工程學科，助力美國國防部充分發揮AI在國防和國家安全方面的優勢，為構建切合可行的可擴充套件且可信的AI系統奠定基礎。SEI去年10月舉辦了首屆國防和國家安全AI工程研討會，並於2020年10月正式釋出此次研討會的成果報告。該研討會的重點是理解和確立“AI工程化”這一新學科，特別是針對國防和國家安全的應用，小蜜蜂翻譯組對報告全文進行了翻譯，供業界學習參考。
在國防和國家安全領域，人工智慧（AI）大有可為，未來可期。目前，美國已開發了多種AI系統，有些甚至已經開始部署。然而，很難對這些系統進行規範、構建、複製、驗證和監控。為了保障構造、機器、程式和系統的安全可靠，有土木工程、機械工程、電力工程以及傳統的軟體工程，但對於AI，卻還沒有對應的工程學科，因而，AI的使用情況比較混亂，距離實現國防部提出的安全、可靠、有道德的使用和應用AI的願景還很遙遠。
為何要實現AI工程化？
1956年，約翰•麥卡錫（John McCarthy）將AI定義為“研製智慧機器的一門科學和工程”。如今，AI涵蓋現代機器學習、知識表示、推理、啟發式搜尋、規劃等傳統和未來的AI技術（例如，神經符號推理、強化學習和元學習）。迄今為止，大部分研發工作主要專注於構建AI能力，但在確保這些能力安全可靠利用的工程方面進展甚微。
AI系統的開發和部署可大量借鑑傳統軟體和系統工程。AI系統包括AI元件和傳統軟體元件，但在一些重要方面對傳統軟體和系統工程進行了擴充套件，而且帶來了挑戰。
目前，資料是現代機器學習技術的命脈，為很多傳統AI技術提供基礎支撐。在現代機器學習技術的應用過程中，資料、資料工程和資料管理在系統開發、部署、管理和演進過程中起重要作用。此外，是資料（而不是正式的或功能上的規範）決定了系統在使用機器學習時的行為。
儘管現代機器學習及其模型非常強大，但它們的透明性差、難以解析，存在機率性和典型的不確定性，並且引入了新的安全性和穩健性問題（例如，針對ML系統的對抗性攻擊）。典型的軟體工程工具和技術，例如靜態分析、動態分析和逆向工程，不適用於機器學習演算法建立的模型。同樣，在由諸如深度學習之類的現代機器學習技術構建的模型中，很難對各種故障模式進行隔離或除錯。
知識表示和推理是對AI深度學習等技術的補充。AI系統中的知識涵蓋一系列有組織的規則、事實及關係，可用於推動推理或增強機器學習。知識能明確表達，有時透明，而且獨立於AI系統中的推理機制。此外，我們可手動編寫知識，還可從資料中汲取或從經驗和觀察中總結知識。
AI系統中的知識既有軟體特徵，又有資料特徵。由於系統和系統使用的知識不斷演進，所以，不管是哪種特徵，在管理和維護方面都需要與時俱進，不斷更新方法。這種複雜性帶來了獨特挑戰。
最後，總的來說，AI技術透過完成本來需要人類完成的任務來提升人類能力。這些任務包括普通或常規任務以及在高壓或緊急情況下作出複雜決策。
此外，AI的應用對某些系統部署場景可能至關重要。AI系統要求進行全面工程設計，以確保其使用安全可靠，符合道德規範，特別是用於國防和國家安全時。
研討會目的
建議概述
研討會確認，當前的主要需求是AI技術和系統工程流程、實踐和工具，目前在這方面尚有差距。
此外，研討會還明確指出，AI在國防和國家安全領域的應用帶來了特殊的挑戰和需求，這些挑戰和需求遠遠超越了AI的典型商用。這並非意味著完全拋棄商用流程、實踐和工具（實際上，我們可借鑑在AI的商用過程總結的很多教訓和最佳實踐），而是明確了國防和國家安全領域需特別關注的方面。為此，研討會與會者達成共識，提出了以下建議：
為實現可靠的AI系統工程，國防部和相關組織應儘可能地把握機遇實現相關實踐、工具和技術的構建、分享、演進和完善。
這一總體建議與國防創新委員會（DIB）在2019年11月釋出的以下建議完全一致：“完善和發展AI工程領域。研究與工程副部長辦公室（OUSD（R＆E））和服務實驗室應透過利用國防部長期以來構建的良好工程實踐為AI工程學科的改進和完善提供支援，鼓勵AI研究人群廣泛參與，為年輕人員提供相應機會，將AI納入國防部的現有的安全措施和責任，最終將AI技術融入更大規模的複雜系統。”國防部於2020年2月採納了DIB的建議，決定由聯合人工智慧中心（JAIC）牽頭落實這些原則。
背景和環境
此次研討會的重點是理解和確立AI工程化這一新學科，特別是針對國防和國家安全的應用。必須對“AI”和“工程”這兩個術語的含義達成共識。這兩個術語的定義多種多樣，但都傳達了重要資訊。
就研討會和本報告而言，我們使用《2018年國防部人工智慧戰略摘要》中給出的AI定義：“AI指機器執行通常需要人類智慧才能完成的任務的能力，例如，辨別模式、吸取經驗、得出結論，做出預測或採取行動（無論是數字形式還是作為自主物理系統背後的智慧軟體）。” 該研討會就AI的以下方面達成了廣泛共識：從裝置和系統層面到資料管理和機器學習，再到知識表示、推理、規劃和自主權。
瑪麗•肖（Mary Shaw）對工程學的歷史定義進行了分析，並將這些理念融入了工程學定義中：“運用科學知識建立事物服務人類，構建高性價比解決方案解決實際問題。”
與會者
研討會的與會者包括以下組織和人員：
IBM研究院的彼得•桑塔納姆（Peter•Santhanam）博士
谷歌
德魯•康威（Drew•Conway）
海軍的首席人工智慧官布萊特•沃恩、海軍部長（SECNAV）、海軍作戰司令部辦公室（OPNAV）和海軍研究實驗室（ONR）
麻省理工學院林肯實驗室，www.ll.mit.edu
國防高階研究計劃局（DARPA）
初始需求和建議
AI
現今，AI系統（大多數機器學習或深度學習系統）質量評估主要是衡量其準確性。準確性固然非常重要，但想要開發，採用和部署AI技術的社群應不僅僅只關注準確性。對於國防和國家安全方面的大部分AI應用來說尤其如此。這一觀點在研討會上引發了很多關於AI穩健性和安全性的對話。我們在這裡所說的穩健性指AI系統在面臨操作環境裡的不確定性、創新或其他變化時仍能提供預期效能。
安全性是對穩健性的補充，意指免於危險或不受威脅，也就是說，安全的AI系統在面對特定威脅模型的危險時，可提供機制和緩解措施防禦威脅而且具備恢復能力。顯然，儘管安全性和穩健性的含義存在交叉，但研討會參與者明確指出同時考慮這兩種特性至關重要。最後一點，穩健性和安全性還包含很多其他相關特性，如可靠性、可信度和穩定性。
對於AI（尤其是機器學習）系統的穩健性和安全性來說，關注的核心是對抗性機器學習。在對抗性機器學習這個研究領域，研究人員設法瞭解如何攻擊機器學習模型以及如何防禦這些攻擊（例如，DARPA GARD計劃）。在這種情況下，攻擊指攻擊者以某種方式進行操控，進行欺騙或提取模型有關資訊，從而損害隱私。
需求
機器學習系統和AI系統出現的故障五花八門，而且攻擊者可透過多種方式對這些系統發起攻擊、進行欺騙或攻破。要在很多國防和國家安全應用中使用AI能力，必須在系統生命週期的早期解決穩健性和安全性問題。為避免系統故障或漏洞帶來負面影響，必須在設計和開發時（遠遠早於部署或運營階段）考慮穩健性和安全性。我們已在數十年的傳統軟體工程發展過程中總結了這些教訓，在開發和部署新AI系統時仍然要牢記這些教訓。
除了在AI系統生命週期的早期考慮穩健性和安全性之外，我們還需採用工具、技術和方法實現AI系統的穩健性和安全性。
穩健的機器學習是一個新興領域，但由於整個機器學習領域發展快速，該穩健性進一步受到挑戰。除了實現AI系統穩健性和安全性的總體方法，我們還需引入特定方法實現特定的學習、推理、計劃等AI演算法和技術的穩健性和安全性，從而更好地應對噪聲、不確定性、創新和實際攻擊者。
要構建更強大的AI系統，我們可對敏捷和DevOps方法進行相應地擴充套件、調整和改進，將其用於AI系統開發。這些方法提供了構建系統的現成基礎，應對其進行擴充套件，利用機器學習的資料和訓練模型，結合AI系統認證和核實以及AI系統行為持續監控，最終構建出AI系統。MLOps是一種持續擴充套件的新方法，可實現基於機器學習的系統的開發、部署和演進。從根本上說，迭代增量式開發概念（主要針對處於持續監控中的功能系統）可提供一種過程方法，逐漸提升AI系統的穩健性和安全性，其中也涉及後續的AI系統穩健性測試、監控和提升需求。
需求
構建穩健、安全的系統很重要，同時也是一個偉大的目標，值得傾力而為。然而，在應用AI和機器學習這個不斷變化的領域中，若指望系統開發人員實現完美的穩健性和安全性，則未免幼稚。在構建AI系統的穩健性和安全性時，即使採用了最佳實踐，仍難以避免各種故障模式和攻擊向量，導致意外和不良後果。如前所述，應開發、使用各種方法，在系統中“內建”穩健性和安全性，不斷最佳化AI系統。此外，還要對系統的穩健性和安全性進行驗證和持續監控。
在生命週期後期，需要使用工具來探知系統行為和功能。在AI系統生命週期的測試和驗收階段，除了正常的效能和精度測試外，穩健性和安全性測試機制也必不可少。對於具有AI和機器學習元件的系統來說，更為棘手的是持續監控這些系統，以瞭解它們在“現實世界”中的行為。這些系統的行為通常具有隨意性或不確定性，可能會因為環境的變化、所觀察資料的型別甚或敵方對資料、環境或系統的操控而莫名其妙地失效。
最後，除了測試和持續監控AI系統的效能、穩健性和安全性之外，還需要開發技術、模式和工具來緩解AI系統中的故障。有時，可能需要針對特定系統及其執行環境定製緩解策略，這種情況下，系統開發人員和運營商仍有通用模式和最佳實踐可循。比如演算法敏捷性，假設一個系統同時部署三個演算法：當前執行的演算法版本、先前穩定演算法版本（以備不時之需）以及未來演算法開發版本（用於實測和監控）。在此設定中，配置系統基於監控和其他環境感知功能切換演算法。此外，還須開發其他策略、模式、技術和工具，確保AI系統的可靠部署和執行，實現快速、迭代、增量開發和部署流程，促進AI系統的持續最佳化。
需求
事件響應、安全更新過程和負責任漏洞披露和協調是全球軟體生態系統的支柱功能。由響應、分析和協調等各種人員組成的網路有助於識別潛在問題（如漏洞）並協調對這些問題的響應以及對脆弱系統的修復。
隨著AI技術和系統的廣泛應用，協調與AI系統相關的事件、漏洞和緩解措施也需要類似的功能齊全和充滿活力的基礎設施和生態系統。然而，在實現這一願景之前，必須解決一些系統性挑戰。其中一大挑戰是，AI技術開發和系統整合在很大程度上仍然是一種技術，開發人員和建模人員從大量可用的工具、框架和模型中進行選擇，然後根據具體需要定製功能。為這些產品分配版本號並跟蹤功能以及確定可能存在的特定問題或漏洞位置異常困難。還有一個挑戰顯而易見，即對於多數AI系統，“補丁”的概念含糊不清。例如，就某一深度神經網路，如何進行修補？是對權重進行增量更新，還是對原有完整模型進行重新訓練，抑或使用其他訓練演算法？因此，必須同時制定並持續最佳化生態系統管理機制和協調流程。
可擴充套件AI
要成功應用AI技術，滿足國防和國家安全領域的各種需求，AI技術必須具有可擴充套件性。但對於AI技術，可擴充套件有多方面含義。AI技術須根據任務需求的大小和這些任務的支援資料進行調整，根據任務和作戰限制所要求的速度執行，能夠處理和利用複雜的真實任務場景以及國防和國家安全應用的獨特模式和情況。當然，在處理不同方面的可擴充套件性時—規模、速度、複雜性—AI技術和系統必須具有可構建、可部署、可用、可靠和可信等特性。
除了系統可擴充套件性問題外，國防和國家安全領域廣泛採用AI技術，還帶來了如下問題：企業級AI實現問題、低成本能力開發和獲取問題、人力準備情況和能力建設挑戰，以及有效開發、部署和應用AI技術的民主方法。這些問題必須逐一解決，找到方案，根據具體任務實現AI元件的系統擴充套件性。
需求
多數情況下，AI的國防和國家安全應用與商業應用之間的主要區別在於蒐集、管理、生成足夠資料的能力，有了這些能力，才能開發可靠的AI方案。在機器學習的多數商業應用中，網際網路公司能夠使用其數百萬甚至數十億使用者的點選和其他互動模式來建立資料集，為預測、檢測或推薦系統開發新版本。在多數國防和國家安全應用中，讓數百萬或數十億使用者透過與系統的定期互動來“標記”資料集無法實現或不具備可行性。即使是大型網際網路公司也承認，對於機器學習系統進行所謂的“彈性監督”是一個重大挑戰。
在國防和國家安全應用中，作戰環境極其複雜，所使用的感測能力不僅複雜而且精密，使這一問題的難度進一步增大。針對這個問題，有幾種解決方法。一種方法是創造性地利用國防和國家安全人力，鼓勵在日常工作流中標記操作資料。假以時日，便可以建立非常有用的資料集，用於訓練機器學習模型，甚至可以建立知識圖譜，為推理等AI能力提供資訊。第二種方法是開發方法和演算法，以便使用少量資料就能開發系統功能（如小樣本學習（Low-Shot Learning））。後者是機器學習人群的一個熱門研究領域。還有一種方法對各種問題都有用，即開發和使用演習引擎或其他模擬器來建立資料、提供經驗和觀察結果，或支援對真實問題的代理環境進行探索。當然，不排除還有其他方法。到目前為止，最常見的方法是利用暴力方法（Brute Force Method）為特定任務或應用程式建立資料集。此方案對於單一應用程式來說效果較好，但成本極高，因為它不能擴充套件，無法支撐在業務和任務應用程式中廣泛採用AI技術。
需求
彈性監督涉及建立資料，為AI和機器學習能力提供資訊和驅動力。在這一領域，人們關注的問題包括對資料和模型的管理、複用和共享。擴大機器學習模型採用率的方法有多種，其中一種方法是遷移學習（Transfer Learning）。在遷移學習過程中，針對某一特定問題訓練模型，然後用於另一問題（可能需要些微改動）。這項技術很強大，但是在國防和國家安全行業進行推廣的話需要開發和制度化管理、跟蹤、版本控制機制，甚至還需要分析複用和派生能力。資料和資料集也是如此，可以跨應用重新調整用途。最後，在AI的多項國防應用中，隨著新能力從企業到邊緣逐步整合到作戰能力中，資料和模型管理須成為一項作戰任務。
在資料和AI元件的可擴充套件複用中，還須關注系統整合模式（如應用程式設計介面[API]、資訊需求等）、AI元件構成、共享或複用元件的更新機制以及合理複用中的元資料管理。在全部門範圍內提早解決這些問題將極大地推動AI技術的成功應用和普及。這些工具和管理機制應在採用AI技術的早期就建立起來，並隨著時間的推移不斷迭代，促進AI技術在各種任務中廣泛應用。
國防應用還要求在延遲/斷網、網路連線不穩定、低頻寬（DIL）等環境中部署AI能力。
需求
AI和機器學習技術商業應用的一個主要推動因素是現成可用的大規模計算能力。要在國防和國家安全領域開發、推廣AI技術，離不開對計算資源的訪問和使用。儘可能地利用可複用的共享計算基礎設施，這樣，組織、機構和團隊才能更方便地實現AI能力，最大可能地控制實現AI能力的成本。至關重要的是，AI技術開發和部署團隊應能獲得和使用所需的計算能力，否則工作可能受阻，同時計算能力應得到妥善管理，進行負責任的共享。
此外，有些國防和國家安全應用有特殊的計算要求，如邊緣計算能力。最可能的情況是，特殊計算約束條件要求在資源受限機器學習、聯合機器學習（Federated Machine Learning）、邊緣計算、知識表示和推理（Knowledge Representation and Reasoning）等AI領域進行定製，而研究和工程界目前在這些領域尚未充分行動起來。如果開發併合理配置了專門的計算架構和硬體，就可能獲得計算優勢，解決許多這樣的挑戰。
以人為中心的AI
本次研討會的一箇中心議題是營造文化，為實現AI做好準備。對文化的關注包括多個方面，如減少對AI技術的感知恐懼、瞭解AI技術的行為和功能、教育培訓、道德和隱私以及增強（而非取代）人類能力。要建立這種文化，部署對應人力，還有一些更現實的考慮，如計算基礎設施和工具的獲取、資料準備和可用性、採購政策和實踐中的可能變化、降低對不確定性的不安、提升風險承受能力等。
國防和國家安全組織要成功應用AI技術，必須圍繞AI技術的理解、適應和採用考慮相關文化因素。某些情況下，技術概念和方案能夠並有助於創造AI文化，將AI技術成功應用到業務和任務工作流和能力中。然而，這些文化因素不能單靠技術方案來解決，還需要同時使用組織和社會技術方案。
需求
我們需要對各種國防和國家安全工作人員進行廣泛的培訓教育，這會產生深遠影響。採購和工程人員需要更透徹地瞭解如何申請（需求）和購買（採購）AI能力，包括在開發和運營階段採用巧妙（或許還很新穎）的方法進行測試和評估（T&E）。需要注意的是，這種教育不止是工程和採購人員需要。
在領導層和管理層同樣要進行AI教育，以確保對於AI能力的期望和未來承諾得到妥善管理和傳達。當然，這並不需要深入瞭解AI技術或相關演算法，但需要不斷更新對當前AI技術的可能性及其必要限制的認識。
作戰人群還須瞭解AI技術的潛能，知道它們能做什麼、不能做什麼。對各種型別的機器學習及其支援的能力型別（如決策、分類、預測等）如果能有一個基本的瞭解，將會大大提高這些技術在作戰環境中的採用率和易用性。
除了教育和培養AI人力，還有一些組織原則可促進AI能力的開發、採用和部署。海軍確立了“AI DevRon”概念，將採購專家和過渡夥伴納入能力的整個生命週期。同樣，陸軍也開始使用“戰術資料團隊”的概念來獲取和搜尋近期作戰需求。這些模型還需繼續探索，持續最佳化，為國防和國家安全領域的其他活動提供資料支撐。
需求
研討會結束後不久，國防創新委員會（DIB）於2019年11月就AI使用道德釋出了建議原則。2020年2月，JAIC和國防部正式採納了DIB建議的AI道德原則。這些原則（負責、公平、可追蹤、可靠、可管理）規定了AI方案開發、使用和操作道德的屬性和要求。要推動原則落地，我們需要相應的工具、機制和框架，以便在AI的整個生命週期中貫徹落實這些原則。
需要注意的是，DIB提出上述五項建議原則時，同時也建議開發、最佳化AI工程學科。合理的AI工程學科應包括必要的工具和機制，確保AI技術的開發和使用合乎道德，可安全用於國防和國家安全。
需求
為了支援道德原則的實施，AI系統須安裝儀器，記錄其行為和功能方面的遙測資料；須部署監測系統，捕捉和分析儀器產出的資訊；還須開發分析和綜合推理技術，支援證據生成，確保功能正常，幫助使用者理解系統輸出（如決策和決策理由）；最後，還要開發工具和技術，為AI系統的行為和輸出提供不同層次的解釋和說明。這些AI技術開發和運營工具並未得到充分重視，因為AI活動目前的重點是演示AI的某些特定用途。
當然，這些工具將不僅僅支援道德原則的實施，儘管這是此類工具的一大重要用途。此外，監控和解釋工具將會支援測試評估、持續驗證實踐（例如，當系統性能因環境或其他原因而降低時進行檢測），促進對人機協作的信任以及在業務和任務工作流中全面採用AI技術。最起碼應在採用和部署AI技術時考慮使用這些工具。當然，最好是使用幾個通用框架提供企業級工具和基礎設施，在整個國防和國家安全部門推廣、部署AI能力。
結語
隨著國防和國家安全組織加大在AI解決方案方面的投資，AI工程將助力國防部實現其建立可行、可信、可擴充套件AI系統的願景。根據本報告建立AI工程學科需要各領域專家的長期合作。在研究行業、學術界和國防研究人員、開發人員和實施者的活動時，我們要總結他們的經驗教訓並加以整合，以人為中心，開發出強大、安全、可擴充套件的AI系統。
原文連結
https://resources.sei.cmu.edu/asset_files/SpecialReport/2020_003_001_648543.pdf
譯者宣告：
小蜜蜂翻譯組公益譯文專案，旨在分享國外先進網路安全理念、規劃、框架、技術標準與實踐，將網路安全戰略性文件翻譯為中文，為網路安全從業人員提供參考，促進國內安全組織在相關方面的思考和交流。