現在關於AutoML比較有用的最佳化方法是Google出版的基於神經架構搜尋的最佳化方法，即Neural Optimizer Search。

AutoML專注於自動化機器學習（ML）工作流的各個方面，以提高效率並使機器學習民用化，以便非專家也可以輕鬆地將機器學習應用於其工作上。儘管AutoML涵蓋了與ETL（提取，轉換，載入），模型訓練和模型部署相關的一系列廣泛問題的自動化，但是超引數最佳化問題是AutoML的核心焦點。此問題涉及配置用於控制ML模型/演算法行為的內部設定，以便返回高質量的預測模型。

深度學習透過以端到端的方式學習與統計模型結合的表示形式，提供了繞過手動特徵工程過程。但是神經網路體系結構本身通常是由機器學習工程師特殊設計的。神經體系結構搜尋（NAS）被吹捧為透過自動識別優於手工設計的體系結構來減輕這種麻煩的最佳化方法之一。

NAS普遍被認為的觀點NAS與傳統的超引數最佳化之間存在錯誤的二分法。實際上，NAS是超引數最佳化的子集。而且專用的NAS方法實際上並不是完全自動化的，因為它們依賴於人為設計的體系結構作為起點。雖然探索和調整不同的神經網路架構對於開發高質量的深度學習應用至關重要，但在我們看來，專用的NAS方法尚不適合專業領域：與高質量的超引數最佳化演算法相比，它們引入了顯著的演算法和計算複雜性（例如ASHA），而沒有證明標準基準測試任務的效能有所提高。在過去的幾年中，專用的NAS方法在提高準確性，降低計算成本和減小體系結構大小方面表現出了顯著的進步，並且最終可以在神經網路（非普通機器學習）體系結構設計上超過人類的效能。NAS最重要的三個元件搜尋空間。該元件描述了要考慮的一組可能的神經網路體系結構。這些搜尋空間是為特定於應用程式而設計的，例如，用於計算機視覺任務的卷積網路空間或用於語言建模任務的迴圈網路空間。因此，NAS方法不是完全自動化的，因為這些搜尋空間的設計從根本上依賴於人類設計的架構作為起點。即使這樣，仍然存在許多體系結構決策。實際上，在這些搜尋空間中考慮的可能架構的數量通常超過10 ^ 10。最佳化方法。該元件確定如何探索搜尋空間以找到良好的體系結構。這裡最基本的方法是隨機搜尋，同時還引入了各種自適應方法，例如，強化學習，進化搜尋，基於梯度的最佳化和貝葉斯最佳化。儘管這些自適應方法在確定要評估的體系結構的方式方面有所不同，但它們都試圖將搜尋偏向效能更佳的體系結構。毫不奇怪，所有這些方法都具有在傳統超引數最佳化任務中引入的對應方法。評估方法。該元件衡量透過最佳化方法考慮的每種體系結構的質量。最簡單但在計算上最昂貴的選擇是完全訓練體系結構。人們可以選擇利用區域性訓練，其本質類似於類似於ASHA的超引數最佳化中常用的提前停止方法。還引入了特定於NAS的評估方法（例如網路形態，權重共享和超網路）來利用神經網路的結構來提供更便宜的啟發式質量評估。部分訓練方法通常比全面訓練便宜一個數量級，而NAS特定的評估方法比全面訓練便宜2-3個數量級。是否目前已可以用NAS方法？

還沒！明確地說，探索各種體系結構並執行廣泛的超引數最佳化仍然是任何深度學習應用程式工作流程的關鍵組成部分。大多數專業的NAS方法非常特定於給定的搜尋空間，並且需要針對每個新的搜尋空間進行重新訓練或調整工具。此外，某些方法會遇到健壯性問題，並且可能難以訓練。這些問題當前阻礙了現有專用NAS方法在不同任務上的普遍適用性。