注意：此地圖不是AI狀態的精確反映，而只是我的主觀表示。
這是我截至2020年底的第一張地圖，並將在將來擴充套件。它包含200多個單詞或短語，因此要描述所有這些單詞或短語將過於廣泛且過於刻板。告訴我這張地圖是如何逐漸在我的腦海中建立的，這非常有趣（對我有用）。我不會解釋所有內容，而只是解釋主要內容，因此不瞭解某些內容是很正常的。
這個故事始於2013年，當我完成應用物理學學士學位後。我正在研究異質結構，這是用於Internet傳輸的固態鐳射器的核心。簡而言之，我不滿意，該領域很好而且很有遠見，但是在烏克蘭卻沒有。因此，我決定將我的碩士論文寫在我真正感興趣的另一個領域。我有兩種選擇，而我選擇了一種-人工智慧領域。
那個夏天，我完成了有史以來第一門有關Coursera的線上課程-Andrew Ng的機器學習。線上課程才剛剛開始，Coursera僅存在了一年。該課程對機器學習的觀點不錯，可以分為監督學習，無監督學習和強化學習。還有一些典型的問題，例如分類，迴歸，聚類，每個問題都有其自己的解決方案。
當時，我瞭解到該地區還為時過早。我習慣了物理學，它具有深厚的基礎，是所有現象的基礎。例如，麥克斯韋方程和洛倫茲力解釋了整個經典的電磁學，光學和電子學基礎。但是在我看來，機器學習只是方法和演算法的集合。如果需要進行聚類，可以嘗試k均值或高斯混合，或者在結果不好的情況下嘗試其他方法。
如果您需要將資料擬合到一條線上，這是線性迴歸。分類相同，有邏輯迴歸或SVM或神經網路。但是，沒有理論可以概括和解釋所有情況。您只需要尋找最適合特定情況，特定資料集的演算法。
後來，我不時回到機器學習中，但是並沒有抓住我。
我想要更多。那時，我讀了傑夫·霍金斯（Jeff Hawkins）的《論情報》（On Intelligence）。他寫道，智慧的本質是做出預測，解釋了人類大腦的工作原理，並且有可能找到一種像大腦一樣工作的演算法。
他推廣了新皮層（大腦淺表部分）由小柱組成的觀點。這些皮質柱在結構上非常相似，如果我們能夠理解皮質柱的工作原理，那麼我們就能理解大腦。我當時想，"哇，他真的會很快建立人工智慧"。可悲的是，這本書寫於2004年，但到2013年，並沒有取得太大進展。看來問題要難得多。
但是，令我興奮的是，我們需要了解人腦才能建立AI。這就是為什麼我開始學習神經科學的原因-神經學是研究神經網路如何工作的科學分支。不要將其與研究神經系統疾病的神經病學混淆。我找到了出色的線上課程"醫學神經科學"，在那裡我學習了基礎知識。從解剖開始，周圍的神經系統會收集資訊並將其傳送到中心部分，尤其是丘腦（如主樞紐）。它將啟用傳送到新皮質，並在此處進行主要資訊處理。感覺訊號被轉換成運動命令，並在小腦和基底神經節的幫助下被髮送回周圍。海馬有助於記憶儲存。靠近它，人們發現了網格細胞，即僅在環境中的特定位置才活躍的神經元（通常與GPS相比）。再加上另一個重要的結構-杏仁核，也有助於記憶和情緒，甚至在新皮質形成之前就可以處理資訊，從而迅速採取行動（例如從恐怖的蛇中逃脫）。
系統神經科學研究龐大的系統如何與多達數十億個神經元一起工作。任務之一是建立大腦連線體，大腦所有1000億個神經元的連線模型。但這太難了，就目前而言，人們至少對較小結構的連線組（宏電路）或什至較小的具有100-10000個神經元的獨立神經網路（微電路）感到滿意。
例如，在一個大型的歐洲人腦專案中，研究人員製作了一個具有約31000個神經元的區域網模型。神經元的大小約為30微米，是人類頭髮的兩倍。一個典型的神經元建立1萬個連線，這些連線稱為突觸，大小為幾微米。這就是為什麼很難以這種規模跟蹤所有連線。但是，有很多方法，從可以在釐米級（EEG）或毫米級（fMRI）上工作的方法到可以測量單個神經元（膜片鉗）或一組神經元（多電極陣列）的活性的方法。
系統神經科學遵循"大腦->頭腦"的原則，透過研究大腦，我們將更好地理解頭腦。認知神經科學-使用相反的方法，透過研究思維我們可以更好地理解大腦。它們透過神經相關性進行連線，神經相關性是我們可以與諸如記憶，注意力甚至意識等複雜現象相關的神經網路。認知神經科學從心理學的角度研究記憶，並定義了情節性，語義性，程式性記憶，但是系統神經科學則更加物質地研究並尋找記憶所駐留的特定神經網路。順便說一句，簡單的情感記憶儲存在杏仁核中，可以在神經水平上被識別，擦除，重寫和暫停。可悲的是，它僅對小鼠有效。
在那個時期，我發現了許多認知模型，試圖建立類似於大腦的程式。例如，這裡是與基底神經節相對應的塊，具有一定的輸入和輸出，並執行決策。另一個塊（如額葉皮層）透過新增情景記憶來干預決策。人們對大腦的瞭解越多，這種模型就越準確和完整。
甚至還有帶有年度會議的社群AGI（人工通用情報），其中介紹了這種模型。這可能是組織資料的好方法，但是我非常懷疑某個認知模型有一天會開始自己進行思考。AGI社群的環境很特殊。一方面，我喜歡他們忠於最初的目標，即創造與人類同等水平的真正（通用）人工智慧，並公開宣告這一點。他們思維廣泛，從神經科學，心理學和數學演算法中獲取資訊。另一方面，我沒有看到像物理學一樣的基本原理。有許多手工製作的解決方案，例如被記者描繪為智慧機器人的索非亞機器人，但實際上並非如此。
藉助AGI，我們可以將人工智慧中的象徵方法或"老式老式AI（GOFAI）"聯絡起來。它試圖使AI作為操縱符號，透過邏輯運算或因果規則的程式。這種方法在AI的50到80年代初很流行，但現在還不存在。不久前，它被神經網路形式的連線主義方法所淘汰。
2014年中，我去了基輔工業大學的一所暑期學校。那就是我沉迷於以嚴格的數學方式描述神經系統的計算神經科學的地方。只有這才變得有趣：)有兩個主要主題-神經動力學和突觸可塑性。神經元產生電脈衝，振幅為0.1伏，持續時間為幾毫秒。動力學描述了神經元的電位如何變化以及神經元何時應激發脈衝。在數學上，它可以透過霍奇金·赫x黎模型（由四個一階微分方程組組成）很好地定義，該模型甚至獲得了諾貝爾獎。
它可以透過新增離子通道並提供神經元的形狀來擴充套件和複雜（這被稱為形態學，即軸突和樹突在太空中的位置）。
使用更完整的模型，動力學變得非常精確，甚至可以預測單個電脈衝（對自由意志的巨大打擊：）。可以簡化遺留生物混亂的方程式，而只是重新產生電脈衝。通常，此類模型用於加標神經網路-計算模型，其中許多神經元連線在一起，並且顯示覆雜的節奏或混沌活動。
計算神經科學中的第二個關鍵主題是突觸可塑性，它描述了神經元如何改變其連線。神經元的動力學或多或少地得到了很好的研究和理解，但是連線的變化卻是一個謎。大腦的所有魔力都來自神經元之間突觸的可塑性。連線的強度可能因離子通道數量不同（神經元用來泵入/流出正/負電荷）的數量不同，或者由於存在神經調節劑（如多巴胺）（使神經元泵變得更強）而發生變化，或由於內部過程而試圖維持穩定狀態，即維持體內平衡。此外，連線可能消失，斷開神經元連線，或者保持沉默，等待在正確的時機重新啟用，或者在全新的地方建立。它改變了整個網路結構；描述連線的圖是動態的。可以相信，神經元透過它們的連線反映了環境的所有細微差別（被感測器感知）。
這是生物學和人工神經網路之間學習的主要區別之一。首先，結構是不斷變化的（體系結構是動態的），第二，學習主要是透過調整連線的強度來進行的。
生物神經網路中有許多學習的數學模型。首先，也是最著名的是赫布的法則：如果神經元A參與神經元B的啟用，則從神經元A到神經元B的連線強度就會增加。簡化：一起發射—連線在一起。考慮兩個不同的物件，當形成關聯時，兩個神經元編碼組被啟用並連線在一起。
在2015年底和2016全年，我花了很多時間研究突觸可塑性，因為連線的變化是理解大腦的關鍵。我研究了非常複雜的突觸調節分子機制，巨大的級聯使一個分子啟用另一個，而另一個又啟用另一個，從而使另一個有用。當我看到一切都由遺傳學控制，透過基因表達控制（透過表觀遺傳學在每個神經元中都是唯一的）時，我想到"沒有辦法，它太多了，應該有一些更簡單，更通用的原理"。
到2017年初，我對尖峰神經網路進行了大量練習，並且對它們非常瞭解。我很幸運地在接下來的6個月裡在法國機器人實驗室工作。這是檢查在實踐中是否有可能將學習的基礎研究應用到生物神經網路中的好機會。我可以做些有用的事情，例如控制機器人嗎？有一種經典的機器人技術方法是基於控制理論的，例如，在其機器人狗的波士頓動力學中使用過。我喜歡基於大腦的裝置的方法，其中類似於生物學的神經網路向機器人傳送命令。此外，還有一種針對神經形態架構的更高階方法，其中經過特殊設計的電子裝置可以有效地實現神經元的啟用和學習演算法，例如TrueNorth晶片。
通常，在將演算法放入機器人之前，您需要使其在虛擬環境中工作。我也一樣，我將機器人放置在模擬房間中，分散了物體，並將攝像機的影象傳送到神經網路。多虧我在實驗室實習，我才能在現實生活中進行實驗。在此影片中，我只是玩了一個機器人，上面寫著"榮耀歸烏克蘭" :)）。
結果，我明白了計算神經科學，尤其是尖峰神經網路並不是解決實際任務的合適解決方案。然而。他們在計算上過於飢餓，需要功能強大的計算機。即使這樣，最終的問題是很難理解如何使它們工作。神經元模型可以具有許多引數，並可以由許多微分方程來描述。嘗試解開這個爛攤子……
儘管如此，機器人還是有些神奇的東西。乍一看，它們看起來像是一件愚蠢的事情，即使您執行使機器人說話並回答簡單問題的常規軟體也是如此。但是，當您上傳簡單的顯著性圖（該程式確定有趣的地方，例如鮮豔的色彩，運動，複雜的形狀或紋理）時，機器人就會開始移動頭部，就好像它有目的地調查周圍的世界一樣。突然，您開始認為機器人內部有東西，不是空的。您賦予它生命，並在情感上與眾不同。將來，當軟體變得更好時，機器人將進入我們的生活。我們將與他們建立聯絡，就像與我們的寵物或更牢固地聯絡一樣。
在尖峰神經網路失敗之後，我開始尋求其他更簡單的方法。然後，我輸入了一個新欄位-關聯記憶欄位。它研究您可以在神經元之間的連線中儲存多少"記憶體"。一個典型的例子是Hopfield網路，向它顯示一組影象，網路會記住它們（作為吸引子），並且當顯示部分影象或嘈雜的影象時，網路會呼叫正確的儲存影象。
該領域的經典結果是，當活動神經元數量很少時，儲存容量最大。有趣的是，生物神經元也是如此：在新皮層的與記憶有關的區域中，同時活躍的細胞數量非常少，大約為2-5％。當人們發現在真實的神經網路中實現的抽象數學定律時，這是一個非常酷的例子。基於此，訊號處理領域出現了一個全新的分支-稀疏編碼。它起源於神經科學，認識到稀疏表示在生物學中無處不在，並且是資訊儲存和處理的良好候選者。
2017年底，我的朋友離開了一名軟體工程師的職位去從事科學工作，我們一起開始研究分層時態儲存器（HTM）。這是開頭提到的由Jeff Hawkins建立的Numenta公司的模型。該公司試圖進行反向大腦工程，以在演算法中實現神經科學。我們仔細地仔細研究了他們的演算法，並得出結論：這些想法很棒，但實現可能會更好。最好的想法之一是，我們需要在各種座標系中編碼資訊：相對於其他物體（稱為同心軸）和相對於我們自己的身體或其部位（以自我為中心）。關鍵是人類在檢查某些物體時會不知不覺地不斷移動眼睛（掃視）。這有助於大腦掌握所有事物的位置和位置的寶貴空間關係。
HTM的另一個關鍵思想是認識序列的重要性。它們無處不在，甚至我們的感知都是連續的。因此，模型應該以某種方式儲存序列，預測並生成序列（就像人類不斷生成運動命令一樣）。
我們試圖實現這些想法，編寫了程式來依次找到影象上有趣的地方，並將區域性特徵與其關係聯絡起來。它或多或少地起作用了，但並不是我們想要的那樣（順便說一句，欣頓的膠囊網路試圖實現同樣的想法，也沒有成功）。失敗之後，我意識到我們在盲目前進，沒有像物理學那樣的基本理論。
深度學習（DL）也是如此。 DL背後的故事是科學與行業互動，自我普及並獲得資助的典範。多層神經網路已經存在了很長時間，有時也稱為多層感知器。儘管如此，它們仍未取得良好的結果：就分類而言，SVM在語言處理（隱藏的馬爾可夫模型，計算機視覺），複雜的模型以及各種演算法的組合中排名第一。但是，由於出現了相對便宜且功能強大的計算資源（圖形卡，GPU），因此可以在短時間內（仍然有時需要數週）在大型資料集上訓練大型神經網路。當然，有許多智慧工程解決方案，但是沒有人期望神經網路突然在許多機器學習任務（基準）中超過以前的記錄。憑藉這一成功（2012年，甚至更早），研究人員開始將多層神經網路更名為深度學習。大眾媒體抓住了它並將其作為AI的一項偉大進步-新事物-進行了傳播，這往往過於誇張。資料科學也有類似的故事，它是應用統計的一個更吸引人的新名稱，或者資料探勘是無監督學習的一種方法。仍然有效，該領域的贈款數量猛增。它帶來了新的研究人員，教育計劃，當然還有科技公司的工程師。
其他從事重要而又有遠見的研究但沒有發展趨勢的人工智慧研究人員坐在角落裡悄悄地哭了：）。一些研究人員開始否認深度學習，他們說這不是一門科學。它背後沒有任何理論。另一位研究人員則慢慢地轉向了深度學習。另一個將他們以前的結果納入了新框架。對於我來說，我好奇地觀察了深度學習的進展，並嘗試不落伍，但是對我來說，人工智慧不僅限於深度學習，我們還需要擴大視野。
我認為，將來人工智慧理論完善時，它將從資訊理論開始。多虧了D.MacKay在2018年的出色學習，我才瞭解了熵的本質，即互資訊和資料壓縮。甚至有人說，資料壓縮問題和人工智慧緊密相連。但是，即使是資訊理論也沒有幫助我解決另一項任務。這次我們三個人。一位聰明的博士生加入了。我們設定了一個簡單的任務，以使程式在乒乓球比賽中勝出（擊中移動球）。強化學習的經典方法已經解決了這個問題，但是我們希望做得更好。一種演算法應該適應環境的變化（例如，改變球的大小，環境的規則或幾何形狀），學習得更快並且與動物的學習方式更相似。我們並不愚蠢，但我們做不到。要麼任務比我們想象的要難得多，要麼我們正在解決錯誤的問題。但是，我繼續深入研究該理論。
細胞自動機與另一個概念有關-計算不可約性。自然界中的某些事物在瞭解法律的情況下可以輕鬆預測。例如，將球的初始速度和角度放到公式中，就可以知道它在下落之前，下落的時間，位置以及下落的未來軌跡。但是有些現象無法用簡單的公式（沒有封閉形式的解決方案）來描述，您需要在計算機上模擬動力學。例如，物理學中的一個三體問題（如太陽，地球和月球的運動）由微分方程描述，但是沒有簡單的表示式可以預測（計算）未來。
計算的不可約性恰恰說明了這一點-有些事情本來就不容易預測，需要更多的計算。這同樣適用於神經網路-一個公式都無法預測一個小時後的神經元行為。您需要為此模擬所有3600秒。這與哲學相交，更確切地說與自由意志相交。如果沒有程式可以預測您的動作，那麼沒人會事先知道您將要做什麼。那麼，您是否有選擇的自由，還是仍然受到1000億個神經元的啟用和學習規律的約束？
我以大腦的形狀繪製地圖，並以哲學代替小腦。儘管運動命令和認知敏捷性受到很大損害，但人類可以保持意識和生活而沒有小腦。與哲學一樣，您可以沒有它而生活，但它仍然可以帶來價值。也許，人工智慧的大多數科學家有意無意地都屬於功能主義。如果兩個材料系統在相同的輸入下給出相同的輸出，即使它們在內部完全不同，則認為它們是等效的。如果我們可以建立一個與生物等效的人工神經網路（基於矽酮），那麼我們可以建立第一個與基質無關的生命形式。這與哲學中的核心問題-意識問題相呼應。等效的物質系統會不會有意識？意識是什麼意思？如果存在意識，我們如何知道如何看待人工（甚至生物）神經元的啟用？也許這個問題是錯誤的，聽起來應該有所不同？
這是部落格系列" AI領土"中的第四篇文章。