如今，特斯拉前AI總監Kalpathy在YouTube上更新自己的視頻，已經有1萬多人訂閱。

截至目前，他已經上傳了5個視頻，其中4個都是關於文本到圖像生成模型演示視頻。

其中，流量最高、最有影響力的便是長達2個半小時的講課視頻。

更新奇的是，連前boss馬斯克都來推銷他的視頻了：「趕緊漲粉啊！」

2個半小時課程講了啥？

作為自動駕駛領域技術大牛，他開的課可謂是乾貨滿滿。

就連Andrej Kalpathy本人稱讚，這是8年來領域內對神經網絡和反向傳播的最佳講解。

不僅自推，還在視頻下方打起了賭：

只要你懂Python，對高中學過的求導知識有些印象的話，看完這個視頻你就能夠理解反向傳播和神經網絡核心要點。

要是不能的話，我就吃一隻鞋。

說得這麼神奇，快來看看這個課程上，Kalpathy傳授了什麼知識。

畢竟2個半時長，先來理清下整個視頻中關鍵part：

他先對micrograd進行了概述。micrograd是Kalpathy在2020年開源的一個項目，目前已經有2.3k星。

這是一個微型Autograd引擎，可以在動態構建的DAG上實現反向傳播，並在其之上使用類PyTorch的API實現小型神經網絡庫。它們別分只用了100行和50行代碼來構建。

然後，Kalpathy介紹了只有一個輸入的簡單函數的導數、具有多個輸入的簡單函數的導數、啟動 micrograd 的核心Value對象及其可視化的方法，同時還舉了2個手動反向傳播的例子。

從1小時10分開始，Kalpathy又介紹了：

為單個操作實現反向傳播

為整個表達式圖實現反向函數

修復一個節點多次出現的反向傳播錯誤

使用更多操作替換tanh激活函數

用PyTorch實現上述操作，並與micrograd進行比較

用 micrograd 構建一個神經網絡庫 (MLP)

創建一個微型數據集，編寫損失函數

收集神經網絡的所有參數

手動做梯度下降優化，訓練網絡

最後，Andrej Kalpathy做了一個課堂總結，此外還探究了PyTorch中tanh激活函數的反向傳播機制。

對於Andrej Kalpathy迴歸，網友紛紛表示稱讚。

很開心你能再次回到教學模式，你的CS231n絕對是一個非常出色的課程。它和吳恩達的Coursera課程是我們早期向所有學生推薦的2個主要課程。

李飛飛高徒

這位Andrej Karpathy，是一個不折不扣的技術大牛。之前他就是馬斯克親自出馬，從OpenAI挖到特斯拉的。

在今年7月宣佈從特斯拉離職之前，一共在特斯拉幹了5年多，在職期間全面執掌特斯拉自動駕駛業務，直接向馬斯克彙報。

Karpathy師出名門，在2009年於多倫多大學獲得計算機科學和物理學雙專業學士學位，而後在2011年於英屬哥倫比亞大學獲得碩士學位，研究是物理模擬數字的控制器。

在斯坦福讀博的時候，Karpathy師從李飛飛，共同研究卷積/遞歸神經網絡架構及其在計算機視覺、自然語言處理及其交叉領域的應用。

師徒二人還一起設計了斯坦福大學的視覺識別卷積神經網絡的新課（CS231n），Karpathy親自擔任首任主講。

而這正是斯坦福開設的第一門深度學習課程！學生人數也從2015年的150名增長到2016年的330名，再到2017年的750名。

現在，斯坦福大學的CS231n已經成為深度學習初學者，尤其是CV方向的初學者必看的一門基礎課。除了大牛李飛飛的「明星效應」，Karpathy從課程設計到出任主講，親力親為，貢獻良多。

上學期間，他還跑去谷歌實習了——兩次，還是出國的那種，在谷歌參與了深度學習與計算機視覺項目。

2015年，他又去DeepMind的深度強化學習團隊實習了一波。

畢業之後，Karpathy於2016年入職OpenAI並擔任研究科學家，負責計算機視覺、生成建模和強化學習方面的深度學習。

「斯坦福博士生、李飛飛高徒、前OpenAI研究員及創始人之一」，這些頭銜也讓他在硅谷聲名鵲起。

果然，在OpenAI只幹了一年半，他就被馬斯克挖去了特斯拉，接替蘋果前高管 Chris Lattner，擔任特斯拉人工智能和自動駕駛視覺總監（Director of AI and Autopilot Vision）。

由於Karpathy本人十分喜歡研究神經網絡，他在閒暇之餘寫了不少技術博客，並在Javascript中開發了多個深度學習庫（如ConvNetJS、RecurrentJS、REINFORCEjs、t-sneJS）。

甚至，還被戲稱為ImageNet的「人肉參考」。

此外，他一有時間就會去維護自己「用愛發電」的arxiv-sanity，一個可以在過去6年裡搜索和整理近10萬篇關於機器學習arXiv論文的網站。

看起來，有些人對學術的熱愛是刻在基因裡的。從特斯拉離職剛剛一個月的Karpathy，此次重回Youtube開頻道，上來就是一副要大辦學術講座的樣子，也就絲毫不奇怪了。

最後，感興趣的小夥伴們可以響應一下馬院士的號召，去關注一波，畢竟現在Karpathy粉絲還不多，屬於「初級網紅」，以後真要是火起來，也能當個老粉呢。

不過話說回來，要想向馬斯克說的漲粉最快，不如上傳一段自己吃鞋的視頻？

參考資料：

https://www.benzinga.com/news/22/08/28529260/whats-former-tesla-ai-director-andrej-kalpathy-up-to-these-days-and-elon-musk-is-rooting-for-his-for