即時戰略遊戲會給AI帶來截然不同的挑戰，玩遊戲需要的能力對於處理現實世界的問題來說也是必不可少的。

在亞洲古老的棋盤遊戲——圍棋上取得巨大成功後，DeepMind正計劃研究下一款遊戲，而他們的新目標與圍棋截然不同。

這家倫敦的AI研發公司是Google的子公司，它正與加州的遊戲公司暴雪(Blizzard)在一款名為星際爭霸II(StarCraft II) 的實時戰略遊戲 (real-time strategy game, RTS) 上展開合作。

作為一款全球聞名的電子競技遊戲，星際爭霸II滿足了作為DeepMind一個有趣挑戰的許多要求。不僅僅是因為在該遊戲中一流遊戲玩家能輕鬆擊敗頂級AI對手，更是因為這款遊戲會將DeepMind團隊引領到一個新的探索領域。

最重要的是，星際爭霸II是一款充滿各種隱藏資訊的遊戲。每個玩家會在地圖的兩邊開始遊戲，建立極低，訓練士兵，然後找出他們的對手。但是他們僅能直接看到隊伍周圍的區域，剩下的的地圖會隱藏在“戰爭迷霧”當中。

“玩家必須派出他們的隊伍去偵察未知地圖，以獲取敵人的資訊，並需要長時間記住獲取到的資訊。”DeepMind在部落格上說道。“周圍環境只有部分可見，這使得挑戰更為複雜——這也是星際爭霸和象棋和圍棋這類有完整資訊的遊戲之間一個有趣的不同之處。這是一款實時戰略遊戲，雙方玩家都同步進行遊戲，因此必須快速高效地計算出每一個決定。”

“一個人或者AI要能玩星際爭霸，就需要有效利用記憶力，具有進行長期規劃並根據新的資訊調整遊戲策略的能力”

然而，AI確實具有天生的優勢。頂級星際爭霸玩家排名的一項統計資料是“每分鐘動作”（actions per minutr, APM）：實質上是每分鐘點選的次數。因為沒有手指，肌肉，或是患上肌腱炎的可能性，AI可以在點選上輕易超越人類玩家，這導致它可以不透過戰略思維，而僅僅透過更快的反應速度獲勝。因此，DeepMind會將AI限制在該公司的研究科學家Oriol Vinyals稱之為“高階人類”的速度上限。這也有助於確保AI不將處理能力浪費在每分鐘做出數千個無關緊要的決策上，並將注意力集中在關鍵的地方。

Vinyals在星際爭霸中有著豐富的經驗。 2010年，在加州大學伯克利分校讀本科的他編寫了一個遊戲AI，可以在首次玩遊戲就能表現得比內建的AI更好。但那個機器人只是一個簡單的腳本系統，裡面的每個規則都是設定好的，類似於DeepMind出現之前最好的圍棋AI。和在圍棋中一樣，在星際爭霸II中， DeepMind想要專注於機器學習，設計一個可以教會自己玩遊戲的AI。

這次，DeepMind 獲得了星際爭霸II的開發者暴雪（魔獸世界、爐石傳說和守望先鋒也是這家公司開發的）的幫助，而這一幫助會使DeepMind甩掉其他任何一家想要完成同樣挑戰的AI研發公司。在2017年第一季度，暴雪將會更新星際爭霸II，為遊戲引入一個新的AI研發環境，並提供一個API，開發者可以利用這個API從遊戲中獲取額外的資訊，用以教會他們的機器人如何玩這個遊戲。

DeepMind的最終目標仍然是創造一臺可以像人類那樣玩星際爭霸的電腦，僅僅透過獲取螢幕上的資訊並利用鍵盤和滑鼠來完成操作。但是在短期內，利用簡化視覺效果來教會他們的系統對DeepMind來說更為容易，即將地圖圖形和迷你地圖轉化為低畫素的影象，並將各種特徵分解成不同的圖層，以清晰地顯示出地形高度、單位型別和血量等各種資訊。

這項合作是雙贏的，暴雪希望透過這些新發現改進自己的遊戲。“是否能有一個遊戲世界可以具有更為複雜，甚至可以為玩家量身定製的AI？”星際爭霸II的執行製作人，暴雪的Chris Sigaty說道。“我們能根據我們教導AI的方式來教導玩家嗎？這將意味著什麼？我們這邊有很多猜測，但我們相信它將有助於改善遊戲。”

但DeepMind的目標不僅僅是改進影片遊戲。Vinyals說，工作室的最終目標是使用AI來解決現實世界的問題， 很自然地星際爭霸II就是它的下一步。完整資訊的缺乏，現實的（狹義的“現實”）視覺，開發記憶的需求，甚至是某種想象能力，都是AI嘗試理解現實世界的重要技能。他說，比起現實世界，遊戲是一種更好的瞭解現實世界的方法。“你可以快速運行遊戲，它們有明確的得分，或者輸贏。而且也有其他人認為，學習和掌握遊戲對人類來說也是個有趣挑戰，他們對遊戲做出了許多最佳化。”

當DeepMind將注意力轉向圍棋時，它一年內打敗了最好的AI玩家，並且在兩年內打敗了最好的人類玩家。但Vinyals和Sigaty都不確定AI需要多長時間來掌握星際爭霸II。“從研究的角度來看，我們可能會取得很大的進步，但我認為我們現在還不知道我們能否擊敗最好的玩家，”Vinyals說。

Sigaty則表現得更有信心。 “我相信我們的職業玩家， 他們表現總是令人讚歎”。

圍棋的變化有10的800次方，人類已知宇宙中的原子數量，也不過是10的80次方，並且圍棋不像象棋每種棋子有比較明確的規則，圍棋每落一子是隨便落的，但是前後落子可以形成攻守之勢，充分體現中國古人的智慧和性格特點，所以阿法狗戰勝柯潔引人關注，可以說是里程碑意義。

圍棋既然那麼複雜多變，為啥要先挑戰圍棋再挑戰SC2呢？演算法上到底哪個難呢？

這裡有幾個不同

1、圍棋是回合制，你落子之後，我有時間考慮，即使這個考慮的時間再短，在我考慮的時候，棋盤的局勢是沒有變化的，也就是靜態的博弈。

而星際2是即時戰略遊戲，雙方同時都在操作，每一刻戰場的局勢是變化的，高手還會多線操作，家裡發展經濟不耽誤，正面還可以和你拼操作。（其實多線操作對人來說很難，對AI不算什麼，打過電腦的都懂）

2、圍棋是雙方都是上帝視角，而星際2是有戰爭迷霧的，在迷霧裡你不知道對手在幹什麼（即使是AI），在這種情況下你要做出戰略部署或者操作，就要比上帝視角難度大很多了。

以上兩點足夠AI攻克的，學過演算法的都明白，這是AI突破星際2比突破圍棋更難的原因。

單個ai的確沒有內驅力，你不給它指令它就不會主動去幹一些事情，我在想能不能用多個ai來驅動ai最後再由ai來修改自身的程式碼，設一個無數個人工智慧機器，每個單位只做一部分專業的事，然後匯入一個總ai上，就像人類神經網路可以接受處理個個問題也會思考問題然後自己給自己發指令，把這臺機器接入一個城市或國家網路裡面讓他決策交通金融政治軍事的命令效率會比人類高出無數倍，人類就有了高智慧的保姆了，一定很有趣！

棋類，都是明的。也就是說，ai可以掌控全域性，按照對方的落子進行全方位推演。rts因為有戰爭迷霧的存在，ai也一樣不可能完全掌握對方的戰術和部隊動向，同時人腦千變萬化的轉型，多線切入，都和棋類不一樣。

如果在限制了apm的情況下，ai依舊戰敗頂級sc選手，其實就是南韓頂級選手（希望沒常識的不要來噴我哦，世界rts霸主就是南韓，沒得爭議），那麼就是一項巨大突破。

本週由來自Google DeepMind子公司的一組研究人員成功培訓了能夠在一場Quake III奪旗遊戲中擊敗人類的AI選手。 這裡面臨的挑戰是培訓能夠在不完整資訊情況下導航複雜3D環境的AI。DeepMind的研究人員使用了一種AI培訓方法，這種方法也成為標準：強化學習，基本上是透過大規模的試驗和錯誤進行培訓。

AI透過和人類玩家以及自己的克隆進行45萬場遊戲，獲得了大量的學習機會，AI沒有給出如何玩遊戲的說明，而只是制定獲勝所需的策略，通常這意味著一個版本的AI針對相同的克隆進行遊戲。

DeepMind透過培訓30名AI團隊來介紹遊戲風格的“多樣性”，從而為這個公式提供了額外的深度。以這種方式訓練AI需要近五十萬場比賽，每場持續五分鐘。 與以往一樣，這種概念上簡單的技術如何代表機器人產生複雜的行為令人印象深刻。

DeepMind的AI不僅學會了奪取旗幟的基本規則，同時學會保護自己的旗幟，並跟隨隊友，為了讓AI遇到更難的挑戰，每個遊戲都是在一個全新的，程式生成的地圖上進行的，讓AI學習應對各種挑戰。