除了語音互動以外,人臉和影象識別也是被用到的主要技術,比如放置在門口和她女兒 Max 房間的攝像頭。為了更準確地識別門外來訪的人,扎克伯格在門口各個角度都安裝了攝像頭,這樣可以保證讓賈維斯看到人的正臉。所以,識別來訪人員並自動開門的過程是這樣的:透過一個伺服器來持續監測攝像頭的畫面,如果檢測到有人臉就啟動人臉識別系統,然後判斷是誰,確定人物之後,比如是今天約好來訪或者親戚朋友,就會自動開門讓對方進來,併發一個通知;安裝在 Max 房間裡的攝像頭,則會識別 Max 的狀態,比如她是在睡覺還是在屋裡走動,如果早上識別到她醒來,就自動播放一些音樂或漢語課程。要是發現她走出房間,還會發送提醒。
除了一些需要具體對接的服務之外(比如比爾 蓋茨問賈維斯能不能訂漢堡……),扎克伯格開發的賈維斯可以說是足夠實用的人工智慧助理了,但還並不適合推廣。人工智慧技術應用到更多使用者家裡可能是一個緩慢的過程,就像扎克伯格所說的,除了 AI 技術的發展之外,還需要「智慧」裝置足夠普及、且它們之間能夠互相通訊,才有可能構成一個真正實用的 AI 系統。
It’s not a production system that’s ready to go to other peopleBut if I couldn’t build a system that can at least do what [Echo and Home can], I probably would have been pretty disappointed in myself.
「賈維斯不是一個成熟的可以推廣的產品,但如果我自己不能做出像 Amazon Echo 和 Google Home 這樣的系統,我會對自己感到很失望。」
從一些媒體、社交平臺的反映來看,大部分人對於這個「真實版」《賈維斯(Jarvis)》的表現還是有那麼一些出乎意料。但從部分工程師圈子的討論和某些智慧家居從業者的評論來看,似乎扎克伯格(Zuckerberg)開發的賈維斯還沒有達到「有技術突破」的地步。所以某種程度上,這有點像前段時間老羅演示的語音識別輸入法,業界清楚明瞭的狀態,卻讓大眾驚呼,「技術竟然已經發展到這個水平了?」
根據扎克伯格公佈的影片和他的描述,我們大概來總結一下「賈維斯」這個人工智慧助理目前所能做的一些事情:
早上醒來說一聲「Good Morning, Jarvis」,賈維斯就會迴應,然後把窗簾開啟,並且告知今天的日期、室內的溫度,以及今天的安排等;起身下床,收到賈維斯的通知,說 Max(扎克伯格的女兒)已經睡醒了,賈維斯正在教她練習中文(語音的形式);走到衣櫃前,說一聲「給我來件新 T恤」,賈維斯就會透過專門設計的一套裝置「發射」一件 T恤出來;賈維斯會知道幾點開始烤麵包,並且會在準備好的時候告訴扎克伯格來吃早餐;可以幫忙接通影片會議,並在開始前提醒會議的內容;能識別出門外來的是父母,然後自動把門開啟,併發送通知給扎克伯格;可以直接跟賈維斯說想要聽什麼歌曲,包括具體的歌曲名字、歌手、風格等;看電視的時候自動把燈關掉,也可以調節室內的溫度、歌曲的音量大小等語音控制部分;睡前只要說一聲「Good Night」,就可以把燈光和其他的一些電器都關掉,並且確保門窗都鎖好。……
瞭解過智慧家居的朋友可能在看到一些場景的時候覺得很熟悉,用一些智慧插座、感測器、閘道器、或者其他的一些控制中樞,也能實現部分情景。但能夠透過一個系統將其組合起來,而且這個系統可以做隨時隨地響應,就像一個很有頭腦的貼身管家(我需要的時候他就在身邊,在處理事情的時候會做一些判斷,並不是機械地執行指令,並且會慢慢了解我的喜好和習慣),這就很有些區別了。
當然,扎克伯格的賈維斯還沒有很完善,但已經有了 AI 的模樣。
所以「賈維斯」是什麼,怎麼用?賈維斯是一個人工智慧助理,它的實體或者說互動介面,主要是在手機和電腦上。從公佈的影片畫面來看,實際中最常用的還是手機端的兩個 app,一個是單獨開發的語音識別 app,可以實時和賈維斯進行語音對話;另一個則是短訊息 app,可以傳送文字指令,類似聊天機器人。
為了實現在家裡隨時隨地都能和賈維斯對話,扎克伯格不得不在很多個屋子裡放置了安裝有語音識別 app 的手機。這樣其實並不是很好的解決辦法,而且他發現,有的時候不在家,偶爾也會有想找賈維斯的想法。所以他認為,賈維斯最終不應該只是一個家庭裝置,最好是可隨意帶到任何地方(這說的不就是可穿戴裝置嘛…)。
除了語音互動以外,人臉和影象識別也是被用到的主要技術,比如放置在門口和她女兒 Max 房間的攝像頭。為了更準確地識別門外來訪的人,扎克伯格在門口各個角度都安裝了攝像頭,這樣可以保證讓賈維斯看到人的正臉。所以,識別來訪人員並自動開門的過程是這樣的:透過一個伺服器來持續監測攝像頭的畫面,如果檢測到有人臉就啟動人臉識別系統,然後判斷是誰,確定人物之後,比如是今天約好來訪或者親戚朋友,就會自動開門讓對方進來,併發一個通知;安裝在 Max 房間裡的攝像頭,則會識別 Max 的狀態,比如她是在睡覺還是在屋裡走動,如果早上識別到她醒來,就自動播放一些音樂或漢語課程。要是發現她走出房間,還會發送提醒。
另外一個主要的應用場景是讓賈維斯播放音樂,通常是用語音互動的形式來完成,可以直接說歌曲的名字,可以說歌手的名字,也可以是某個特定風格的歌曲,這些功能現在有很多產品都在做,但要真正做得比較精準得需要足夠多的資料和長時間的訓練。
賈維斯還能記住不同人的音樂喜好,可以透過聲音識別出來是誰的指令,然後決定播放哪一類歌曲;能夠進行自我學習也是很重要的特性,透過給它一些反饋,比如「這不是輕音樂」、「我不喜歡這種」,可以幫助賈維斯提供更準確的資料。
開發賈維斯的感受和體會,同樣有意義的分享相比這套系統給人帶來的啟發,扎克伯格也分享了一些開發過程中的感受和體會,也是很有價值的思考:
首先他面臨的第一個挑戰是,把家裡足夠多的裝置連線起來,因為目前各種裝置之間都有著不同的介面協議,或者根本還不具備聯網能力。這是業界共同面臨的問題,但要想真正有所改變或許只能等到行業發展到一定程度;對於無法聯網的裝置,扎克伯格透過將其連線智慧插座的方式來控制開和關。
對於語音互動這種形式,他的看法是,語音互動肯定會在未來扮演一個非常重要的角色,而且會是透過一個可隨身帶到任意地方的載體。因為這種方式足夠便捷,不用拿起手機、開啟 app,然後輸入文字。但同時他也認為,語音互動並不適用於所有的場景。比如,當有人來訪時,告訴賈維斯讓對方進來,這就不適合用語音,因為這跟其他人沒有關係,等於是一種打擾。所以,我們還應該保留有一個更加私密的互動方式,比如文字對話介面。實際上他發現,自己更多情況下還是選擇用文字對話,並且,也會希望賈維斯能夠輸出文字、圖形等其他形式來給出響應結果。
和文字對話相比起來,語音對話的這種方式會讓人更容易有感情的投入,更讓人有交流的意願,扎克伯格表示,在設計 AI 的語音互動時,會非常想給他增加一些幽默感或者好玩的特性。影片中也能看到賈維斯這個成員的加入,確實給家庭中增添了一些歡樂的氛圍。
要做到足夠「智慧」,人工智慧助理還需要融合更多的參考資訊,比如在發出語音指令時,它應該還要具體地瞭解周圍的環境和其他背景資訊。比如,當「我」說把燈光調暗的時候,賈維斯應該知道「我」在哪個屋子,然後把當前屋子的燈調暗,這是比較智慧的做法,而不是給每個屋子命名;以及,當「我」說播放音樂的時候,不應該因為上次是在那個屋子播放的音樂所以這次也是那個屋子。
除了一些需要具體對接的服務之外(比如比爾 蓋茨問賈維斯能不能訂漢堡……),扎克伯格開發的賈維斯可以說是足夠實用的人工智慧助理了,但還並不適合推廣。人工智慧技術應用到更多使用者家裡可能是一個緩慢的過程,就像扎克伯格所說的,除了 AI 技術的發展之外,還需要「智慧」裝置足夠普及、且它們之間能夠互相通訊,才有可能構成一個真正實用的 AI 系統。
總之,這樣一個由個人用100多個小時開發的作品,它的意義和其他公司開發的成熟產品當然不一樣。在接受 fastcompany 採訪的時候,扎克伯格說
It’s not a production system that’s ready to go to other peopleBut if I couldn’t build a system that can at least do what [Echo and Home can], I probably would have been pretty disappointed in myself.
「賈維斯不是一個成熟的可以推廣的產品,但如果我自己不能做出像 Amazon Echo 和 Google Home 這樣的系統,我會對自己感到很失望。」
真是一個有趣好玩的技術大神~