智慧寫作，我接觸得最多的是房產網站裡面的導購類文章。

這類文章主要是硬性條件和客觀資料之間的對比，實用性比較高，可以說是機械化文字，而且可以大量比對。

因為工作量大而且基本上是重複性流程，所以智慧寫作釋放了大量勞動力，而功能上是同等價值。

所以智慧寫作在實用性主題方面是很有優勢的，至於那些文學藝術和邏輯思考強的文字應該暫時還沒辦法透過程式完成吧。

人工智慧會超越人類嗎？

可是我們要知道，人類本來就能自主思考，機器人越來越聰明，人類也會越來越聰明，可以說人類是機器人的師傅，至於師傅和徒弟以後誰更厲害就不得而知，總之師傅一定要越來越努力。

最好的結果應該是，師傅和徒弟會在不同領域越來越聰明，徒弟體力越來越強，靈活度越來越好，能幫師傅去完成一些師傅做起來累的事情。師傅呢就應該是一個教育家，把徒弟引領到一個良性進化的軌跡。

蠻期待，機器人陪散步的情景。。。

關於人工智慧會取代人類工作多少的爭論甚囂塵上，但無論如何，我們不得不承認，取代已經變成了“大勢所趨”，只是不同的行業不同的工種，被取代的程度和時間不同而已。近兩年，人工智慧的出現在很多領域，都引起了很多討論，包括很多工廠現在也在慢慢引入一些機器人，去做一些重複性很強，工作強度很大的工作，也逐漸淘汰了部分人員，由機器人替代。朋友們，當我們面對人工智慧時代，我們需要多一些思考，去做點什麼，迎接真正AI智慧時代的到來。

文字這東西，尤其是思考性非常強的，表達人類特有情緒和音符之類的東西，是最難被高科技所替代的。作家一兩句妙語，是人工智慧所不能領會的，何況整本大作呢。現實情況是，那麼多不用動什麼腦子的工作，科技都還沒有完全替代，至於人思考的部分，有關意識的東西，連科學都還沒辦法解釋人腦的運作，既然科學都沒辦法邏輯化，模組化，它又如何能讓人工智慧去解讀，去拼寫相關文字呢，尤其是富涵了人生閱歷和情感的文字，人工智慧是更加無法體會和揣摩的。

現在一些文字作品，比如股票分析類文章，比如現場直播些只需要傳遞資訊資料的，人工智慧寫作已經走到了前臺，做了大量的工作。甚至我們也看到人工智慧寫詩，寫音樂，也能在不知情的情況下矇混過關，但它離代替作家寫作還有太遙遠的距離。

人工智慧，還是個正在健康成長的孩子，別指望它一下子把人類文明全部繼承下來，給它足夠的成長空間和時間，但這小傢伙一點都不含乎，初出茅廬己三分天下，讓人刮目相看了，乃人中呂布，馬中赤兔爾。

智慧寫作，現在作個文員沒問題，寫商業廣告，作報表，記帳，統計，報稅，計劃書，總結報告，公文，通訊，書札，隨記，簡單的網路文字，一般文字創作，應用文章也可以。

但是透過大量的深度學習，和時間沉澱，科技發展，智慧迭代，中高檔文學寫作，也不是問題，應付一般讀者群，沒有太大麻煩，特別是快餐文化，文學的興起，更是智慧人大顯身手的領地 ，不會比人差，但真正藝術水準的，精神，個性，意境裡邊的東西，智慧人還難以達到。

人工智慧儘管是個嬰孩，但已經在很大地方超過人類了，如工作效率，耐力，成本，質量，能力，不要求環境 ，精準度，記憶，資訊貯備，等，象孫子兩歲，手機玩的比爺爺強一樣，先天智慧和後發優勢，未來隨著露延遲的網路，智慧人思誰將比人強的多，隨著各種功能晶片的創發，比如，海量儲存，深度感知，資料獲取加強，幀選最佳化資料，多維分析演算法，等。

一般能力超越人類三十年內，特殊能力五十年也差不多，但總有人工智能幹不了，不易勝任的工作。

全文共4280字，預計學習時長11分鐘

自然語言處理（NLP）技術在2018年取得重大成就。演算法模型界新的預訓練自然語言處理模型在情緒分析、回答問題等一系列任務中取得了巨大突破。

2018年先後出現了像ELMo、BERT、BigBird這樣的自然語言模型。雖然OpenAI GPT比BERT更早上線，但接受度上卻被BERT狠狠碾壓。究其二者的最大差異，GPT用的是單向語言模型，而BERT則是用雙向語言模型做訓練。

然而，倔強的OpenAI GPT仍採用單向語言模型，最終脫胎換骨。2019年2月，GPT 2.0驚豔亮相，寫出了一篇關於獨角獸的故事，以語言快速自動生成的特性，完成華麗麗的逆襲。它的新名字叫做OpenAI GPT-2.

摘自https://blog.openai.com/better-language-models/.（節選）

由圖可見，系統在開始設定一個故事開頭，後面的內容則基於GPT 2.0一個單詞一個單詞生成，再自動生成故事內容。其生成模式是：單詞的連環預測，即如果你能預測一個句子中的下一個單詞，你就能預測這個單詞的下一個、下下一個......很快就能掌握很多單詞。如果語言模型足夠優秀，這些單詞還能組成意思通順的句子，然後組成連貫的段落。而這些段落則可以組成任何你想寫的東西。

GPT-2不是一次基本演算法的突破，而是一次引數累計的壯舉。它擁有多達15億個引數（這比原始GPT的引數多了15倍），並接受了來自800萬個網站的文字訓練。國內網友調侃，不知道GPT-2編起故事來會不會比高鶚還優秀，《紅樓夢》可以考慮出個AI續寫版。

視覺化GPT-2

由於擔心惡意使用，OpenAI並沒有釋出完整的GPT-2模型，但他們還是釋出了一個與原始GPT規模相當的縮小版本（擁有1.17億個引數），已釋出的新模型接收了更新更大的資料集訓練。

雖然縮小版本沒有完整版模型那麼強大，但是它仍保留了一些語言生成的痕跡。讓我們看一看視覺化能否幫助我們更好地瞭解這個模型。你可以透過Colab notebook或者直接從GitHub repo建立以下視覺化模型。

一個說明性的例子

讓我們看一看GPT-2的縮小版模型是如何完成這個句子的：

船上的這隻狗跑了（The dog on the ship ran）

以下是這個模型生成的句子：

船上的這隻狗跑掉了，然後被船員發現了。（The dog on the ship ranoff, and the dog was found by the crew.）

現在我們稍稍改變一下這個例子，將狗換成摩托車，看一看這個模型會生成什麼樣的句子：

船上的這輛摩托車賓士著（The motor on the ship ran）

現在看一看模型生成後的句子：

船上的這輛摩托車以100英里每小時的速度賓士著。（The motor on the ship ranat a speed of about 100 miles per hour.）

透過改變句子開頭的一個單詞，我們就能得到一個完全不一樣的結果。這個模型似乎明白，跑著的狗和賓士著的摩托車是兩種完全不同的型別的“跑”（running）。

GPT-2是如何知道要密切關注狗和摩托車的區別，尤其是當這兩個單詞都出現在句子前端的時候呢？其實，GPT-2是基於實質為注意力模型的Transformer上執行的。該模型可以學習關注那些與當前任務最為相關且先出現的單詞，然後預測這個句子中的下一個單詞。

讓我們看一看在“船上的這隻狗跑了”（The dog on the ship ran）這句話中，GPT-2的關注點在哪裡。

從左到右看，這些線條反映了GPT-2在猜測一個句子中下一個單詞時的關注點（顏色越深代表關注度越高）。因此，在猜測“跑”的下一個單詞時，這個模型密切關注“狗”這個單詞。這就說得通了，因為知道誰或什麼在跑對於猜測後面的單詞至關重要。

用語言學術語來說，在“船上的狗”這一名詞短語中，該模型側重於它的中心詞（head）。GPT-2還體現了很多其他語言學屬性，畢竟上述的注意力模式只是該模型144種注意力模式中的一種。GPT-2有12層transformer模型，每一層又有12個獨立的注意力機制，稱為“中心”（heads），因此最終讓GPT-2擁有了12 x 12 = 144個不同的注意力模式。這裡我們視覺化所有的144種模式，重點談談剛剛討論的那一個：

GPT-2模型12層注意力模式（行）及12箇中心的注意力模式（列）視覺化，突出的為第4層/第3中心（零索引）

我們可以看到，這些模式有很多不同的形式。下面這個模式也非常有趣：

這一層/中心將所有注意力都放在這個句子各個單詞的前一個單詞上。這也說得通，因為通常相鄰的單詞與預測的下一個單詞最為相關。傳統的n-gram語言模型也是基於這種直覺。

但是為什麼很多注意力模式都和下面這個模式相似呢？

在這一模式中，幾乎所有注意力都集中在這個句子的第一個單詞上，而其他單詞的注意力大量減少。這似乎是一個無效的模式，表明注意力中心沒有找到它尋找的任何語言現象。該模式似乎重新定義了第一個單詞，即如果沒有找到更好的關注物件，則關注第一個單詞。

貓在_____中。（The Cat in the _____）

讓我們來看看GPT-2是如何完成永恆的經典-《戴帽子的貓》（Cat in the Hat）中的臺詞的：

“我們看見在一根風箏線上，掛著媽媽的新外衣！那件帶著粉色、白色和......點點的裙子”！（Her gown with the dotsthat are pink, white and…）

看看GPT-2如何完成的這個句子：

那件帶著粉色、白色和藍色點點的裙子！（Her gown with the dotsthat are pink, white and blue.）

雖然原文是“紅色”，但這樣的顏色搭配也很不錯。因此我們可以看到GPT-2並不是僅僅會簡單的記憶。

GPT-2是如何知道此處應該填上一種顏色的呢？也許是因為下列注意力模式識別了逗號分隔開的兩個單詞所屬的類別。

為了判斷“和”（and）後面填寫什麼單詞，GPT-2關注了這個類別的前兩個單詞——粉色和白色（pink，white），然後它便知道應該選擇一個與前兩個單詞型別一致的單詞，在這裡就是顏色。

關於名字GPT-2又能寫出什麼呢？

GPT-2似乎特別擅長僅僅根據一個名字來撰寫簡短的傳記。

讓GPT-2根據提示“誰是...（你的名字）？”（Who is <your name>?）來生成文字是一項非常有趣的訓練。這個提示一般會激發GPT-2撰寫一篇簡短的傳記，可能是因為網頁上文章的開頭通常是作者的簡介。

下面是一些GPT-2根據提示“誰是傑西維格？”（Who is Jesse Vig?）生成的自傳。

“傑西維格是社交媒體營銷專家和前社交媒體營銷經理。他是VigMedia.com的聯合創始人兼執行長，最近擔任VigMedia.com的創始人兼執行長。”（Jesse Vig is a social mediamarketing expert and former social media marketing manager. He is theco-founder and CEO of VigMedia.com and recently the founder and CEO ofVigMedia.com）

寫得不錯！雖然在內容上有一些重複，但是故事很有個性，讓人驚喜。下面是另一個創作：

“傑西維格是福音傳教士詹姆斯維格的兒子。他於1964年移居美國，併成為密歇根大學的傳教士，在密歇根大學執教18年，在2007年10月去世。”

（Jesse Vig is the son of anevangelical preacher named James Vig. He moved to the United States in 1964 andbecame a preacher at the University of Michigan, where he taught for 18 yearsuntil his death in October 2007.）

在這個例子上，GPT-2非常聰明，知道父親和兒子姓氏相同。讓我們看看在選擇姓氏的時候，GPT-2的關注點在哪裡：

第11層/10中心

在判斷詹姆斯（James）後面的單詞時，該模式將注意力放在前面提到的“我”的姓氏上。（要注意的是，在這個模型中，維格的英文單詞Vig被分解為“V”和“ig”，因為這個單詞並不常見。）這種注意力模式似乎專門用於識別家庭姓名之間的關係。為了驗證這一點，讓我們稍稍改動一下文字：

“傑西維格是福音傳教士詹姆斯的同事。”（Jesse Vig is the colleagueof an evangelical preacher named James…）

第11層/10中心

現在由於詹姆士只是一名同事，該注意力模型就幾乎忽略“我”的姓氏。

GPT-2似乎是根據從名字中感知種族和性別的資訊以生成傳記。我們需要進一步研究來查明這種模型內部是否存在偏見。

未來是具有生成性的

就在去年，語言模型生成各種內容的能力已經大大提升，包括影象、影片、音訊和文字，以至於我們無法相信自己的感覺來判斷真假，而這僅僅是開始；這些技術會繼續發展並相互融合。很快，當我們在thispersondoesnotexist.com上盯著那些生成出來的面孔時，他們會看著我們，講述他們是如何被生成出來的，展現他們奇怪的“人造”個性。

大概最直接的危險就是混淆真實的事物與生成的事物。我們已經看過像人工智慧生成的奧巴馬和史蒂夫·布西密與詹妮弗·勞倫斯的結合體一類的影片。很快，這些深度換臉（deepfakes）技術會進入我們的個人生活。

因此，當你的媽媽打電話給你說她需要500美元匯到開曼群島的時候，你得問問自己：這真的是我媽媽嗎？還是隻是一個語言生成人工智慧程式藉助我媽媽五年前在Facebook上發的影片所生成出來的虛擬人聲呢？

未來已來。

我們一起分享AI學習與發展的乾貨

取代倒不至於，只是會方便人們的工作和學習，是共同進步，相互協助的關係吧。

現在的網路科技越來越好，人們對於寫作的需求逐漸增強，然而有時任務多，找不到寫作靈感的時候，就可以用身邊ai智慧的寫作軟體來幫助自己了，從而大大提升工作效率。

手機電腦都能用，手機是在小程式，電腦的話在網頁端https://xiezuohu.ftcxx.com就可以直接用了，無需下載，也不佔用記憶體 ，妥妥的。