作者 | 馬超
責編 | 伍杏玲
出品 | CSDN（ID:CSDNnews）
今日，浙江高考滿分作文《生活在樹上》突然火爆全網，由於這篇文章晦澀難懂，最初評分的老師先給出 39分，但經閱卷組複評和終審，最終給《生活在樹上》以滿分的成績。
為了節約篇幅，這裡只將這篇作文的前幾段貼出來，不知道各位讀者是否讀懂了，筆者在看完《生活在樹上》後，開始懷疑自己學習的到底是不是中文：
閱卷組指出這篇作文是值得肯定，但並不是說鼓勵大家都去寫這樣的作文，而是鼓勵大家按照自己的興趣、個性，寫出有個性化的，不是千篇一律的作文。以筆者對於AI自然語言處理的發展趨勢的了解，閱卷組的這說法值得肯定，因為像上述文章風格如此鮮明，角度劍走偏峰的文章，將是AI的優勢領域。AI不僅能寫文章，還能通過口述寫代碼呢！
在程式設計師飯碗不保了？GPT-3 最強應用發布，動動手指就自動寫代碼的神器來了，筆者介紹過基於 OpenAI 在六月份發布的最新NLP模型 GPT-3 ，而來的debuid.co網站，可通過口述英文需求，自動出現代碼，頗有10倍程式設計師的風範。
GPT-3 到底是什麼黑科技？
強大的 GPT-3
去年，微軟為了提升在AI 上的儲備，花 10 億美元投資 OpenAI，為了讓OpenAI推出高質量的訓練模型，微軟配置了由28.5萬個CPU核心、1萬個英偉達GPU核心的超級計算機，目前這台超算在全球算力榜上排名前五。其中GPT-3容量達到了45TB，參數個數有1750億的超級怪物，恰恰是由微軟提供的超算訓練而成。
為了發揮GPT-3的最大價值，OpenAI開放了對GPT-3的內測申請資格，有興趣的讀者可以到https://openai.com/blog/openai-api/申請。
OpenAI不像大多數人工智慧系統只針對單一場景提供服務，他們的API提供了一個通用的「文本輸入，文本輸出」功能，所以從這個角度上講OpenAI已經從某種程度上提供了通用人工智慧的服務了。比如OpenAI的API就完全支持用「人話」控制計算機了，而且還能根據人的指示對於指行的命令進行修訂。
能聽懂人話的伺服器出世，這對於運維工程師來說真的不是什麼好消息。OpenAI提供的API還完全可以替代很多文秘的工作，比如填寫表格時，AI可以給你建議的標題，還能自動根據給定標籤填寫好相應內容。
按照目前的趨勢發展下去，OpenAI提供的能力幾乎等同於全棧腦力勞動者，對於筆者這種以碼字和碼代碼為生的來說，對於來自於AI的王之蔑視，有「不祥預感」。現在OpenAI僅提供英文的自然語言處理能力，英文和中文在語料組織上還是有區別的。
中文NLP
從本質上，中文中的字和英文中的Word並不是同一個概念，比如中文語境下「沒錢買華為」到底是「華為太貴，因此買不起」還是「沒錢的人會選擇買華為的手機」是模糊的，中文沒有時態的變化以對語義進行進一步的提示，因此一般最新的NLP模型都需要一定的移植工作才能在中文語境下發揮出高水平。
中文文本生成已不是難事了，比如基於TransfermerXL（https://github.com/GaoPeng97/transformer-xl-chinese）的項目，在以中文詩詞進行訓練後（https://github.com/chinese-poetry/chinese-poetry），拿來寫詩的效果就不錯。
GPT-3沒有專門針對中文優化之前，筆者認為在中文領域效果最好的NLP模型是百度的 ERNIE 2.0（https://arxiv.org/pdf/1904.09223v1.pdf），這個模型試圖從 3 個層面去更好的理解訓練語料中蘊含的信息：
Word-aware Tasks: 詞彙 (lexical) 級別信息的學習
Structure-aware Tasks: 語法 (syntactic) 級別信息的學習
Semantic-aware Tasks: 語義 (semantic) 級別信息的學習
其解讀如下：
一、詞彙理解方式
知識增強蒙板策略：相較於BERT使用的mask策略, 該策略可以更好的捕捉輸入樣本局部和全局的語義信息。這點可以說是ERNIE的最大創新。
舉個例子說明：
BERT的mask策略 ：哈 [mask] 濱是 [mask] 龍江的省會，[mask] 際冰 [mask] 文化名城。
ERNIE的mask策略：[mask] [mask] [mask] 是黑龍江的省會，國際 [mask] [mask] 文化名城。
ERNIE是一個增強型的針對整個語義進行mask的訓練方式。
首字母大寫預測：針對英文首字母大寫詞彙（如 Apple）所包含的特殊語義信息，在英文預訓練中構造了一個分類任務去學習該詞彙是否為大寫，這個是在其它模型中沒有看到的訓練方法。
相關詞彙出現預測：針對一個 段中出現的詞彙，去預測該詞彙是否也在原文檔的其他 段中出現。
二、語句理解方式
亂序預測訓練：針對一個 paragraph （包含 M 個 segments），我們隨機打亂 segments 的順序，通過一個分類任務去預測打亂的順序類別。
語句距離訓練：通過一個 3 分類任務，去判斷句對 (sentence pairs) 位置關係 (包含鄰近句子、文檔內非鄰近句子、非同文檔內句子 3 種類別)，更好的建模語義相關性。
三、語法理解方式
通過判斷句對間的修辭關係更好地學習句間語義。
正如筆者前文所說Open AI提供的服務能力相當於一個全棧的腦力工作者，其執行力之強遠超人們之前的認知，趨勢不可阻擋，未來已來，與其在角落瑟瑟發抖，不如趕快擁抱AI，成為AI背後的程式設計師。