作者 | 海怪
頭圖 | CSDN 下載自東方 IC
來源 | 腦極體
對於我個人來說，剛剛步入媒體圈，職業生涯就將遭遇一次非常嚴重的AI威脅。
因為GPT-3來了，而且在寫文章、編故事的能力上面比上一代更能打了。
今年5月，已經得到微軟Azure算力加持的OpenAI放出了GPT-3這個巨型NLP模型怪獸，包含1750億參數，比2月份微軟剛推出的全球最大深度學習模型Turing NLG大上十倍，是其前身GPT-2參數的100倍。
我們可以用一張圖表來直觀感受下GPT-3所處在位置，是不是有點高處不勝寒的感覺？
同時，GPT-3使用的訓練數據集也十分龐大，基於包含近1萬億單詞量的CommonCrawl數據集、網絡文本、數據、維基百科等數據，數據量達到了45TB。其訓練費用也達到驚人的1200萬美元，這已經是個人開發者和小型AI開發團隊無法輕易染指的訓練規模和成本了。
在最近大量有關GPT-3的介紹文章里，很多人都注意到的是這個模型驚人的體量和各種各樣腦洞大開的文本生成能力，不僅是寫文章、編故事、搞翻譯，還包括多輪對話、寫代碼、做數學運算、表情包配文、做表格、生成圖標等等，幾乎是在文本方面為所欲為了。
有人驚呼「真正的AI已經到來」、「GPT-3可以改變世界了」，也有人說「GPT-3是一種形象工程」、「一種赤裸裸的炫富」。
無論評價如何，人們其實都並未過多注意到OpenAI現在發布GPT-3的API接口的一大原因是推動這一技術的商業化。現在，GPT-3模型已經廣泛應用的領域當中，有哪些領域更好地進行商業化嘗試，又有哪些領域仍然差強人意，這些也許是更值得我們去探討的地方。
GPT-3到底有多厲害？
相較於之前的GPT-2，這次GPT-3有哪些明顯的進步呢？
從訓練方式來說，與之前版本並沒有什麼不同，GPT-3依舊延續之前的單向語言模型訓練方式，只不過就是訓練數據和參數有了幾個數量級的提升。但從實際的效果來看，GPT-3的嘗試至少驗證了一點，就是將一個深度神經網絡不斷增大，它確實可以變得更加的聰明。
相較於當前的BERT模型，GPT-3主要能夠解決兩個問題，一個是避免對各領域內的標註數據的過分依賴，一個是避免對各領域數據分布的過度擬合，從而調教出一個更通用、更泛化的NLP模型。GPT-3的主要目標是用更少的領域數據，還有去掉微調步驟去解決問題。
（圖源：李宏毅《深度學習人類語言處理》）
直觀來理解就是如圖所示，GPT-3就是要拿掉Fine-tune（微調）這個環節，也拿到Task-Specific的示例資料，來直接對特殊的領域問題進行回答。
基於此，研究者們使用GPT-3在不同形式下進行了推理效果的測試，包括Zero-shot、One-shot、Few-shot三種，但是這三種形式都是不需要經過Fine-tuning的。因為GPT-3選擇的是單向transformer，所以它在預測新的token時，會對之前的examples進行編碼。
那麼，測試結果如何呢？
從各領域的42項基準測試中的平均表現來看，隨著參數量的不斷加大，其正確率在不斷提升（當然有人會質疑，模型提升了10倍參數量，正確率才提升不到1倍），其中Few Shot的表現是最好的。
而在封閉式的Trivia QA問答中，GPT-3的Few-Shot的表現已經可以好過經過Fine-tuned SOTA的成績。此外在SuperGLUE測試上面也能達到超過當前SOTA的表現，以及生成非常逼真的文章，甚至能達到人類難以分辨是機器還是人類協作的程度。
那麼，在當前人們調用OpenAI開放的API接口之後，我們已經可以看到GPT-3的一系列的有趣案例了。
GPT-3現在能夠出色地完成翻譯、問答和完形填空任務，能夠很好執行兩位、三位的數學加減運算。還可以基於文本的描述生成代碼、網站。
（GPT-3將自然語言生成了代碼和圖形按鈕）
可以為文本轉換不同文體樣式，比如把口語化變為書面語，把日常語言變為法律文書。或者把繁榮的法律語言變成日常語言，比如那些長長的「用戶協議」。
（GPT-3將日常語言轉換為法律文書）
當然，GPT-3的主業更在於生成文本內容，比如段子、新聞、小說，甚至給出主題和關鍵詞，都可以有模有樣地編出一篇完整的論文。
（僅給出標題和開頭，GPT-3就完成了論文）
在和人類的多輪對話中，GPT-3表現也相當出色。比如下面這個名為Kosmopol的程式設計師和GPT-3展開了一段關於人類、AI與神的存在關係的「神秘」討論。
（聊到最後程式設計師表示，「我現在已經沒有任何疑問」）
從現在網絡上所發布出來的GPT-3的各項表現來看，GPT-3似乎在任何文本生成相關的領域都能發揮作用了。
那麼GPT-3在商業化方面的前途如何呢？
GPT-3有哪些商業化前景？
我們記得，在GPT-2發布時，OpenAI還不願意一下子把GPT2的模型完整地放出來，而是選擇擠牙膏似的一點點公布完整版本，當時的理由是認為GPT-2太過危險，會被人用來製造假新聞，用來做郵件詐騙等壞事。當然，可怕的後果並沒有發生，也許是壞人的技術能力不夠，更主要可能是應用的成本門檻太高。
這一次，OpenAI選擇了發布API接口邀請測試，而非直接開源模型的方式，同樣也有這方面的考慮。如果模型開源，一旦有人在此基礎上開發帶有危險性的應用程式，官方將很難制止。通過API方式就可以很好應對人們對技術的濫用。
與此同時，由於GPT-3如此龐大體量的基礎模型，除了少數大公司之外，很少有機構和個人能夠對其進行開發和部署，運行費用也將極其昂貴。
其實更重要一點則是，OpenAI希望通過API方式來推動GPT-3的技術商業化，未來在安全可靠、政策合規的基礎上進行相關AI產品的開發，並實現商業化的盈利。
據目前OpenAI透露，在提供API之前，就已經與十幾家公司展開了初步的商用測試。具體開放功能話，GPT-3可以在語義搜索、聊天機器人、生產力工具、文本生成、內容理解、機器翻譯等方面進行商業化應用。
比如，一家初創搜索公司Algolia正在使用GPT-3來進行自然語言的複雜搜索，具體表現在能夠將預測時間縮短到100毫秒左右，並以比BERT快4倍的速度準確地回答覆雜的自然語言問題。
在生產力工具方面，GPT-3的API可以提供更多元化的功能，比如將文本分解為圖表、表格、電子郵件匯總，可以從項目要點進行內容擴展。對於編程工作來說，程式設計師可以通過自然語言來與計算機進行對話，不必記住各種複雜命令，也能獲得自己想要的基礎代碼。
此外，像在文檔寫作中的拼寫建議、語法糾錯，以及像法律機構、律所相關工作中的判例索引，法律研究，模式化的訴訟申請撰寫，教育教學機構的教學材料輔助查找和示例，在線客服的聊天機器人等方面，都可以實現商業化應用。
這樣一看，好像GPT-3的橫空出世，不僅是讓媒體編輯（不久前微軟就開掉了一批人工編輯）直接遭遇職業危機，甚至看來很多機構的基礎文員、在線客服，甚至程式設計師也有下崗再就業的危險了？
不過，從目前GPT-3所公開展示的示例來看，這種擔憂還是有些大可不必。直接來講，GPT-3作為企業的生產力工具，更多會起到輔助性提升效率工具的作用。在任何需要進行文本的生成、資料檢索和需要啟發性的內容生產方面，都可以使用GPT-3來作為輔助工具。
比如，作家可以使用關鍵詞來獲得GPT-3提供的創意思路，來獲取靈感。公司職員和機構的文員可以用會議紀要來生成相應專業性的報告、郵件和專業文書。
在這一過程中，我們不可能說完全去掉人類的審查和訂正就直接使用和發布。顯然，無論哪個機構或個人都不會讓AI模型來承擔其發布內容的責任。當然，當一些人能夠更好地與GPT-3這樣的人工智慧工具進行高效協作，提升企業組織的生產效率，隨之而來的是企業對基礎職位人數需求的減少。從這個意義上，GPT-3作為職位大殺器的作用會間接顯現。
不過，現在的GPT-3已經能堪當大任嗎？從一些開發者測試後的反饋和一些專家的評論來看，GPT-3距離真正的商業化還有一定的距離，其中一些問題必須要解決。
GPT-3的商業化難題
當外界對於GPT-3的能力表現發出更多讚譽的時候，OpenAI聯合創始人Sam Altman則在Twitter站出來表示，「GPT-3被吹捧得太過了」。
實際上，這一表態確實很實事求是。目前GPT-3在常識問答、事實性的文本生產問題上表現尚佳，但是一旦處在反事實的或者矛盾問題的問答上面，GPT-3就會表現出一種「不懂裝懂」的幼稚化傾向。
比如，在上面這些反事實提問或者無意義的語言重複下，GPT-3就開啟了「尬聊」模式。用紐約大學副教授Julian Togelius的話來說就是，「GPT-3常常表現的像一個沒有完成閱讀的聰明學生，在考試中胡言亂語試圖矇混過關。一些眾所周知的事實，一些半真半假的事，還有一些直接的謊言，串在一起乍一看像是流暢的敘事。」
GPT-3在一些輸出上也會犯一些帶有偏向性的低級錯誤。比如有人在通過GPT-3與虛擬的賈伯斯談話中，在問到喬幫主現在身處何處，GPT-3給出的答案是「蘋果總部」，並且還報了地名。不過，大家都知道這個答案並不正確，回答說喬幫主現在活在我們心中，都比上面檢索來的答案更靠譜。
此外，OpenAI對GPT-3帶有偏見內容的輸出上更為小心謹慎，因為GPT-2就有先例，在生成一篇文章中，就有冒犯黑人女性的歧視性描述。這可能源自於訓練數據中本身含有的各類歧視內容。但如果考慮到在整理數據中剔除這些內容，需要大量的人力成本，實際上既沒有操作性，也無必要性。最終只能在輸出端，對GPT-3的這類結果進行優化改進。
這些低級的、誤導性、偏見性的錯誤，仍然會讓企業的商業應用顧慮重重。如果一旦全權交給AI來行使工作溝通、客服等工作，難免會造成企業的利益損失，或者增加諸如審核之類的經營成本。
GPT-3商業化更重要的一個難關是在性價比上面。如果GPT-3可以實現的一些自動化文本生成任務可以由更便宜、但專業性更好的AI軟體也可以辦到，那麼GPT-3的商業價值將大打折扣。也就是，如果人們嘗試用GPT-3來替代谷歌的關鍵詞搜索，但總是無法得到更全面的信息，那人們為何不用回免費的谷歌和維基百科呢？
雖然GPT-3在通用性上面的能力表現出「大力出奇蹟」的良好特性，但其如何能夠更有效地發揮商業價值，OPenAI還任重道遠，這需要在此後的模型優化中「慢工出細活」。
現在，在接受微軟的10億美元的投資之後，OpenAI的商業化進程已經提升比較急迫的日程了。依託巨大算力資源才能跑起來的AI模型必須推進商業化的腳步。
所以，GPT-3首當其衝。
總體來說，GPT-3的商業化開放有著非常積極的意義。由於這樣巨型的模型訓練是一般小企業和個人用戶根本無力承擔的，那麼API的開放可以使得這些用戶用比較少的成本付費使用AI的功能。不過從另一個角度來看，AI領域的科研壟斷也正在形成。當年在作業系統、搜尋引擎等領域形成壟斷的巨頭，如今又通過算力霸權占據了AI領域的數據富礦的基礎開採權。
我們看到，GPT-3一開始的商業化過程並不會那麼順利。但是這樣的基礎性工程，無論本身的結果如何，其在完成項目的過程中，OpenAI所取得的技術經驗和技術能力，其實是更重要的一筆財富。關鍵是GPT-3仍然是目前AI正確的前進方向。
當年，美國在阿波羅登月計劃的時候，也耗費了無數的人力和財富，其結果不過是在與當時蘇聯的「星球大戰」中贏得一個頭籌而已。不過這些浩大工程的一些副產品，諸如空間通信、材料科學、自動控制、集成電路、計算機科學方面，至今讓美國的科技和商業受益匪淺。