科技改變生活 · 科技引領未來
科技改變生活 · 科技引領未來
【新智元導讀】GPT-3長大了，會說風涼話了，最近還為馬斯克做了一首詩，詩中懟起馬斯克的言行毫不含糊。有馬斯克這個「宇宙網紅」在的地方總有口水和笑料。最近，以他的形象為靈感來源，AI把他徹徹底底地諷刺了一通。據《經濟學人》報道，總部位于舊金
【新智元導讀】GPT-3長大了，會說風涼話了，最近還為馬斯克做了一首詩，詩中懟起馬斯克的言行毫不含糊。
有馬斯克這個「宇宙網紅」在的地方總有口水和笑料。
最近，以他的形象為靈感來源，AI把他徹徹底底地諷刺了一通。
據《經濟學人》報道，總部位于舊金山的 OpenAI 在7月中旬向藝術家 Arram Sabeti 等人提供了 GPT-3語言的早期版本，測試他的性能。
Sabeti 使用這個算法生成了這首詩，題目叫做「Elon Musk by Dr. Seuss」，
詩中寫道：
證券交易委員會說: 「馬斯克，你的推特是個污點。如果你晚上不停止發個沒完，真的會讓你丟掉飯碗/... 」
馬斯克喊道，「為什么？/我寫的推文不刻薄/我沒全用大寫/我的推文干干凈凈，無懈可擊。」
「但是你的推特可以影響市場/這就是為什么我們很惱火。你可能是個天才/也是個億萬富翁，但這不意味著你可以這么無聊! 」
感覺不押韻？讀讀英文原版你再試試？好像rap的節奏已經躍然紙上...
The sec said, Musk,/your tweets are a blight./They really could cost you your job,/if you don’t stop/all this tweeting at night./…
Then Musk cried, Why?/The tweets I wrote are not mean,/I don’t use all-caps/and I’m sure that my tweets are clean./
But your tweets can move markets/and that’s why we’re sore./You may be a genius/and a billionaire,/but that doesn’t give you the right to be a bore!
說起馬斯克和Open AI其實頗有淵源，只是最近他的關注重心都在特斯拉和SpaceX身上。
2015年，馬斯克與幾個企業家共同創立了 OpenAI，其中包括前 Y Combinator 總裁Sam Altman。馬斯克去年2月表示，他已經有一年多沒有與 OpenAI「密切合作」了。他還說他「不同意 OpenAI 團隊的一些想法。」
看來GPT-3對這個前老板很是不滿啊。
GPT-3長大了，都會說風涼話了。
「你讀的越多，你知道的東西就越多。」這句話似乎既適用于機器，也適用于蹣跚學步的孩子。
孩童對事物的理解來源于對現實世界和大人話語的模仿。模仿是語言習得最重要的方式之一。模仿不僅僅是針對字詞本身，更是對風格的模仿。
諷刺馬斯克發推的這首詩，就來自于藝術家Adam Sabeti的測試。當然不是所有的情況都是一把成，有些任務他反復試了幾次，然后選了最好的一版。「我通常不需要費什么功夫就可以讓他在一個簡單的提示下寫出令人驚訝的連貫的文本。」
成果相當驚人，包括劇本和歌詞在內生成的作品竟然頗具文學欣賞價值。
下面是一部黑色電影劇本，由Raymond Chandler（著名推理小說家）執導的，關于巫師少年哈利 · 波特的故事:
哈利 ·波特，《私家偵探》。
場景: 一個昏暗的小辦公室，清晨，救世軍的家具。有種令人骯臟的氣氛。哈利 · 波特，穿著破爛的斜紋軟呢西裝，沒熨過的襯衫，沒有擦亮的鞋子，坐在桌子后面，看上去非常憔悴、有些皺巴巴的，一副內心充滿怨恨的樣子。
在辦公室的一角，一片七零八落的陰影在外面的狂風中嘎嘎作響。哈利把一根長長的食指放在一把38手槍的槍托上，看著面前的一張照片。這張照片里面是一位身穿晚禮服的金發美女。她一手拿著雞尾酒，一手沉思地看著另一只手里的香煙。她的面頰上掛著一滴眼淚。哈利看了她好一會兒，嘆了口氣，然后放下槍站了起來。
他整理好衣服，撓撓頭，然后好像下定決心似地轉過身，拿起手槍，離開了辦公室。他穿過前面的房間，從臟兮兮的窗戶往外看。一位老婦人正在用拖把清洗外面的人行道。一個穿著灰色雙排扣西裝的年輕人靠在大樓上。哈利又嘆了口氣，走出了門。他走向那個年輕人，粗魯地給了他下巴一拳。
是不是有內味兒了？一個成年暗黑版的哈利波特躍然紙上。
再來看看GPT-3寫的霉霉版「哈利波特之歌」
哈利他戴著眼鏡
一雙明亮的綠眼睛
女孩子們總是不停尖叫
因為他有波特的秀發
即使在他超級緊張的時候
他仍然有著那「超音速」的顴骨
我不驚訝他們為你拍了一部電影
因為我隨時都想看到你
是的，哈利，寶貝，你是我最喜歡的角色
我要走一千英里
就為能見到你
哈利，哈利，你真好
我為你身心顫動
每當你微微一笑
我很樂意做你的女朋友
歌詞真的霉霉「本霉」了。
當然也有很多生成的產物只是表層信息的模仿，并沒有真正地理解。又回到了當時抨擊GPT-3無法理解人類話語的例子，「太陽有幾只眼睛？」GPT-3回答「有一只」，而沒有意識到這個問題的荒謬本質。
其實舉一個不太恰當的例子，好比浙江省高考滿分作文，堆砌了全部的華麗辭藻和高級詞匯，但是卻有些「冷僻難懂」，詞匯包括沒幾個大人能認識的「嚆」、「翮」、「嚆矢」、「濫觴」、「振翮」幾個生詞。評論紛紛稱有故弄玄虛之嫌。然而仔細想來，18歲的少年，可能不會深刻知曉什么萬物至理，無外乎是從書籍和閱讀中習得，才寫得一手好文章。
三聯撰文寫道，「浙江高考滿分作文，別用文學的標準苛求它」同樣地，GPT-3的文章也不要用人類理解能力的標準來苛責。
與此同時，GPT-3學習的過程，就和讓孩童咿呀學語的過程一樣，也要規避一定的風險性。比如說，不應該讓孩子們看到不該看的東西，GPT-3也一樣。
互聯網上的信息林林總總，當中肯定有大量「少兒不宜」的信息，Open AI是不希望GPT-3隨意習得的。比如「黑人」、「猶太人」、「女人」和「gay」等提示語往往連帶著產生種族主義、反猶太主義、厭女癥和恐同等的內容。這也是由于GPT-3基于統計方法的認知過程，及其根本性的理解缺失。研究指出，像「女人」這樣的詞經常與歧視女性的內容聯系在一起，而且很多時候這種聯系會在文本中不經意間重新出來。
這同時也是人工智能研究中的一個熱點問題。例如，眾所周知，很多面部識別系統對白人面孔的識別效果要好于對黑人面孔的識別，因為白人面孔在他們的訓練集中更為常見。去年，IBM 發布了一組訓練圖片，其中包含了更多樣化的人臉組合。
Open AI本身就是為了研究如何減輕人工智能系統帶來的風險而成立的，這使得GPT-3可能引發的失誤更加值得人們注意。它的前身GPT-2于2019年發布過一個過濾器，通過限制模型談論敏感話題的能力，試圖掩蓋偏見的問題。
GPT的初代版本其實早在2018年就已經問世了，當時包含1.17 億個參數。
用業界專家的話說，「應試成績還不錯，但是對于很多科目都需要監督式學習，東家 OpenAI 對此并不滿意，成績也沒有在業界引起特別的反響。」
正是GPT-1 開創了「先預訓練、后微調」的教學先河。
2019年，第二代已經初具自由寫作的能力，驚艷世人；如今第三代的表現更是震驚四座。
而且，大熱的GPT-3將成為OpenAI的第一個商業產品，Reddit也已經注冊成為第一個客戶。
遙想在五年前，OpenAI還是個非營利組織呢！
OpenAI由Elon Musk、Sam Altman、Ilya Sutskever、Greg Brockman、Wojciech Zaremba和John Schulman共同創立，他們共同捐贈了10億美元。
2018年，OpenAI通過博客宣布，馬斯克將離開董事會，但仍將擔任顧問和捐贈者。
當時很多人猜測，馬斯克離開OpenAI的真正原因是利益沖突。知情人士表示，「我認為他離開的主要原因是利益沖突他挖走了OpenAI的頂級科學家Andrej Kaparthy，讓他成為特斯拉的自動駕駛部門的負責人。」
不過呢，馬斯克也似乎把OpenAI的「初心」帶走了。他離開后，OpenAI開始「大轉型」，從非營利組織變為營利性組織 。
一年后，擔任SpaceX和特斯拉首席執行官的馬斯克在推特上證實，他在一年多的時間里沒有「密切」參與OpenAI。
不過馬斯克似乎沒趕上好時候。就在他走后不久，也就是在2019年，OpenAI開始盈利，并從微軟公司又籌集了10億美元來資助其研究。這是總部位于舊金山的研究實驗室從其AI模型中獲利的第一步。
用GPT-3開始盈利似乎也合乎常理，畢竟訓練他可是花了460萬美元！
經濟學人的文章認為，不久之后，GPT-3很可能會被一個更加復雜和數據饑渴的模型所取代。
有人對GPT的未來進行了描繪。「GPT-4 將會比人類寫得更好，而且，當它對自己的答案不確定時，還可以進行研究。」GPT-4作為進階版，將更有鉆研精神。
此前Open AI的論文中曾經提到，自2012年以來，要訓練一個人工智能模型在基準測試ImageNet圖像分類任務中達到同等的分類效果，所需的算力每16個月就會減少1/2。算法演進速度吊打摩爾定律。
也就是說，在過去的7年內，訓練神經網絡的效率每16個月就會翻一番。照這個速度，新一代的GPT或許會cheap&good！
MIT研究員Lex Fridman預測，訓練GPT-4預計會花費26億美元。2024年，訓練GPT-4只需要花費4000萬美元，到2032年，估計只需要花費500萬美元。
看來之后，Open AI這筆生意還挺劃算...
劉熙