[[338796]]

早在2017年就曾有研究人員問(wèn)道：“到2040年人工智能會(huì)寫(xiě)出大部分代碼嗎?”如今，OpenAI的GPT-3已被beta測(cè)試人員使用，已經(jīng)可以用任何語(yǔ)言編寫(xiě)代碼了，機(jī)器主導(dǎo)的編碼幾乎就在我們眼前。

GPT-3已接受了數(shù)千億字或者甚至是整個(gè)互聯(lián)網(wǎng)的訓(xùn)練，這就是為什么它可以用CSS、JSX、Python編碼。GPT-3不需要對(duì)多種語(yǔ)言任務(wù)進(jìn)行訓(xùn)練，其訓(xùn)練數(shù)據(jù)已包羅萬(wàn)象。反而是當(dāng)給定瑣碎的指示時(shí)，網(wǎng)絡(luò)會(huì)將自己限制在手頭的任務(wù)上。

GPT-n的演變

GPT通過(guò)將監(jiān)督學(xué)習(xí)與無(wú)監(jiān)督的預(yù)訓(xùn)練(或使用無(wú)監(jiān)督步驟的參數(shù)作為監(jiān)督的起點(diǎn))配對(duì)，在語(yǔ)言任務(wù)中達(dá)到了最先進(jìn)的水平。與其后繼者相比，GPT很小，它只在幾千本書(shū)和一臺(tái)8GPU機(jī)器上進(jìn)行訓(xùn)練。

GPT-2大幅擴(kuò)大了規(guī)模，包含了10倍的參數(shù)，并提供了超過(guò)10倍的訓(xùn)練數(shù)據(jù)。盡管如此，數(shù)據(jù)集仍然相對(duì)有限，它被專門訓(xùn)練為“來(lái)自Reddit的鏈接，它至少收到了3個(gè)karma。”GPT-2被描述為一個(gè)“變色龍一樣”的合成文本生成器，但它不像下游任務(wù)中的問(wèn)答總結(jié)或翻譯一樣是最先進(jìn)的。

GPT-3在人工智能領(lǐng)域中是里程碑式的存在，在一系列的任務(wù)中達(dá)到了最先進(jìn)的水平，其主要突破是不再需要對(duì)特定任務(wù)進(jìn)行微調(diào)。就尺寸而言，其模型再一次大幅擴(kuò)大，達(dá)到1750億個(gè)參數(shù)，是其上一代的116倍。

GPT-3根本不需要訓(xùn)練(一個(gè)零次學(xué)習(xí)的例子)，其本來(lái)就令人印象深刻的性能在一次或兩次學(xué)習(xí)之后黯然失色。

發(fā)展或滅亡

現(xiàn)在情況是：Beta測(cè)試人員正在使用GPT-3生成工作代碼，這需要一些瑣碎的知識(shí)。從按鈕到數(shù)據(jù)表，甚至重建谷歌的主頁(yè)，這些都可以通過(guò)零次學(xué)習(xí)完成。

除了人工智能的快速發(fā)展，其他兩個(gè)主要的技術(shù)趨勢(shì)正在加劇這樣一個(gè)現(xiàn)實(shí)，未來(lái)編程工作將變得不再是“鐵飯碗”：無(wú)代碼和自動(dòng)機(jī)器學(xué)習(xí)。

無(wú)代碼分析：讓每個(gè)人都成為數(shù)據(jù)科學(xué)家

無(wú)代碼是指使任何人更容易構(gòu)建新產(chǎn)品的可視化工具，無(wú)論是網(wǎng)站、設(shè)計(jì)、數(shù)據(jù)分析還是模型。Word Press、Wix和Shopify是典型的無(wú)代碼工具，這使數(shù)百萬(wàn)人不再需要雇用開(kāi)發(fā)人員或設(shè)計(jì)師，自己就能夠做事情。

第二種趨勢(shì)是AutoML，即自動(dòng)機(jī)器學(xué)習(xí)，這大大縮短了人工智能生產(chǎn)所需的時(shí)間。

AutoML會(huì)成為數(shù)據(jù)科學(xué)家的終結(jié)嗎?

類似Apteo的工具順應(yīng)了這些趨勢(shì)，使人們無(wú)需具備編碼技能都能夠部署人工智能模型。GPT-3則將引發(fā)無(wú)代碼和自動(dòng)機(jī)器學(xué)習(xí)的又一波浪潮，許多潛在的雇主會(huì)選擇這些工具，而不是雇傭昂貴的程序員。

當(dāng)然，技術(shù)含量最低的程序員將最先離開(kāi)，而專家就像在任何領(lǐng)域一樣，將享受更長(zhǎng)時(shí)間的工作保障。

不僅僅是代碼——GPT-3已應(yīng)用于任何語(yǔ)言任務(wù)

要將GPT-3引導(dǎo)到特定的語(yǔ)言任務(wù)，只需向它提供希望實(shí)現(xiàn)的示例。你可以直接用GPT-3寫(xiě)代碼，也可以直接寫(xiě)詩(shī)歌、音樂(lè)媒體評(píng)論或任何其他文本。

例如，如果想生成一篇新聞文章，可以輸入一個(gè)正標(biāo)題，如“聯(lián)合衛(wèi)理公會(huì)同意歷史分裂”和一個(gè)副標(biāo)題，如“那些反對(duì)同性婚姻的人將形成自己的派別”。

輸入這些，GPT-3產(chǎn)生以下結(jié)果：

華盛頓郵報(bào)稱，經(jīng)過(guò)兩天的激烈辯論，聯(lián)合衛(wèi)理公會(huì)已經(jīng)同意了這一歷史性的分裂——這一分裂預(yù)計(jì)將以創(chuàng)建一個(gè)新的教派結(jié)束，這個(gè)教派 “在神學(xué)和社會(huì)方面都是保守的”。大多數(shù)出席5月教會(huì)年度大會(huì)的代表投票支持加強(qiáng)禁止LGBTQ神職人員的任命并制定新的規(guī)則，將對(duì)主持同性婚禮的神職人員“予以處罰”。但是那些反對(duì)這些措施的人有一個(gè)新計(jì)劃：他們稱將在2020年形成一個(gè)單獨(dú)的教派，其教會(huì)稱為基督教衛(wèi)理公會(huì)教派……

這段文字騙過(guò)了88%的人，只有12%的人認(rèn)為這是由人工智能寫(xiě)的。

就像人類一樣，GPT-3還可以根據(jù)例句學(xué)習(xí)生詞。例如，給定語(yǔ)境：“Burringo”是一輛加速速度非?？斓钠?。GPT-3的輸出是：在我們的車庫(kù)里有一輛Burringo，我父親每天開(kāi)它去上班。

這些結(jié)果令人印象極其深刻。人工智能正在不可避免的進(jìn)化當(dāng)中，對(duì)當(dāng)前性能的任何批評(píng)都將化為其快速迭代中的泡影。

不僅僅是語(yǔ)言——GPT應(yīng)用于圖像

GPT不僅可以寫(xiě)代碼和編寫(xiě)任何東西，還可以生成圖像。相同的模型體系結(jié)構(gòu)可以在像素序列而非文本編碼上進(jìn)行訓(xùn)練，從而生成新的圖像而非文本。事實(shí)上，它非常擅長(zhǎng)這樣做，甚至可以和頂級(jí)CNN競(jìng)爭(zhēng)。

這表明，GPT(及其后繼者)不僅有可能在某一天取代編碼器，其多功能性甚至使其具有取代整個(gè)行業(yè)的潛力。

GPT-3令人驚嘆的性能讓許多人相信我們正前所未有地接近超級(jí)智能，或者至少，人工智能生成的代碼比我們想象的更接近，它能產(chǎn)生有創(chuàng)造性、有洞察力、有深度甚至是美麗的內(nèi)容，未來(lái)已來(lái)。

本文轉(zhuǎn)載自微信公眾號(hào)「 讀芯術(shù)」，可以通過(guò)以下二維碼關(guān)注。轉(zhuǎn)載本文請(qǐng)聯(lián)系讀芯術(shù)公眾號(hào)。