GPT-3(Generative Pre-trained Transformer 3)是由OpenAI開發(fā)的一種無監(jiān)督語言模，但是，OpenAI沒有發(fā)布并透明化其試驗架構(gòu)，反而是MetaAI率先開源。MetaAI（當時的Facebook）一直在其人工智能領(lǐng)域深挖細耕，皮諾多年來一直在推動人工智能研發(fā)過程中的透明度，Meta此次以這樣的程度開源其大型語言模型是一個非常大膽的舉措。
GPT-3模型架構(gòu)是基于Transformer解碼器模型，GPT語言模型中約有1750億個參數(shù)，是在生成文本段落、模擬人類對話及解決數(shù)學問題方面表現(xiàn)驚人的大型語言模型。
GPT-3模型是一個通用的預訓練生成模型，使用Transformer的Decoder-only結(jié)構(gòu)，可以用于解決下游各種類型的生成任務，特別是zero-shot生成能力。
經(jīng)過訓練的語言模型：預估將需要花費355年的GPU時間，花費460萬美元，集3000億個文本token的數(shù)據(jù)樣本，重復數(shù)百萬次的輸入輸出，微調(diào)糾錯。雖然這一語言模型，有待完善，眾說紛紜，褒貶不一，但這正是其開源的智慧和意義。
