北京時間3月15日早間，人工智能初創公司OpenAI正式公布其最新一代人工智能語言模型GPT-4。

GPT-4是一個超大的多模態模型，升級后其可以接受圖像輸入并理解圖像內容，并且可接受的文字輸入長度也增加到3.2萬個token（約2.4萬單詞）。

雖然它在許多現實世界場景中的能力不如人類，但在各種專業和學術基準上它已經和人類水平表現相當。

(資料圖片僅供參考)

OpenAI表示GPT-4的誕生，是OpenAI努力擴展深度學習的最新里程碑。

據了解，最新的GPT-4對月訂閱費20美元的ChatGPT Plus的用戶開放使用，同時也會納入到微軟的Bing聊天機器人中。

似乎為了讓對手們望塵莫及，OpenAI還放出了一系列大招，包括技術報告，SystemCard，以及API。

不管從更新速度還是質量，看來生成式AI這場戰役，OpenAI志在必得。

01

史上最強多模態大模型，

GPT-4當之無愧

在視覺輸入方面，GPT-4可以接受文本和圖像提示，這與純文本設置并行，允許用戶指定任何視覺或語言任務。

具體來說，它在給定由散布的文本和圖像組成的輸入的情況下生成文本輸出（自然語言、代碼等）。即在包括帶有文本和照片的文檔、圖表或屏幕截圖等一系列領域，GPT-4展示了與純文本輸入類似的功能。此外，它還可以通過為純文本語言模型開發的測試時間技術得到增強，包括少量鏡頭和思維鏈提示。一起通過具體案例來感受下。

首先是強大的圖片理解能力。

更進一步，GPT-4可以理解圖表中數據的含義，并做進一步計算。

甚至可以直接把論文截圖發給它，GPT-4給出對整篇論文的總結摘要。

02

雖然強大，但GPT-4仍有局限性

盡管功能強大，但GPT-4與早期的GPT模型具有相似的局限性。通俗的來說就是會胡說八道。

雖然這仍然是一個現實的問題，但GPT-4相對于以前的模型（它們本身在每次迭代中都在改進）已經顯著減輕了幻覺問題。在OpenAI內部對抗性真實性評估中，GPT-4的得分比最新的GPT-3.5高40%。

在九類內部對抗性設計的事實評估中，OpenAI將GPT-4（綠色）與前三個ChatGPT版本進行了比較。所有主題都有顯著的收獲。準確度為1.0意味著模型的答案被判斷為與評估中所有問題的人類理想回答一致。

OpenAI在TruthfulQA等外部基準測試方面取得了進展，它測試了模型將事實與對抗性選擇的一組錯誤陳述分開的能力。這些問題與事實不正確的答案配對，這些答案在統計上很有吸引力，如下圖所示。

GPT-4基本模型在此任務上僅比GPT-3.5略好；然而，在RLHF后訓練（應用與GPT-3.5相同的過程）之后，存在很大差距。比如下面的例子。

該模型的輸出可能存在各種偏差——OpenAI在這些方面取得了進展，但還有更多工作要做。

根據OpenAI最近的博客文章，其目標是讓所構建的AI系統具有合理的默認行為，以反映廣泛的用戶價值觀，允許這些系統在廣泛的范圍內進行定制，并就這些范圍應該是什么獲得公眾意見。

GPT-4普遍缺乏對絕大部分數據中斷后（2021年9月）發生的事件的了解，并且不從其經驗中吸取教訓。它有時會犯簡單的推理錯誤，這些錯誤似乎與跨多個領域的能力不相稱，或者在接受用戶明顯的虛假陳述時過于輕信。有時它會像人類一樣在難題上失敗，例如在它生成的代碼中引入安全漏洞。

GPT-4也可能自信地在其預測中犯錯，在可能出錯時不注意仔細檢查工作。有趣的是，基礎預訓練模型經過高度校準（其對答案的預測置信度通常與正確概率相匹配）。然而，通過OpenAI目前的訓練后過程，校準減少了。

左圖是預訓練GPT-4模型在MMLU子集上的校準圖。該模型對其預測的置信度與正確概率密切相關。虛線對角線代表完美的校準。

而右圖是在同一MMLU子集上訓練后的PPOGPT-4模型的校準圖。OpenAI當前的過程對校準造成了很大的傷害。

03

不停迭代是GPT-4緩解風險的良好措施

OpenAI一直在對GPT-4進行迭代，以使其從訓練開始就更安全、更一致，工作包括選擇和過濾預訓練數據、評估和專家參與、模型安全性改進以及監控和執行。

GPT-4會帶來與之前模型類似的風險，例如生成有害建議、錯誤代碼或不準確信息。但是，GPT-4的附加功能會帶來新的風險面。為了了解這些風險的程度，OpenAI聘請了50多位來自AI對齊風險、網絡安全、生物風險、信任和安全以及國際安全等領域的專家來對模型進行對抗性測試。

他們的發現特別使OpenAI能夠在需要專業知識進行評估的高風險領域測試模型行為。這些專家的反饋和數據用于OpenAI對模型的緩解和改進；例如，OpenAI收集了額外的數據來提高GPT-4拒絕有關如何合成危險化學品的請求的能力。

GPT-4在RLHF訓練期間加入了一個額外的安全獎勵信號，通過訓練模型拒絕對此類內容的請求來減少有害輸出（如OpenAI的使用指南所定義）。獎勵由GPT-4零樣本分類器提供，該分類器根據安全相關提示判斷安全邊界和完成方式。

為了防止模型拒絕有效請求，OpenAI從各種來源（例如，標記的生產數據、人類紅隊、模型生成的提示）收集了多樣化的數據集，并在兩者上應用安全獎勵信號（具有正值或負值）允許和不允許的類別。

與GPT-3.5相比，OpenAI的緩解措施顯著改善了GPT-4的許多安全特性。與GPT-3.5相比，OpenAI已將模型響應不允許內容請求的傾向降低了82%，并且GPT-4根據OpenAI的政策響應敏感請求（例如，醫療建議和自我傷害）的頻率提高了29%。

總的來說，OpenAI的模型級干預增加了引發不良行為的難度，但這樣做仍然是可能的。此外，仍然存在生成違反OpenAI使用指南的內容的“越獄”。隨著人工智能系統“每個代幣的風險”增加，在這些干預中實現極高的可靠性將變得至關重要；目前，重要的是用部署時安全技術（如監控濫用）來補充這些限制。

GPT-4和后續模型有可能以有益和有害的方式對社會產生重大影響。OpenAI正在與外部研究人員合作，以改進OpenAI理解和評估潛在影響的方式，以及對未來系統中可能出現的危險功能進行評估。OpenAI很快將分享更多關于GPT-4和其他人工智能系統的潛在社會和經濟影響的想法。

04

強化學習和人工反饋，

是訓練GPT-4利器

與以前的GPT模型一樣，GPT-4基礎模型經過訓練可以預測文檔中的下一個單詞，并且使用公開可用的數據（例如互聯網數據）以及OpenAI已獲得許可的數據進行訓練。這些數據是網絡規模的數據語料庫，包括數學問題的正確和錯誤解決方案、弱推理和強推理、自相矛盾和一致的陳述，并代表各種各樣的意識形態和想法。

因此，當出現問題提示時，基本模型可以以多種可能與用戶意圖相去甚遠的方式做出響應。為了使其與護欄內的用戶意圖保持一致，OpenAI使用強化學習和人工反饋(RLHF )來微調模型的行為。

值得注意的是，該模型的能力似乎主要來自預訓練過程——RLHF不會提高考試成績（如果不積極努力，它實際上會降低考試成績）。但是模型的轉向來自訓練后過程——基礎模型需要及時的工程設計甚至知道它應該回答問題。

05

可預測的擴展帶來的可能性

GPT-4項目的一大重點是構建可預測擴展的深度學習堆棧。主要原因是，對于像GPT-4這樣的非常大的訓練運行，進行廣泛的特定于模型的調整是不可行的。

OpenAI開發的基礎設施和優化在多個尺度上具有非?？深A測的行為。為了驗證這種可擴展性，OpenAI通過從使用相同方法訓練但使用10,000倍更少計算的模型進行推斷，準確預測了GPT-4在OpenAI內部代碼庫（不是訓練集的一部分）上的最終損失：

現在OpenAI可以準確地預測OpenAI在訓練期間優化的指標（損失），OpenAI開始開發方法來預測更多可解釋的指標。

例如，OpenAI成功預測了HumanEval數據集子集的通過率，從計算量減少1,000倍的模型推斷：

不過有些能力仍然難以預測。例如，InverseScalingPrize是一項競賽，目的是尋找一個隨著模型計算量的增加而變得更糟的指標，而后見之明的忽視是贏家之一。

就像最近的另一個結果一樣， GPT-4扭轉了趨勢：

OpenAI認為，準確預測未來的機器學習能力是安全的重要組成部分，但與其潛在影響相比，它并沒有得到足夠的重視（盡管OpenAI受到多家機構的努力的鼓舞）。

OpenAI正在加大力度開發方法，為社會提供更好的未來系統預期指導，OpenAI希望這成為該領域的共同目標。

有意思的是，就在GPT-4發布前，谷歌方面為了迎戰微軟，宣布將一系列即將推出的AIGC功能，應用到自家產品中，而原定的發布日是本周四，也就是明天。

但timing is everything，微軟這次很明顯的殺了谷歌一個措手不及。面對強大的GPT-4，此前有過一次翻車經驗的谷歌能否應戰，十分值得期待。

關鍵詞：