用AI监督AI,OpenAI做到了用左脚踩右脚上天 – LionAI
大家好,我係阿布 🖐️
🎉 AI行業最近發生一件大事,OpenAI推出咗一個新模型CriticGPT,專門用嚟揪ChatGPT嘅錯誤。大家都知道,AI生成嘅內容好多時候都會有錯誤或者不準確嘅地方,OpenAI就諗到用一個AI來揪另一個AI嘅錯,形成一個自我監控嘅循環,聽落有啲似「用左腳踩右腳上天」嘅感覺。
CriticGPT嘅誕生,令OpenAI可以喺基於人類反饋嘅強化學習(RLHF)領域中人類訓練師嘅審查效果提升60%。OpenAI計劃將CriticGPT整合到現有嘅RLHF流程中,為訓練師提供更加強有力嘅幫助。雖然CriticGPT嘅意見唔一定每次都正確,但有咗呢個AI輔助,訓練師嘅效率可以大幅提升。
CriticGPT嘅原理 🤔
CriticGPT同過去OpenAI推出過嘅AI文本檢測器一樣,都是使用監督學習,但呢次CriticGPT用咗GPT-4嘅大數據集,並進行咗一系列有意設計嘅錯誤輸入,即所謂嘅隨機對照實驗。OpenAI首先讓人類標注員喺ChatGPT生成嘅回答裡故意植入錯誤,再讓CriticGPT檢查。
成效 🌟
CriticGPT嘅表現令人驚喜喺於,喺發現有意插入嘅BUG上,CriticGPT嘅識別率達到75%,而人類訓練師平均只能找到25%。就算評估自然出現嘅BUG,63%時間人類訓練師更傾向選擇CriticGPT嘅結果。CriticGPT仲識別出數百個ChatGPT原本被認為係”完美”嘅結果裡嘅錯誤。
未來展望 🌐
CriticGPT最大嘅價值,喺於突破咗RLHF嘅上限。RLHF理論上係大語言模型及多模態大模型嘅基礎,但RLHF嘅上限喺人類智能嘅上限。有咗CriticGPT之後,大模型嘅邊界將唔再受限於人類認知,為未來實現更高智能嘅AI奠定咗基礎。
大家好,我係阿布 🙋♂️
- 🎯 新模型CriticGPT專門用嚟揪ChatGPT嘅錯誤。
- 🔍 CriticGPT嘅誕生令訓練師審查效果提升60%。
- 📈 CriticGPT喺發現有人為植入嘅BUG識別率達到75%。
- 🔬 CriticGPT突破RLHF嘅上限,為未來實現更高智能AI奠定基礎。