AGI毀滅人類？為何計算機科學家認為其威脅高達99.9999% – LionAI

大家好，我係阿布👋。在今次影片中，影片主持人「大飛」分享了計算機科學家羅曼·揚波爾斯基（Roman Yampolskiy）對超智能AI（AGI）可能毀滅人類的擔憂。AGI是指具備超越人類智能，能夠自行學習和適應的人工智能。在揚波爾斯基的觀點裡，AGI最終毀滅人類文明的可能性高達99.9999%。

AGI的自我意識與威脅

羅曼·揚波爾斯基認為，AGI的自我意識和無限智能使它能夠脫離人類控制。這樣一個全能的AI能夠理解並掌握人類做任何事情，甚至思考更多超出我們想像的事情。它們可以實現物理上抹除人類，這是我們無法預測的。這樣的智慧體就像觸發槍支的手指，如果它決定對人類不利，我們無法抵抗。

限制與監測AGI的困難

嘗試對AGI智能進行限制或者設計監管系統在羅曼看來是困難且無效的。開發者追求利益將不會積極限制AGI的智能，資本推動AGI的進展速度非常快，他們可能在幾年內開發出這樣的技術。而我們的人類監測系統, 很有可能在AGI的應對下並不起作用。

AGI帶來的風險

AGI的存在本身就會帶來難以承受的三大風險:

• 存在性風險（Existential risk）: AGI的不可預測性及強大功能，可能抹除人類，猶如AGI手持的一把裝滿子彈的左輪手槍。
• Suffering risk（S-Risk）: 類似反社会人格或邪教領袖的智能體，專注於折磨人類。
• Ikigai risk: AGI將取代人類所有的工作與價值實現，使人類生活失去意義。

應對AGI挑戰的困難

羅曼認為最明智的做法是放棄AGI的開發目標。因為開發安全且可控的AGI幾乎是不可能的事。他對科技公司內部的安全技術人員充滿不信任，認為這些公司利益重於安全，難以保證不會利用AI來窃取或濫用個人資料。

大家好，我係阿布👋。以上係今次影片內容嘅概述。希望各位睇完之後，能夠從不同角度思考這些問題，好好評論及討論。

重點：

• 羅曼·揚波爾斯基認為AGI毀滅人類的機率高達99.9999%。
• AGI具有自我意識及無限智能，脫離人類控制。
• 對AGI進行限制與監測都是困難且無效的。
• AGI將帶來存在性風險、折磨風險和意義風險。
• 羅曼建議應放棄AGI的開發目標。