一個27歲的AI研究員從Anthropic辭職了,因爲他擔心AI會導致人類滅絕。

來源: 更新:

昨天呢,我在X上看到了一條流量已經過了1億的帖子。

講道理,我在X上已經很久很久沒有見過這種流量的帖子了。

發帖的人叫Jacob Coxon。

剛剛從Anthropic辭職。

他說,過去三年,他先後在OpenAI和Anthropic做大模型預訓練。

然後現在,他不幹了。

原因也非常離譜。

因爲,他覺得OpenAI和Anthropic正在朝着能夠自我改進的超級智能一路狂奔。

並且,拿着所有人的生命下賭注。

他甚至說,真正參與制造這些前沿AI的人裏面,有不少人私下裏真的相信:

如果事情最後失控,人類可能在這個十年結束之前滅絕。

我第一反應其實是:

這哥們誰啊?不會又是哪個營銷號吧......

然後就驗證了一下,發現人確實是真的。

這哥們今年27歲,英國人,數學出身。

2016年和2017年,他連續進入英國國際數學奧林匹克競賽隊伍,後來進入劍橋大學Trinity College學數學。

2021年,他參與過一篇發表在eLife上的醫學統計論文,用貝葉斯方法研究結核性腦膜炎患者的基因型和生存率之間的關係。

2023年左右,加入OpenAI,GPT-4o的官方貢獻者名單裏,就有Jacob Coxon。

到了GPT-4.5,OpenAI更是直接把他列爲了核心貢獻者。

然後就是今年。

他從OpenAI去了Anthropic,工作依然做最核心的預訓練。

但是沒幹多久,感覺是在不太行了,沒辦法違背自己的意志,就把工作辭了,然後在X上發了這些警示。

甚至《華爾街日報》還報道他說,以後這哥們甚至想離開AI行業了,再也不幹了。

然後這帖子發出來以後,Anthropic的對齊負責人直接站出來支持Jacob了。

他說,小哥是對的,而且10年內發生的概率,大於10%。

還有另外一個Anthropic裏面做安全研究的,也站出來以“個人身份”支持Jacob。

而且按照他的觀察:

在AI公司裏面,職位越高的人,往往反而越擔心這個問題。

甚至剛剛離開Anthropic、之前負責可擴展監督的Joe Benton,也說Jacob對整個行業現狀的描述,確實是準確的。

當然,這些依然只是他們對於未來風險的判斷。

沒人知道10%到底對不對。

不過我在看完他們發的內容,還有看完了很多評論以後,突然感覺到了一種荒誕感。

這個荒誕感源於我在11年前看過的一篇文章。

然後直到今天,都印象極其極其深刻,甚至這篇文章,我最近每年還會再去讀一遍,常讀常新。

這就是2015年1月Tim Urban寫的一個長的喪心病狂的文章:

《The AI Revolution》,翻譯過來,就是《人工智能革命》。

它分爲上下兩章,第一章叫:

通往超級智能之路。

第二章叫:

我們的永生,或者滅絕。

我到現在還記得,2015年我作爲一個學生,在知乎上讀完了這兩篇長文的翻譯版之後,對於我那幼小的心靈和淺薄的認知所產生的巨大的衝擊。

真的被震撼了非常非常非常久。

因爲那篇文章最後提出了一個極其簡單、極其粗暴、又極其宏大的判斷:

如果人類最終真的造出了遠超自己的超級智能。

那它只會把人類文明狠狠推向兩個方向:

一邊是滅絕。

另一邊是永生。

沒有其他解。

然後昨天,在Jacob發了那個帖子之後,我又把這篇文章翻出來,讀了一遍。

我忽然覺得。

我們好像真的站在了那篇文章的時間延長線上。

甚至有一點,一切皆命定的感覺。

Tim Urban當時先講了一個特別經典的東西。

就是人類這個物種,很難真正理解指數增長。

因爲我們的腦子天然喜歡線性推演。

今天比昨天多一點。

明天大概也比今天多一點。

可文明的發展經常完全不是這個樣子,這纔是很多時候,文明的圖景。

站在那個轉折點,看起來可能很刺激。

但你得知道,站在時間圖上的人,其實根本看不到右邊有什麼。

所以,這纔是站在這裏的真實感受:

多麼殘酷的現實。

Tim Urban也舉了一個特別有意思的例子。

假如你穿越回1750年,隨便抓一個人,把他帶到2015年。

讓他看看飛機、高速公路、智能手機、互聯網、衛星、核武器、空間站之類的高科技玩意。

這個人可能會覺得自己直接進了仙界,直接就,嚇尿了。

可如果1750年這個人,也往前穿越同樣的265年。

去1485年抓一個人回來。

那這個時候,1485年的那個人,震撼可能就會小很多。

再往前,爲了獲得同樣的文明落差,可能需要跨越上萬年。

Tim Urban給這種足以把古代人腦子幹宕機的文明進步,起了一個很好玩的名字:

DPU。

Die Progress Unit。

大概意思就是,“一份足夠把古代人震撼死的科技進步”。

以前攢一份,可能要1萬年。

後來只需要幾百年。

再後來,幾十年,然後,越來越快。

2015年我第一次看的時候,感觸還不是很深。

直到2026年的今天重新看。

Emmmmmmm。

我們這代人,好像已經開始親自體驗這個東西了。

2022年,ChatGPT出來,大家發現AI居然能像個人一樣聊天。

2023年,GPT-4出來,我們發現,原來這叫多模態大模型。

然後,以o1爲代表的推理模型。

Claude Code。

Codex。

Agent。

一個接一個。

應接不暇。

到了上週,GPT-6 Astra已經可以像人一樣操作電腦,自己打開Blender、Houdini、Unity、Excel,在陌生軟件裏面找按鈕、試錯,然後幾個小時一直幹下去。

更別提學術那邊。

5月份,一個OpenAI模型直接推翻了一個研究了80年的Erdős離散幾何猜想。

9月4日,Anthropic拿Claude花11天,把費馬大定理變成了一個1300萬行、可以被計算機逐行檢查的形式化證明,這活人類原本估計可能要幹十年。

還有最近飽受爭議的,OpenAI極限88小時解決的千禧年難題。

這個世界,好像越來越科幻了。

當然,最核心的還是另一件事,也是Jacob最擔心的那件事:“自我改進的超級智能”。

2015年。

Tim Urban問:

如果AI有一天開始幫助人類研究更強的AI,會怎麼樣?

2026年2月。

OpenAI在GPT-5.3 Codex發佈的時候說:

這是他們第一個在創造自己的過程中發揮關鍵作用的模型。

現在幾乎稍微強一點的模型,都會在訓練階段有AI的參與。

這種感覺真的非常奇妙。

像是十一年前有人在霧裏面,用光射出了一條虛線。

當時大家都不知道那根線會通向哪裏。

十一年以後,我們低頭一看。

自己,居然真的走在上面。

那篇文章後面還有一個我到今天都記得的東西。

智能階梯。

Tim Urban說。

人類特別容易低估超級智能。

因爲我們習慣把“更聰明”理解成:

普通人、聰明人、天才、愛因斯坦、超級AI之類的區別。

好像大家都在一個很窄的區間裏面。

可你換一個參照物。

事情就會突然變得特別恐怖。

比如,黑猩猩和人類。

從整個生物智能尺度上看,黑猩猩和人其實只隔了一點點。

可就這一點點。

一邊只會拿樹枝捅白蟻窩或者蹭蹭樹。

可另一邊,發明了微積分、量子力學、互聯網等等,甚至,還能飛出地球。

所以如果人類上面,還有一個比我們高一兩個認知臺階的東西,那可能已經很難理解了。

可如果再往上呢?

Tim Urban當年寫。

一個足夠高階的超級智能看我們。

可能就像我們看螞蟻。

甚至它想給我們解釋一個最簡單的概念,我們都未必有理解那個概念所需要的認知結構。

這也是爲什麼那篇文章最後一定會走到:

Intelligence Explosion。

智能爆炸。

假如有一天,AI真的達到頂級AI研究員的水平,那它最有價值的工作之一。

很自然就是:

繼續研究AI,幫助人類把下一代模型做得更聰明。

下一代更聰明以後,又更擅長研究下一代。

於是。

智能變強。

製造更強智能的能力也一起變強。

然後形成一個正反饋。

這東西2015年看起來。

真的很科幻。

可2026年的我已經沒法像十年前那樣,純粹把它當科幻看了。

因爲在各個模型廠子裏,最原始的反饋迴路,已經形成了。

當然,今天離真正意義上的遞歸自我改進還很遠。

GPT-6不會自己造出GPT-7,然後GPT-7半夜醒過來,再自己訓練GPT-8。

但那條邏輯鏈最早的幾環,已經可以看見了。

於是我就會產生一種很奇怪的宿命感。

好像只要人類真的把“智能”這顆種子種出來,後面的事情就天然擁有一種巨大的慣性。

更聰明的AI,可以創造更大的經濟價值。

更大的經濟價值,吸引更多資本。

更多資本,買更多GPU。

更多的GPU,訓練更強的AI。

更強的AI,又開始反過來幫助人類製造更強的AI。

公司之間還在競爭。

國家之間也還在競爭。

你不做,那別人也在做。

你不往前,那沒辦法,別人往前,你跑不跑。

最後整個文明像一條越來越陡的河。

所有人都知道水流越來越快。

可沒有任何一個人或者一個羣體,能真的握着整個世界的航向。

而Tim Urban那篇文章真正讓我記了十一年的。

就是那個水流盡頭的畫面。

他引用Nick Bostrom的概念。

說,地球歷史上出現過無數物種,然後,幾乎全部消失了。

滅絕好像就是一種吸引子狀態,一旦掉進去,你就再也回不來了。

可超級智能可能第一次給生命打開另一種吸引子。

Species Immortality。

物種永生。

Tim Urban畫了一根平衡木。

人類一直走在上面,你只要一直走,那一定某一天。

小行星、瘟疫、戰爭、某種我們自己創造的技術等等。

就可能把我們撞下這個平衡木。

而超級智能出現以後。

我們可能就經歷最狠的一次撞擊。

一邊,是所有物種最終都熟悉的終點。

滅絕。

另一邊。

卻是地球生命從來沒有抵達過的地方。

永生。

這就是2015年那篇文章我覺得至今最迷人的地方。

它把所有關於人工智能的問題,幾乎都壓縮到了文明尺度。

我們今天天天討論。

AI會不會搶程序員工作。

設計師怎麼辦。

那個公司可能會贏等等等等。

但是如果時間拉到足夠長以後,AI這個人類最大的賭局,究竟能不能讓我們這個物種,第一次,讓生命擺脫死亡這個終極規則。

但如果賭輸了,那只有一個結局。

滅絕,甚至是,加速滅絕。

所以看到這,你就可能理解,爲什麼開頭,Jacob Coxon在研究了這麼久AI以後,會辭職,會在X上,發出這樣的帖子。

當然,我也能理解。

爲什麼還有那麼多人明明擔心,卻依然選擇留在實驗室裏面繼續研究。

因爲這東西的另一面,真的太誘人了。

AI今天已經開始參與數學發現。

開始進入藥物研發、開始分析人類基因組、開始暴力研究新材料、開始操作實驗和軟件,開始加速人類世界的一切。

如果這條曲線繼續往前。

再給它3年、5年。

會發生什麼?

我不知道。

也可能沒有人知道。

但我有時候會覺得,人類造AI這件事。

甚至已經慢慢超出了一個普通技術產品的範疇。

它很像一個物種,第一次試圖製造一個比自己更聰明的東西。

這到底是人類文明最偉大的一步。

還是我們從罐子裏抽出的那顆人類最後的黑球。

我不知道。

我只是這個時代裏,一葉隨波逐流的小舟。

我每天都用着AI,感受着AI帶給我的便利,覺得AI實在是太好玩了。

然後偶爾,像昨天這樣,重新翻開一篇十一年前的文章。

纔會突然從每天雞毛蒜皮的Benchmark、Token、Agent裏面抬起頭。

看一眼這條河到底流向哪裏。

這個問題太大了。

但如果讓我選。

我當然希望Tim Urban那根平衡木。

最後把我們撞向另外一邊。

我希望癌症有真的消失的那一天。

希望衰老成爲一種可以治療的疾病。

希望我喜歡的人不用離開。

希望人類可以長命千歲。

希望我們走出太陽系奔赴那遙遠的半人馬星系。

希望某一天。

今天那些關於AI毀滅人類的文章。

都變成歷史上的杞人憂天。

如果最後。

AI真的能幫助人類,跨過那根幾百萬年來,沒有任何物種能跨過去的平衡木。

讓生命第一次擺脫疾病、衰老、隨機災難和死亡的束縛。

那它就一定會成爲整個人類歷史上。

最偉大的事情。

沒有之一。

作者:卡茲克

本文經授權轉載自 數字生命卡茲克ID:Rockhazix),如需二次轉載請聯繫原作者。歡迎轉發到朋友圈。

點個“小愛心”吧

相關推薦
請使用下列任何一種瀏覽器瀏覽以達至最佳的用戶體驗:Google Chrome、Mozilla Firefox、Microsoft Edge 或 Safari。為避免使用網頁時發生問題,請確保你的網頁瀏覽器已更新至最新版本。
Scroll to Top