【科技聯播】李彥宏剛說完“開源是智商稅”,扎克伯格就開源了

來源: 更新:

新聞快快報,故事慢慢聊~ 這裏是全新專欄:【科技聯播】SCI-TECH NEWS

從今天開始,我們會爲大家從海量的科技新聞中精挑細選出最亮眼的幾條,並且深入聊聊背後的故事。

如果你平時很忙碌,但又不想錯過任何重要的科技動態;又或者覺得簡單的新聞播報不解渴,希望獲得深度解讀;那麼這個新專欄正是爲你量身打造。以下是第 1 期主要內容速覽:

01 AI 的未來:開源 OR 閉源

02 大模型 VS 小模型

03 原始節肢動物化石新發現

04 深海大祕寶——海底製氧機

01

AI 的未來:開源 OR 閉源

7 月 29 日,在美國丹佛舉行的第 51 屆 SIGGRAPH 圖形大會上,黃仁勳和扎克伯格進行了一次對談。在對談中,扎克伯格表達了自己對開源軟件價值的認可以及對封閉系統的厭惡。這讓 AI 模型是否應該開源的問題又一次成爲焦點。

黃仁勳與扎克伯格的對談

小扎講話雖然發生在千里之外,但尷尬的卻是百度 CEO 李彥宏。

因爲僅僅在 20 多天之前,李彥宏就在曾經直言說“開源其實是一種智商稅”。他也分享了自己如此斷言的依據,因爲“今天這些閉源模型,無論是 ChatGPT 還是文心一言,以及其他各種各樣的閉源模型,它的平均水平,一定是比這些開源模型更強大,推理成本一定是比開源模型更低。”

在 2024 世界人工智能大會(WAIC)期間, 李彥宏在對談時提及“開源是智商稅”

可是就在李彥宏發言後沒多久,7 月 24 日 Meta 就發佈了他們最新的大語言模型 Llama3.1。其中的 405B 版本,在 150 多個基準測試集中追平甚至超越了最新版的 GPT-4o。

發佈的同時還公開了近 100 頁詳細論文,幾乎涵蓋了從預訓練數據到推理策略等等,從 0 創造一個 Llama 3.1的所有過程。小扎也親自寫文章稱,開源 AI 纔是前進的道路。

Llama 3.1 (簡稱爲Llama 3)模型 92 頁長論文

這並不是 Meta 第一次自己的 AI 模型了。在 2023 年 2 月,僅在 ChatGPT 公佈 3 個月之後,Meta 就開源了 Llama-1模型的源碼。又過了 5 個月,Llama-2 模型也被開源,除了性能有大幅提升之外,還修改了開源協議,其他企業修改 Llama-2 模型後也可以用於商用。因爲有着非常靈活的許可協議,許多沒有能力從0開發自己模型的中小企業都選擇了使用 Llama-2進行微調,以此來滿足自己的商業需求。

除了 AI 模型,還有基於 Python 語言的深度學習編程框架 PyTorch、用於前端開發的 JavaScript 工具庫 React ,也都是 Meta 的開源項目。這些項目在相應的領域裏也都是鼎鼎大名。

在今年 2 月份的時候,關於 AI 模型是否應該開源就引起過討論熱潮。當時埃隆·馬斯克起訴 OpenAI 和兩位創始人,稱他們將商業利益置於公共利益之上,違反了公司的創始合同,並嘲諷 OpenAI 應該將名字改成 ClosedAI。

雖然在 6 月份馬斯克沒有理由地撤銷了起訴,但是在 8 月 4 號馬斯克又再一次以相同的理由提起了訴訟。

馬斯克起訴 OpenAI 和兩位創始人

OpenAI 之所以叫 OpenAI,就是在 2015 年前後,谷歌在 AI 領域一家獨大。於是包括馬斯克在內的一衆創始人爲了防止科技巨頭壟斷 AI 技術,創立了 OpenAI ,希望以公開和非營利方式對抗巨頭的壟斷。

現在 OpenAI 的運營方式的確違反了當時的初衷,但是馬斯克訴訟的行爲並不代表着他打心底認可開源理念。畢竟,他當初退出 OpenAI 的原因之一,就是希望 OpenAI 可以和自己的公司合併,讓 OpenAI 能完全在自己的領導之下。而 OpenAI 的其他創始人沒有同意。

這難免不會讓人想起那個段子,一個人寧願捐 100 萬,也不願意捐 2 頭牛,因爲他沒有 100萬,但是真的有 2 頭牛。如果馬斯克真的掌握了 OpenAI 可能就會有另一套說辭了。

相比來說,小扎對開源的支持就要言行一致得多,也真誠得多。

當然,這並不是說扎克伯格因爲無私才支持開源的,歸根究底還都是從各自的商業利益最大化的角度進行考慮。

就像是開源的 Android 系統和封閉的 iOS 系統,它們都很成功,有差異的只是實現目的的策略。

開源的 Android VS 閉源的 iOS

扎克伯格也明確表達過,Meta 之所以會開源 Llama 模型,一個非常重要的原因就是他們的商業模式並不是靠銷售 AI 模型去盈利。

李彥宏更加支持閉源模式,這本來只是一種選擇商業策略的傾向,原本無可厚非。但是他以一種優越者的心態將開源和智商稅直接劃上等號,這種簡單粗暴的論斷顯現出來的可能就是一種傲慢了。古希臘哲學家希爾泰提醒我們“傲慢始終與相當數量的愚蠢結伴而行”,希望李總僅僅只是傲慢。

02

大模型 VS 小模型

在 7 月 31 號,Google 也開源了他們的 Gemma 2 2B 模型。這裏的2B 代表模型的參數規律。2B 就是 2billion,20 億的縮寫。

Gemma 2 2B

其實在 6 月底的時候,Gemma 2 9B 和 27B 版本的模型就已經開源了。這次 2B 版本的開源更是引起了廣泛的關注。

已開源的 Gemma 2 9B 和27B

模型參數規模的大小一度是體現 AI 模型能力的重要指標。GPT-2 只有 1.5 億個參數,GPT-3 據估計已經可以達到 1750 億的參數規模,到了 GPT-4 更是可能到達了 1.76 萬億的參數規模。這也是人們習慣將這樣的模型稱爲大模型的原因。

隨着參數規模的增加,帶來的不只是 AI 模型能力的提升,還有完成推理任務時需要的存儲空間和算力資源。所以一個可行的 AI 服務,往往只能依託於龐大的服務器集羣。

如何讓 AI 模型擺脫對網絡和服務器的依賴,僅僅在個人電腦和手機就可以流暢運行。這個問題最近也開始被逐漸重視了起來。

縮小模型參數規模勢在必行。Gemma 2 2B 雖然只有 20 億參數,安裝在本地也只需要 1G 多的存儲空間,但是 Gemma 2 帶來效果並不差。Google 宣稱,Gemma 2 2B 在很多方面都超越了 GPT-3.5 Turbo。GPT-3.5 Turbo 是很長一段時間 ChatGPT 可以免費使用的模型。

因爲 Gemma 2 2B 的規模很小,所以完全可以運行在 iPhone 15 這樣的手機終端上,不需要聯網就能達成和 GPT-3.5 Turbo 差不多的功能。

Gemma 2 2B 可以運行在手機終端

Gemma 2 2B 可以用更小的參數規模實現更強的能力,源於它應用了一種叫知識蒸餾的技術。通過這種技術,一個小模型的訓練過程,就不再是投餵海量數據進行訓練了。而是通過訓練模仿一個已經訓好的大模型,讓小模型的輸出結果儘可能和大模型一致。

訓練大語言模型就像是科學家做科研,要能夠從各式各樣的實驗原始數據中篩選出有效的數據,然後再觀察數據之間的聯繫,從中尋找出通用規律。這是一種從 0 到 1 的突破,其中會有大量的無效試錯被放棄。

而訓練一個小模型,就相當於直接去讀已經發表出來的論文,有了明確的方向,可以省掉許多無效的試錯,用很小的成本就將結果復現出來。

03

原始節肢動物化石新發型

7 月 31 號,一項關於古節肢動物起源的文章發表在自然雜誌上。節肢動物是動物界中除了脊椎動物以外,分佈最廣且最爲常見的類羣,昆蟲、蜘蛛、蝦蟹,它們全都是節肢動物。關於脊椎動物的起源問題,我們團隊出品的《尋祕自然:地球往事》科普電影就有過介紹,所有脊椎動物都起源於魚類,最早可以追溯到寒武紀生命大爆發。

不過關於節肢動物的早期形態和演化歷史,科學家們一直知之甚少。

這項研究的化石來自雲南永善縣,與著名的澄江生物羣處在相同的地質板塊中,化石距離現在大約 5 億年,它清晰地展現了一種節肢動物幼蟲的內部和外部解剖結構。這隻幼蟲外形生動,內部器官保存極爲完整,甚至連神經系統、消化系統和循環系統都清晰可見。

科學家給這塊化石上的蟲子起的名字也非常簡單直接,就是“幼體”和“原始”兩個詞的漢語拼音,Youti yuanshi。

Youti yuanshi 的內外部結構

這塊化石的發現,對於理解節肢動物的起源和早期演化具有里程碑式的意義。首先,原始幼蟲的神經系統結構展示了早期節肢動物的大腦和神經器官的形態,循環系統揭示了 5 億年前的節肢動物的血淋巴循環系統已經足夠複雜。此外,科學家還在原始幼蟲的胃裏找到了動物性食物,確認了它們的食性。

原始幼蟲的發現,不僅豐富了我們對寒武紀生物的認識,也幫助科學家們補上了早起節肢動物演化歷史中的一塊重要拼圖。原始海洋的含氧量是促進生命演化的重要動力,原始幼蟲的內臟器官,也爲它所在的寒武紀海洋的含氧量水平提供了化石依據。

04

深海大祕寶——海底製氧機

我們呼吸的氧氣,至少有一半都來自於海洋。以前的主流觀點認爲,海洋中藻類的光合作用是製造氧氣的主要途徑。近期的一項科學研究發現,深海海底還有一種我們以前完全不瞭解的產氧機制。

蘇格蘭的生態學家安德魯·斯威特曼發現,在太平洋海底中存在着一種金屬結核,它是深海海水溶解了金屬鋰、鈷、銅等元素後在貝殼或碎石上析出形成的。這種金屬結核有像電池一樣的結構,能把海水電解成氫氣和氧氣。

海底錳結核礦區

錳結核中含銅、鈷等元素

一些礦業公司已經躍躍欲試想要在海底開展采礦業務,但有環境學家警告說,這種金屬結核可能需要上百萬年才能形成,一旦破壞,可能對海水含氧量造成不可逆的影響,甚至造成生態災難。這些金屬結核看起來比原始森林更加珍貴。來自 44 個國家的 800 多名海洋科學家已經簽署了一份請願書強調環境風險,並呼籲暫停採礦活動。

這就是本期的幾條科技新聞,請保持關注,我們下期再見。

相關推薦
請使用下列任何一種瀏覽器瀏覽以達至最佳的用戶體驗:Google Chrome、Mozilla Firefox、Microsoft Edge 或 Safari。為避免使用網頁時發生問題,請確保你的網頁瀏覽器已更新至最新版本。
Scroll to Top