天橋腦科學研究院成立尖峯智能實驗室,“AI下一代”已在國產算力平臺上跑通
天橋腦科學研究院尖峯智能實驗室成立儀式
由天橋腦科學研究院主辦的“從腦機接口到腦機共生”主題論壇(暨中國神經科學學會腦機接口與交互分會年會)昨天在上海舉行,研究院創始人雒芊芊宣佈天橋腦科學研究院成立尖峯智能實驗室(Spiking Intelligence Lab, SIL),該非營利研究機構由中國科學院自動化研究所李國齊教授領銜。
尖峯智能實驗室“尖”在哪兒?該實驗室主張借鑑人腦這一自然界最精巧的智能載體,重點研發具有神經動力學特性的類腦大模型,將脈衝通信、時空動態編碼等計算特性與樹突神經元的精細結構深度耦合,構建一個既具備強大感知力,又擁有深刻記憶與思考能力的“全腦架構”,實現從腦科學驅動AI到AI反哺腦科學的雙向賦能。
大腦能效比GPU高10個以上數量級
在今年AI驅動科學研討會上,天橋腦科學研究院創始人陳天橋首次提出“發現式智能”理念,尖峯智能實驗室正是這一理念的重要落地載體之一。李國齊認爲,發現式智能的一個關鍵能力是神經動力學,今年,他帶領團隊成功研發出首款類腦脈衝大模型“瞬悉1.0”,標誌着我國在類腦計算與大模型融合創新方面取得重要突破。
類腦模型被稱之爲“AI的下一代”,當前主流AI模型依賴Transformer架構,訓練1750億參數的GPT-3需要1000張GPU,耗費30萬瓦。與之相對應的,大腦擁有100億億參數,能耗僅爲20瓦。因此,借鑑人腦機制將成爲突破低功耗、長序列與通用性三大核心難題的關鍵。
天橋腦科學研究院尖峯智能實驗室主任李國齊
李國齊介紹,瞬悉1.0包含7B純線性模型與76B混合模型兩個版本,創新性融入MOE架構與脈衝編碼技術,實現與主流開源生態的兼容互通。核心突破體現在三方面:一是採用線性或線性-注意力混合架構,將推理複雜度從序列長度依賴的線性增長優化爲常數級別,破解超長序列處理難題;二是通過脈衝神經網絡與事件驅動計算,使典型任務功耗降至毫瓦量級,較主流AI芯片降低1-2個數量級;三是僅用不到2%的主流模型訓練數據(160B數據量),便達到同等規模模型的性能水平,大幅降低訓練成本。
與國產GPU企業合作打通全鏈條
李國齊教授是中國脈衝神經網絡和類腦大模型研究的知名青年專家,團隊在該領域深耕十年,已攻克大規模脈衝神經網絡的規模與性能瓶頸,相關成果發表於ICCV、NeurIPS等頂會,獲2024年中國自動化學會自然科學一等獎。
瞬悉1.0的7B開源模型僅用主流大模型2%的預訓練數據,就實現了阿里千問7B 90%的性能,且訓練和推理的全過程均在國產算力上完成。與國產GPU企業沐曦科技合作,打通了國產類腦基礎模型-國產GPU算力平臺-類腦芯片的全棧式研究鏈條。
據悉,瞬悉1.0已開源7B模型並公開76B版本測試報告,同步發佈中英文技術報告。該模型不僅爲解決智能算力功耗危機提供了有效方案,更通過借鑑腦機制提升AI的通用性與泛化能力,爲後續千億級類腦大模型研發奠定基礎,標誌着我國在類腦AI領域進入國際領先行列。未來團隊將持續推進模型迭代,深化與國產算力集羣的適配優化,推動低功耗類腦智能在多場景的產業化應用。
轉型 In-House 模式成爲創造者
雒芊芊表示,成立以來,天橋腦科學研究院主要通過捐贈和聯合共建賦能頂尖科研團隊,包括與加州理工學院合作成立神經科學研究院,在中國與上海華山醫院和上海市精神衛生中心建立前沿實驗室等。
盛大集團、天橋腦科學研究院創始人陳天橋雒芊芊夫婦
尖峯智能實驗室的成立,標誌着研究院在原有“外延式”捐贈支持的基礎上,進一步增強“內部自主”的專項研發。尖峯智能實驗室是研究院首個採用“In-House模式”的研究機構,直接招募頂尖人才、自主決定研發方向,將角色從合作賦能者升級爲創造主體,加速“發現式智能”從理念到基礎理論突破再到技術成果的轉化。
作爲全球最大的私人腦科學研究機構之一,成立9年的天橋腦科學研究院堅持以超前佈局、創新思路和耐心投入支持中國腦科學研究,取得了累累碩果。尖峯智能實驗室的設立,是研究院面向全新時代,聚焦AI+腦科學的一個關鍵佈局。
據瞭解,研究院與上海華山醫院合作,設立了應用神經技術前沿實驗室,重點攻關腦機接口、睡眠、和認知衰退等前沿課題。由該院孵化的腦虎科技,現已成爲中國腦機產業的領軍企業,也是全球唯一具備運動和漢語言雙解碼能力的侵入式腦機接口公司。此外,研究院還攜手上海市精神衛生中心建立了人工智能與精神健康前沿實驗室,利用AI技術進行精神健康的篩查與診療,相關重大研究成果已在全球頂尖學術期刊和人工智能大會上發表。