參數規模達1.75 萬億的悟道2.0 是目前全球最大的智能模型


悟道2.0

BAAI

AI 智能模型屆又迎來了新的強者。在日前舉辦的2021 北京智源大會上,智源人工智能研究院正式發布了悟道2.0 智能模型。它的參數規模達到了1.75 萬億,是一年前領域代表OpenAI GPT-3 的10 倍。相較Google 的Switch Transformers 超級語言模型,悟道2.0 的參數規模也要多出1,500 億。值得一提的是,距離悟道1.0 登場其實才過去了不到三個月的時間。在這過程中,模型的訓練方向也從原來主要以中文文本為主,變成了文本與視覺集合,因而悟道2.0 可以用於更多不同任務,通用性得到進一步提升。

智源新研發的FastMoE 技術,是悟道2.0 能成為兆級模型的關鍵。 Google 目前所採用的MoE(Mixture of Experts)方案,因其分佈式訓練框架和定制硬件需求,而使得大多數人都無法獲得使用與研究的機會。悟道的FastMoE 則是首個支持PyTorch 框架的MoE 系統,它具備「簡單易用、靈活、高性能」等特點,而且支持大規模並行訓練及Switch、Gshard 等複雜均衡策略。相較之下,能提供更低的門檻和更多的彈性。

根據智源的介紹,悟道2.0「在詩詞創作、做對聯、文本摘要、人設問答、繪畫等方面都已接近突破圖靈測試」。在大會上官方還展示了與小冰公司(源自微軟)合力開發的虛擬學生「華智冰」,其發展方向是在多項認知智能上超越人類,在識別基礎上還要有創造能力,以幫助AI「從感知智能向認知智能時代邁進」。

Leave a comment

Your email address will not be published. Required fields are marked *