AI Infra 1.0 啟幕:京東雲全棧AI產品支撐深度應用落地

11月20日,京東雲城市大會在南京舉行。會上,京東雲展示了joyai大模型落地行業的領先技術和應用實踐,持續升級joyagent智能體等五大平台,以及四大行業解決方案。京東集團技術委員會主席、京東雲事業部總裁曹鵬表示,大規模應用爆發,也將推動ai基礎設施邁向標準化,ai infra 1.0已開啟。

AI Infra 1.0 啟幕:京東雲全棧AI產品支撐深度應用落地 -

大模型應用爆發,ai native基礎設施亟待建立

隨着ai應用深入,對基礎設施帶來了一系列全新的技術挑戰。過去基礎設施的核心標準是安全穩定,極致性價比,隨着深度應用快速滲透核心業務場景,應用規模的持續擴大,原來以cpu為中心的架構,越來越難以滿足高並發、低延遲的ai業務需求,這種變化體現在如下幾個方面。

AI Infra 1.0 啟幕:京東雲全棧AI產品支撐深度應用落地 -

在算力基礎設施方面,架構已從cpu主導轉向cpu+gpu協同模式,需以gpu為核心重塑基礎設施。國內還面臨多樣gpu型號帶來的硬件異構兼容難題,需要一套高效混合計算平台,實現跨硬件的統一資源管理、調度與彈性伸縮。

在數據與模型方面,圍繞開源模型的定製化需求持續激增,企業內部私有數據的安全接入、合規使用成為核心痛點。ai 全生命周期(開發、訓練、部署、調度)的高效流轉,需依託成熟的模型開發平台提供端到端支撐。

在agent與垂直應用方面,應用場景向細分領域深度滲透,agent的快速開發、輕量化部署及與算力/模型平台的無縫協同,需要靈活的agent開發平台來提供支持。

ai infra 1.0開啟,京東雲全棧ai產品支撐深度應用落地

按照ai infra1.0的標準,京東雲已經形成了全棧大模型產品和服務,來支持大模型的部署及應用,從底層的基礎設施,到中間的模型服務和工具,再到agent應用開發。這些產品經歷了京東集團大模型落地檢驗,也在服務眾多行業客戶。

面向ai算力需求,京東雲作為在行業里最早大規模部署混合算力的雲廠商,擁有超3700萬核容器集群,歷經618、雙11、春晚等極限場景檢驗,建立起行業最領先的混合算力技術儲備,這些優勢在京東雲joyscale ai算力平台中充分體現,平台不僅跟華為昇騰、海光、寒武紀等國產芯片深度合作,而且實現從內核層統一調度英偉達及國產芯片,為企業提供高效自主的算力管理。

AI Infra 1.0 啟幕:京東雲全棧AI產品支撐深度應用落地 -

在模型訓推方面,得益於自研的推理引擎,京東雲joybuilder模型開發平台,實現極致性能,訓推全面提速。joybuilder內置超百種開源模型和多樣化數據集,提供100多種算法和組件,可以幫助客戶根據自身業務特徵,快速開發專屬大模型,並基於豐富的開發工具,打通多模態數據湖倉,在提升實時推理響應的同時,大幅降低使用成本。

除了模型和算力,數據作為人工智能三要素之一,數據的安全合規是決定ai應用效果的關鍵。京東雲基於多年數據安全技術沉澱,打造了安全可信數據空間,100%採用國密算法,實現全鏈路加密防護,通過安全可信加工能力,在“可用不可見”的安全沙箱中使用,確保數據流通的安全可靠。

此外,面向agent應用,京東雲將joyagent智能體平台與joycode智能編碼平台緊密協同,構建支持深度應用的ai開發新範式。這種以agent簡化代碼、代碼反哺agent的閉環,將讓ai開發越來越自動化、智能化,最終實現‘從開發者少寫代碼,到開發少寫代碼’。兩者通過ai store實現無縫協同,形成持續進化的閉環,開發者可靈活組合智能體能力與編碼邏輯,快速構建複雜、深度定製化的ai應用。

大模型浪潮洶湧澎湃,京東雲將持續深耕技術,以更開放、更協同的生態理念為引領,不斷拓展和深化大模型技術的邊界與應用。同時,憑藉在京東內部場景千錘百鍊的深度應用經驗,打造出的極致性能、極致性價比的技術與產品,助力更多企業重塑ai生產力。

記者:劉瑾陽 編輯:劉丹 校對:湯琪

分享你的喜愛