夜先锋av资源网站,国产精品极品美女在线观看免,欧美亚洲精品电影在线观看,日韩在线精品强乱一区二区三区

首頁 商業(yè) > 正文

微軟推出 ZeRO++ 技術(shù),可顯著減少 AI 大模型訓練時間和成本 全球熱門


(資料圖)

品玩 6 月 27 日訊,據(jù)微軟官方消息,微軟研究人員日前推出了名為 ZeRO++ 的新技術(shù),可顯著減少大模型訓練時間和成本。

ZeRO++ 建立在 ZeRO 傳輸技術(shù)基礎上,提供增強的通信策略,可提高訓練效率,同時減少訓練時間和成本。ZeRO++ 可對權(quán)重進行量化,其利用基于塊的量化方法來保持訓練精度,這種優(yōu)化的量化過程相對原始 Zero 傳輸技術(shù)更快更準確。

微軟研究人員表示,與 ZeRO 相比,ZeRO++ 減少了高達 4 倍的通信量,提高了訓練吞吐量和效率。

關(guān)鍵詞:

最近更新

關(guān)于本站 管理團隊 版權(quán)申明 網(wǎng)站地圖 聯(lián)系合作 招聘信息

Copyright © 2005-2023 創(chuàng)投網(wǎng) - www.ossf.org.cn All rights reserved
聯(lián)系我們:39 60 29 14 2@qq.com
皖ICP備2022009963號-3