(资料图)

品玩 6 月 27 日讯，据微软官方消息，微软研究人员日前推出了名为 ZeRO++ 的新技术，可显著减少大模型训练时间和成本。

ZeRO++ 建立在 ZeRO 传输技术基础上，提供增强的通信策略，可提高训练效率，同时减少训练时间和成本。ZeRO++ 可对权重进行量化，其利用基于块的量化方法来保持训练精度，这种优化的量化过程相对原始 Zero 传输技术更快更准确。