188宝金博页面版

华为研究 | 61 2024 年 6 月技术底座本文提出了一种全新的 8 比特浮点数据格式 HiF8（HiFloat8）、基于 HiF8 的 AI 训练解决方案以及基于 HiF8 的 AI推理解决方案。训练侧，HiF8 是一种单一的数据格式，可同时用于 AI 训练的前向过程和后向过程，因此不需要在训练过程中分析网络统计数据并切换不同的 Float8 数据格式。HiF8 具有锥型精度特征，兼顾精度和动态范围，因此不需要在训练过程中进行数据和格式的动态匹配，从而避免引入多余的数据 Scale 操作或格式阶码滑窗操作。HiF8 的训练过程和现有的FP16混合精度训练过程一致，因此对用户友好，用户易上手，无需感知HiF8数据格式的细节。大规模训练验证实验表明，相对于 FP16 混合精度训练，HiF8 卷积神经网络（Convolutional Neural Network，CNN）类网络训练准确度平均下降 0.16%（如果首层可以用 FP16 训练，则准确度平均下降 0.12%），HiF8 Transformer 类网络训练准确度平均提升 0.12%。推理侧，本文提出了一种适用于 HiF8 的、以目标指标损失为导向的分级校准方案。大规模推理验证实验表明： •Transformer 类网络，直转 HiF8 后，即可用于推理。 •CNN 类网络，绝大部分直转 HiF8+Calibration，可用于推理。 •CNN 少数几个校准难度较高的网络，部分层用 FP16 计算，可用于推理。最后，本文基于 Ascend XXX1 和 XXX2 的电子系统级（Electronic System Level，ESL）模型，对 HiF8 落地进行了开销和收益评估。结果表明，以 XXX1 为基准，当 HiF8 的算力是 FP16 的两倍时，AI Core 的面积会增加 4.5% 左右，而 ResNet50 和 BERT 的训练性能可以分别提高 26% 和 61%；以 XXX2为基准，ResNet50和 BERT的训练性能可以分别提高 31%和 67%。摘要罗元勇 1, * ，伍玮翔 1 ，张忠星 1 ，陈敏琪 2 ，郑楷 3 ，陈官富 2 ，李震桁 1 ，杨升 11 海思半导体与器件业务部2 中央媒体技术院3 中央硬件工程院Ascend HiFloat8 AI 训练和推理* 通讯作者。