16384块NVIDIA H100训练Meta Llama3 4050亿参数大模型：3小时报错一次

快科技7月29日消息，如今的AI大模型规模越来越庞大，动辄成百上千亿参数，训练过程不仅需要数万甚至十几万块GPU加速卡，出错的几率也越来越高。Meta(Facebook)就披露了一份惊人的报告。

Meta在报告中披露，为了训练自己的Llama 3 4050亿参数大模型，使用了包含16384块NVIDIA H100 80GB GPU的集群，一共花了45天，期间居然出现了419次意外报错，平均每3个小时就一次，而一半的错误都和GPU及其自带的HBM3内存有关。

要知道，大模型训练的工作量异常庞大，而且需要高度同步，一次错误就可能导致整个训练工作必须从头再来。

报告显示，为期45天的预训练阶段中，总共出现了466次工作中断，其中47次是计划内的自动维护，419次是意外的，且大部分都来自硬件问题，GPU又是最多的，占了其中的58.7％。