[数码] 如何评价世界第一的超算是1.1EFlops，而单台DGX Superpod就高达11.4EFlops？

万年历购物网址日历小说 | 三峰软件天天财富小游戏视频推荐小游戏

TxT小说阅读器
↓小说语音阅读,小说下载↓

一键清除系统垃圾
↓轻轻一点,清除系统垃圾↓

图片批量下载器
↓批量下载图片,美女图库↓

图片自动播放器
↓图片自动播放,产品展示↓

首页日历2023 日历2024 日历2025 日历知识 | 每日头条视频推荐数码知识两性话题情感天地心理咨询旅游天地 | 明星娱乐电视剧职场天地体育娱乐

日历软件煮酒论史历史中国历史世界历史春秋战国三国唐朝宋朝明朝清朝哲学厚黑学心理学 | 文库大全文库分类

电影票房娱乐圈娱乐弱智火研中华城市仙家六爻佛门风水钓鱼双色球戒色航空母舰网球乒乓球足球 nba 象棋体操

知识库 -> 数码 -> 如何评价世界第一的超算是1.1EFlops，而单台DGX Superpod就高达11.4EFlops？ -> 正文阅读

[数码]如何评价世界第一的超算是1.1EFlops，而单台DGX Superpod就高达11.4EFlops？

[收藏本文] 【下载本文】

虽然DGX Superpod标的是FP4的算力，但是这个数字也很惊人了。

DGX Superpod的功能太特化了，FP4只有16种状态，有效位数连两位十进制数都没有，对科学计算几乎没有意义
16,8和4位浮点数是如何工作的（附代码）-CSDN博客?blog.csdn.net/tMb8Z9Vdm66wH68VX1/article/details/133834344

我有一万枚1分钱，你有一千张100元，我数量也比你多。

超算的算力是FP64算力，而且一般超算所谓的算力，是指超算集群在解一个超大规模线性方程时候所达到的FP64算力，也就是LINPACK算力：这个算力需要用LU分解方法迭代求解一个足够耗尽超算全部算力的大尺度线性方程，而且要求求解的精度要达到1e-12或者更低（具体是多少记不太清了，反正是这类量级）。
AI那些搞笑精度，FP4/FP8/FP16/TF32，根本解不了超大规模的线性方程，精度不达标。其实按照LINPACK的收敛要求，FP32，甚至各种strassen变种的FP64 GEMM也不能达到精度要求。
按照超算依据LINPACK换算算力的算法，DGX的那堆FP4之类的AI算力在LINPACK等效算力＝０
对主要是面向解微分方程组的数值计算来说，AI那些算力价值为０

虽然DGX Superpod标的是FP4的算力
FLOPS 这个性能指标太具有迷惑性了。它只是衡量单位时间内浮点运算的次数。如果精度不同，比较 FLOPS 是没啥意义的。FP4 只能表达 16 种状态，分别是 ±0" role="presentation">±0\pm 0 、 ±0.5" role="presentation">±0.5\pm 0.5 、 ±1" role="presentation">±1\pm 1 、 ±1.5" role="presentation">±1.5\pm 1.5 、 ±2" role="presentation">±2\pm 2 、 ±3" role="presentation">±3\pm 3 、 ±∞" role="presentation">±∞\pm\infty 以及两种 NaN" role="presentation">NaN\text{NaN} 。这么少的状态很难有什么用武之地，几乎只能用来做模型推理，连训练模型都不行。这部分算力就是为模型推理特化的。和用于通用计算的超算比较算力，就好比用 Google TPU 这种 ASIC 去和 Intel CPU 比较矩阵乘法的吞吐量一样，意义不大。
像 OpenFOAM、GAUSSIAN、SYBYL 这些物化生领域常用的模拟器、求解器以及天气预测等任务，用 FP4 这种精度是根本不可能得到可用结果的。从这个角度说，模型推理也是一朵奇葩，算力要求高但精度要求低，甚至用 1bit 去量化大模型也是可行的

这其实反映了传统意义上服务于科学计算的超级计算机，和新的AI算力需求并不一致。也可以解释【为什么不能用超算来训练大语言模型和AI】。
传统意义上的超算，服务于科学计算，追求的是高精度算力，数据格式为FP64。CFD、大气模拟，都是越精确越好。误差必须足够小才能够收敛。测试工具是Linpack，目前最快的是所谓E级超算。
到了AI，英伟达最新的B100和B200一部分服务于AI推理，对于精度的要求并没有那么高。所谓的11E，算力衡量的标准甚至变成了FP4。同时在宣传算力的时候，口径为稀疏算力，如果换算为稠密矩阵算力要除以2的。
英伟达新支持的FP 4数据格式目前业界应该是没有用于AI训练的，用于推理量化后的模型倒是速度更快。
只能说一代版本一代神，不同应用场景催生了不一样的算力需求。传统超算大厂比如HPE今年的营收同比在下滑。选择了All in AI的SMCI反而高歌猛进，营收翻倍的同时，股价也上天了。

Apple Silicon的Media Engine也有类似四两拨千斤的效果，
可以理解为特供GPT应用部署的专用集成电路

不知道题主想要什么回答。
科技发展确实飞速，阿波罗登月的计算机还没有如今一个esp32的算力强。
但严谨的说，超算是通用计算能力，DGX是加速计算。
老黄在发布会上也说的是加速计算（具体是怎么说的忘了，可以自行查证）

说FP4没用的真是搞笑，就知道科学计算精度需求高，关键是现在缺科学计算的算力吗，缺的是AI算力。4比特量化的大模型很早就有人做了，速度快，能效高。