广东
CPU像总经理，GPU像几万个熟练工人；CUDA 像管理这些工人的操作手册，HBM 像高速仓库，NVLink 像工厂之间的专用高铁。AI 模型越大、Token 调用越多，对 GPU、显存、互联、电力和散热的要求就越高。
你可以把 GPU 理解成：一座有成千上万个“小工人”的计算工厂，特别擅长同时处理大量重复计算，所以非常适合 AI、图形渲染、科学计算和大模型训练。
一、GPU 基础概念
GPU 图形处理器
原本用来处理图像，现在也非常适合 AI 计算，像一支“并行计算军队”。CPU 中央处理器
电脑的“总指挥”，擅长复杂决策和调度，但不如 GPU 擅长大规模并行计算。显卡 Graphics Card
把 GPU、显存、供电、散热等装在一起的硬件卡，像 GPU 的整套工作平台。集成显卡 iGPU
集成在 CPU 或芯片里的 GPU，省电、便宜，但性能通常较弱。独立显卡 dGPU
单独的一块显卡，性能更强，常用于游戏、AI、设计和服务器。数据中心 GPU
专门用于 AI、云计算、高性能计算的 GPU，像工业级计算发动机。消费级 GPU
面向游戏玩家、设计师、个人用户的 GPU。专业 GPU
面向工作站、设计、仿真、影视渲染等专业场景的 GPU。AI GPU
主要用于 AI 训练和推理的 GPU，强调矩阵计算、显存和互联能力。GPGPU 通用 GPU 计算
不只用 GPU 画图，还用它做科学计算、AI、金融模拟等任务。
英伟达 NVIDIA
全球重要 GPU 厂商，CUDA 生态让它在 AI 计算中占据强势地位。AMD
重要 GPU 和 CPU 厂商，也提供 AI 加速卡和 ROCm 软件生态。Intel GPU
Intel 的图形和加速芯片业务，包括集成显卡、独显和数据中心加速器。CUDA
NVIDIA 的 GPU 编程平台，像一套让程序员指挥 GPU 干活的“语言和工具箱”。ROCm
AMD 的 GPU 计算软件平台，可以理解为 AMD 版的 GPU 计算工具箱。oneAPI
Intel 推动的跨硬件编程平台，希望让程序能跑在 CPU、GPU 等不同硬件上。CUDA 生态
围绕 NVIDIA GPU 形成的软件、库、工具和开发者体系，像一座繁荣的应用城市。驱动 Driver
让操作系统和 GPU 正常沟通的软件，像翻译兼交通指挥。SDK 软件开发包
提供开发工具、示例和接口，帮助开发者使用 GPU 能力。GPU 云服务
通过云平台租用 GPU，不必自己买机器，像按小时租用计算工厂。
GPU 架构 Architecture
GPU 内部设计方式，决定它怎么计算、怎么存数据、怎么传数据。CUDA Core
NVIDIA GPU 中大量小计算单元，像工厂里的基础工人。Stream Processor 流处理器
AMD GPU 中类似 CUDA Core 的并行计算单元。Tensor Core 张量核心
专门加速 AI 矩阵计算的单元，像为大模型计算定制的高速车间。RT Core 光线追踪核心
用于游戏和图形中的真实光影计算，像专门模拟光线的部门。SM 流式多处理器
NVIDIA GPU 的核心计算模块，里面包含很多 CUDA Core、Tensor Core 等。CU 计算单元
AMD GPU 的基础计算模块，类似一个小型计算车间。Shader 着色器
图形处理中负责计算颜色、光影、纹理的程序或单元。Pipeline 流水线
GPU 按步骤处理任务，像工厂流水线一样分工协作。Warp 线程束
NVIDIA GPU 中一组一起执行的线程，像一小队工人同时行动。
显存 VRAM
GPU 自己使用的高速内存，像 GPU 身边的仓库。HBM 高带宽内存
高端 AI GPU 常用显存，像超宽高速仓库通道。GDDR 显存
消费级显卡常见显存，常用于游戏和图形渲染。HBM2E
较早一代高带宽内存，曾用于多种 AI 和 HPC 芯片。HBM3
更高带宽的 HBM，常用于高端 AI GPU。HBM3E
HBM3 的增强版本，带宽和容量进一步提升。显存容量
GPU 能装下多少数据，像仓库有多大。显存带宽
GPU 读写显存的速度，像仓库门有多宽、货能搬多快。Cache 缓存
GPU 内部更近更快的小仓库，用来放常用数据。共享内存 Shared Memory
GPU 内部线程共同使用的小型高速空间，像一个小组共享的工具台。
算力 Compute Power
GPU 每秒能做多少计算，像工厂每小时能生产多少产品。FLOPS 浮点运算次数
衡量计算能力的单位，表示每秒能做多少次小数运算。TFLOPS
每秒万亿次浮点运算，常用来描述 GPU 算力。PFLOPS
每秒千万亿次浮点运算，常用于大型 AI 集群和超算。TOPS
每秒万亿次整数运算，常用于 AI 推理芯片指标。峰值算力 Peak Performance
理想条件下的最高算力，像汽车标称最高速度。实际性能 Real-world Performance
真实任务中的表现，可能低于峰值算力。利用率 Utilization
GPU 实际忙碌程度，利用率低说明很多计算资源闲着。吞吐量 Throughput
单位时间处理多少任务，像工厂实际出货量。延迟 Latency
一个任务从开始到完成需要多久，像外卖送达时间。
训练 Training
让模型从大量数据中学习规律，像学生刷题学习。推理 Inference
模型训练好后回答问题或生成内容，像学生参加考试。大模型 LLM
参数很多、能力很强的 AI 模型，比如聊天、写作、编程模型。参数 Parameters
模型内部的知识旋钮，数量越多，模型容量通常越大。Token
AI 处理文本的小单位，可以理解为“字词碎片”。Batch 批次
一次送进 GPU 处理的一组数据，像一车货一起进工厂。Batch Size 批大小
一次处理多少样本，越大越吃显存。Epoch 训练轮次
模型完整看一遍训练数据，像把整本教材学一遍。Gradient 梯度
告诉模型参数该往哪个方向调整，像老师批改后指出改进方向。Backpropagation 反向传播
训练模型时把错误往回传，帮助模型改正。
FP32 单精度浮点
精度较高但计算和存储成本较高，像用精细尺子测量。FP16 半精度浮点
精度较低但速度更快、占用更少，AI 训练常用。BF16
一种适合 AI 训练的低精度格式，在速度和稳定性间折中。FP8
更低精度格式，可大幅提升 AI 计算效率，但对算法和硬件要求更高。INT8
8 位整数计算，常用于 AI 推理，像用简化数字快速估算。INT4
更低位宽的整数计算，更省资源，但可能损失精度。混合精度 Mixed Precision
不同计算环节用不同精度，像该精算的地方精算，该快算的地方快算。量化 Quantization
把高精度模型压成低精度，减少显存和计算量。稀疏计算 Sparsity
跳过大量无用或为零的计算，像只处理真正有货的箱子。矩阵乘法 Matrix Multiplication
AI 计算的核心操作之一，GPU 特别擅长，像成千上万次表格计算同时做。
PCIe
GPU 和 CPU、主板之间的连接通道，像电脑内部的高速公路。NVLink
NVIDIA GPU 之间的高速互联，像 GPU 之间的专用高铁。NVSwitch
让多颗 GPU 高速互联的交换芯片，像 GPU 集群里的交通枢纽。Infinity Fabric
AMD 的高速互联技术，用于芯片内部或芯片之间通信。GPU 集群
很多 GPU 连在一起协同工作，像一支 AI 计算军团。Scale Up 纵向扩展
在一个节点或机柜里把 GPU 更紧密连接，像组建一台更强的大机器。Scale Out 横向扩展
增加更多服务器和 GPU，像多建几座工厂一起干活。分布式训练
多颗 GPU、多台服务器一起训练模型，像多人合作完成一本巨著。AllReduce
分布式训练中同步各 GPU 结果的操作，像每个小组算完后统一汇总。通信瓶颈
GPU 算得很快，但彼此传数据太慢，像工人干活快但物流堵车。
GPU 服务器
装有多颗 GPU 的服务器，专门用于 AI 和高性能计算。AI 服务器
为训练和推理模型设计的服务器，通常配 GPU、HBM、高速网卡等。机柜 Rack
数据中心里放服务器的柜子，像计算设备的货架。功耗 Power Consumption
GPU 消耗多少电，高端 GPU 往往很耗电。TDP 热设计功耗
散热系统需要应对的热量水平，像发动机最大散热需求。风冷 Air Cooling
用风扇带走热量，像给机器吹风降温。液冷 Liquid Cooling
用液体带走热量，散热能力更强，像给服务器接冷却水管。散热器 Heat Sink
帮 GPU 散热的金属结构，像芯片的散热鳍片。温控 Thermal Management
控制温度，防止 GPU 过热降频或损坏。降频 Throttling
GPU 太热或供电不足时自动降速，像人累了跑不动。
GeForce
NVIDIA 面向游戏和个人用户的显卡品牌。RTX
NVIDIA 支持光线追踪和 AI 加速的显卡系列名称。A100
NVIDIA 曾广泛用于 AI 训练和数据中心的 GPU 型号。H100
NVIDIA Hopper 架构数据中心 GPU，常用于大模型训练和推理。B100 / B200
NVIDIA Blackwell 系列 AI GPU，面向更高性能 AI 计算。MI300
AMD 面向 AI 和高性能计算的重要加速器系列。CUDA Library CUDA 库
NVIDIA 提供的数学、AI、图像等加速库，像现成工具箱。cuDNN
NVIDIA 用于深度学习的加速库，帮助神经网络跑得更快。GPU 供给紧张
市场上高端 GPU 不够用，AI 公司和云厂商抢购，像热门车排队提货。GPU 产业链
包括芯片设计、晶圆制造、先进封装、HBM、PCB、服务器、散热、电源、光模块和云服务。
欢迎加入行业交流群，备注岗位+公司，请联系老虎说芯（加V：tigerchip）
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
