TOPS 人工智慧中的處理器效能指標，乘積累加運算(MAC)的關係
什麼是 TOPS ?
TOPS，每秒萬億次運算 (TOPS, Trillion Operations Per Second) 用於衡量處理器的運算效能，一般使用 INT8 整數運算。而 TOPS 表示為每秒可完成的乘加運算(MAC)，這在深度學習中的矩陣乘法很常見，也因此TOPS越高則意味著處理器的推理速度越快
補充
除了TOPS評估，另一個則是每秒萬億次浮點運算次數（FLOPS, Floating Point Operations per Second），用到浮點數的運算則用 FLOPS 來評估效能，常用的精度為 FP32 或 FP16。
例如NVIDIA GeForce 顯示卡的規格中的核心使用TOPS，光線追蹤核心則使用FLOPs來做為運算評估指標
NVIDIA GeForce 顯示卡比較 https://www.nvidia.com/zh-tw/geforce/graphics-cards/compare/
乘積累加運算（MAC, Multiply-Accumulate）
乘積累加運算(MAC)，指一次乘法加一次加法的組合運算，論文中也常寫作 Multiply-Adds
1 MAC = 1 次乘法 + 1 次加法
為什麼用 MAC / Multiply-Adds 衡量處理器和模型？
深度學習中常見乘加組合運算，可以從矩陣乘法中深入了解，因此，MAC 評估模型在一次執行中，需要產生多少次的運算，因此MAC是衡量模型效率、評估硬體資源配置的重要指標。
如果對於乘加組合運算想更詳細的理解，可以了解深度學習的前向傳播（Forward Propagation) 方法，公式如下
常見精度
| 精度 | 位元 | 常見標記 | 特性 | 典型應用 |
|---|---|---|---|---|
| Float32 | 32-bit | FP32 | 高精度、耗資源 | 訓練、測試、研究 |
| Float16 | 16-bit | FP16, BF16 | 中等精度，支援硬體加速 | GPU 推論、邊緣部署 |
| INT8 | 8-bit | INT8 | 精度下降可控，效率提高 | Edge AI、手機裝置 |
| INT4 | 4-bit | INT4, GPTQ, | 超小模型體積，效能極高 | 邊緣裝置、小應用 |