我被解答的疑問

Q:

每次看到一個 Model 都不理解他代表的意思，我想要可以快速理解這個命名的意義。

Ans:

Model 名字看起來像亂碼，但其實是一份壓縮過的規格表——每個字段都在告訴你這個模型能做什麼、需要多少資源、在你的機器上跑不跑得動。

基本結構

拿 llama-3.3-70b-instruct-fp8 來示範：

llama  -  3.3  -  70b  -  instruct  -  fp8
  ↑        ↑      ↑         ↑           ↑
家族     版本   參數量    功能特化    壓縮方式

這五個位置幾乎在所有開源模型命名裡都會出現，順序不固定，但意思是固定的。

解碼順序

拿到任何一個 model 名字，照這個順序看：

1. 家族是誰出的、叫什麼系列？ 後面版本代表訓練迭代。

   → 訓練背景、擅長語言、授權條款

2. 參數量決定需要多少記憶體，有沒有 A_B 或 E_B？

   → E_B：記憶體只需 Effective 部分，適合端側裝置

   → A_B（MoE）：記憶體要裝得下全部總參數，A_B 影響的是推理速度

3. 功能特化決定能做什麼，有沒有 it / Instruct / Chat？

   → 沒有這些 = Base 模型，不適合直接對話

4. 格式是什麼？

   → MLX（Mac）/ GGUF（CPU 通用）/ AWQ、GPTQ（GPU）

5. 壓縮方式決定精度和速度的取捨，量化幾 bit？有沒有 QAT？

   → bit 越小越省記憶體、越快、精度越低

   → 有 QAT 優先選 QAT

常見關鍵字速查

最近幾年的模型命名開始出現幾個舊規則沒涵蓋的字：

活躍參數

A_B：MoE 活躍參數

gemma-4-26B-A4B 裡，26B 是模型總參數，A4B 是每次推理實際啟動的參數（Active 4B）。這是 MoE（Mixture of Experts）架構——模型有很多「專家」，每次只叫其中幾個出來。

關鍵在於：26B 的參數全部都要載入記憶體，只是推理時只算 4B。所以它需要的 RAM 是對應總參數的大小，不是 A4B 的大小。

A_B 告訴你推理速度的快慢，不是記憶體需求。記憶體需求還是看總參數。

qwen3.6-35b-a3b 同理：要跑起來需要能裝下 35B 的記憶體，但推理速度和 3B 模型接近，品質卻接近完整 35B。

E_B：端側密集模型的有效參數

gemma-4-e4b 裡的 E = Effective，是完全不同的架構設計。

這是一個密集模型（Dense），不是 MoE。它透過「每層嵌入（PLE, Per-Layer Embeddings）」技術，讓 8B 總參數的模型在實際計算時只動用 4.5B 有效參數——而且記憶體需求也只需要那 4.5B，不用把全部 8B 都載入。

專為手機、輕薄筆電設計：量化後靜態權重只有 4.22 GB，約 5 GB 記憶體就能跑。

E 和 A 的本質差異：

功能特化

量化方式

QAT（Quantization-Aware Training）= 訓練時就把量化考慮進去。 4bit、8bit` 是訓練完後再壓縮，屬於事後量化。

格式與架構

模型能力（Capabilities）

這些通常不出現在模型名稱裡，而是列在 model card 的規格區，選模型前要確認。