大家嘈咗兩年 GPU
今個星期業界靜靜雞承認咗另一件事:真正卡住 AI 嘅,好多時唔係計算力,係記憶體。
8 月 4 號,SK hynix 同 SanDisk 喺 FMS 2026 公布咗 High Bandwidth Flash(HBF)嘅第一份標準規格,而且係經 Open Compute Project 開放出嚟⋯唔係專利技術,係想成個行業用。
規格入面嘅數:單堆最多 512GB,頻寬約 0.4 至 3.0 TB/s,分三個等級。
🧠 點解記憶體先係樽頸?
模型每吐一個字,都要將佢用到嗰批權重由記憶體讀一次出嚟。唔係讀一次就搞掂成句⋯係每一個字都要讀一次。
所以推理嗰陣,張 GPU 好多時唔係喺度計嘢,係喺度等。等啲數字由記憶體行過嚟。
咁點解唔擺多啲入去?因為而家得兩種選擇,而兩種都唔啱:
HBM⋯快,但一堆得幾十 GB,而且貴到癲
SSD⋯平、大,但慢幾百倍
中間係空嘅。HBF 就係想填呢層:用 NAND 嘅容量,配一個接近 HBM 嘅介面。
模型每吐一個字,都要將佢用到嗰批權重由記憶體讀一次出嚟。
💡 呢件事你其實日日感受緊
點解長 context 咁貴?點解「記住成個對話」係一個賣點而唔係理所當然?點解你部機跑唔到大模型?
唔係因為佢唔夠快,係因為佢裝唔落。
我自己部機就係活生生例子⋯6GB 顯示記憶體,本地視覺模型跑唔郁。唔係算力唔夠,係嗰個模型塞唔入去。
🎓 教育角度我覺得值得講嘅係:
我哋討論科技嘅時候,好容易將注意力放喺最容易講嘅嗰個數字上面。GPU 有型、有品牌、有排名榜,所以大家都嘈 GPU。
但真正決定得到你做唔做到一件事嘅限制,好多時係悶嘅、冇人講嘅、藏喺第二層嘅。
呢個唔止係 AI⋯起樓都一樣。大家嘈設計,實際卡住成個項目嘅可能係一張批文、一個工種請唔到人。識得問「真正卡住嘅係咩」,係一種可以練嘅眼光。
⚠️ 唔好誇大嘅位:
呢個係一份規格,唔係一件貨。冇嘢賣,冇 benchmark,亦都未知邊間會用、幾時用。份稿講嘅係定義咗一個新層級,唔係解決咗問題。由標準到你部機真係快咗,通常要幾年。
你行入面,大家成日嘈嘅嗰樣嘢,同真正卡住你嗰樣,係咪同一樣?
