AI與科技第 51 期

減少記憶體需求的技術，讓記憶體股價下跌了。

TurboQuant，谷歌的一個演算法動搖了記憶體股價

安光涉（Oswarld）· INLEVEL9 作者與編輯

減少記憶體需求的技術，讓記憶體股價下跌了。

前言

各位讀者，週三美國股市出現了一個有趣的場景。那斯達克 100 指數上漲的同時，記憶體半導體股票卻逆勢下跌。SanDisk -5.7%、Western Digital -4.7%、Seagate -4%、Micron -3%。扣下扳機的是谷歌研究團隊公開的 TurboQuant 壓縮演算法。韓國股市也立即受到了影響。以我寫這封信的 18 點為基準，三星電子／SK 海力士／漢美半導體／利諾工業／原益 IPS 等半導體相關企業，大多數都錄得下跌。

「讓 AI 少用記憶體的技術」——光看標題，對記憶體廠商來說似乎是壞消息。但這項技術實際減少的是 GPU 上的暫存空間（KV 快取），而不是插在伺服器上的 HBM1 或 DRAM 模組。市場解讀到的訊號與技術本身傳遞的訊號之間存在落差，而這個落差背後，是橫跨整個 AI 硬體層面的更大問題。今天我們一起來看看這個落差與問題。（老實說，如果對原理不太感興趣，可以直接跳到「市場為什麼會有反應」那一段！）

TurboQuant 實際在做什麼

先從技術面整理一下。AI 在進行對話時，要記住前面說過的話，就需要將資訊儲存到稱為 KV 快取2 的暫存記憶體中。對話越長，這個記憶體就呈指數級增長，這也是推高 AI 服務成本的主因之一。TurboQuant 就是一種將這些記憶盡量壓縮到最小、同時幾乎完整保留內容的演算法，不需要額外訓練或微調。

用比喻來說明核心概念：原本 AI 儲存的資料，數值大小各不相同。有的值大、有的值小，分佈參差不齊。這樣的資料很難高效壓縮。TurboQuant 的第一步 PolarQuant 就是對這些資料施加隨機旋轉（random rotation），讓所有數值的分佈變得均勻。就像把大小不一的行李好好打散混匀，讓它們變成差不多的大小。這樣就能非常高效地裝進相同規格的箱子裡。用論文的數學表述來說，旋轉後各座標遵循貝塔分佈，座標之間幾乎相互獨立，因此可以對每個座標獨立施加最優的標量量化3。

但這裡還有一個問題。AI 不只是儲存資訊，還要不斷地對已儲存的資訊進行相似度比較（內積運算）。論文證明，針對 MSE（均方誤差）最佳化的量化器會導致這個比較值產生系統性偏差（bias）。因此需要第二步 QJL（量化 Johnson-Lindenstrauss）。先用第一層壓縮縮小整體體積，再將剩餘的殘差（residual）用 1 bit 做一次額外修正。正是這種兩階段方法，徹底消除了比較值的偏差。

論文的實驗結果顯示，在 3.5 bit 時能維持與原始模型幾乎相同的品質，即使更激進地壓縮到 2.5 bit，品質下降也微乎其微。以 Llama-3.1-8B-Instruct 模型為基準，LongBench 基準測試的平均分數與未壓縮版本幾乎一致（50.06 vs 50.06），在 10 萬 4 千 token 長度的 Needle in a Haystack 測試中維持了 100% 準確率。壓縮率超過 4.5 倍。

特別令人印象深刻的是速度。現有的產品量化（PQ）方法索引 1,536 維資料大約需要 240 秒，而 TurboQuant 只需要 0.0013 秒。差距約 18 萬倍。這是因為 TurboQuant 採用的是線上（data-oblivious）方式，不需要根據資料來訓練代碼本（codebook）。

不過有一點需要釐清。谷歌部落格強調的「最高 8 倍速度提升」這個數字，是在注意力 logit 運算這個特定步驟中、以 JAX 基準線為對照測得的，並非整體推論吞吐量（end-to-end throughput）的 8 倍。而「6 倍記憶體縮減」在部落格和論文之間也有細微差異——論文的表述更為保守，寫的是「4.5 倍以上」。數據因發布渠道不同而被不同方式包裝，這是閱讀科技新聞時始終需要留意的部分。

市場為什麼會有反應

市場的邏輯很簡單。「如果 AI 只需要用 1/6 的記憶體，那記憶體需求不是要減少嗎？」今年記憶體股票漲幅確實很大（SanDisk 年初至今已上漲超過 200%），所以也有獲利了結需要借口的成分。但退後一步來看，KV 快取和 HBM 雖然都叫「記憶體」，運作的層級卻不同。

KV 快取是 LLM 在進行對話時，為了避免重新計算之前已算過的注意力數據，而暫時儲存在 GPU 記憶體中的資料。當上下文窗口擴展到 100 萬 token 時，以 Llama 3 70B 模型為基準，僅 KV 快取就會佔用約 512GB，是模型權重本身的 4 倍容量。因此 KV 快取壓縮是目前 AI 基礎設施中最熱門的研究主題之一。

而 HBM 的需求則來自模型訓練與推論全流程中的頻寬瓶頸。根據 TrendForce 的估算，2026 年 HBM 需求將同比增長 70%；美國銀行（BofA）預測 2026 年 HBM 市場規模約為 546 億美元（同比增長 58%）。SK 海力士、三星、Micron 都已表示 2026 年 HBM 產能基本售罄（sold out）。

簡單比喻一下：TurboQuant 是改善辦公室桌上備忘錄的整理方式，而 HBM 需求則是整棟大樓需要更多辦公室。備忘錄整理得再好，也不會減少對大樓的需求。 反而備忘錄整理得越好，一個辦公室就能處理更多工作，可能反而更想蓋更多大樓。

不只是谷歌的故事——NVIDIA 的 KVTC

這裡還有一個容易忽略的背景。KV 快取壓縮不是只有谷歌在做。在同一場 ICLR 2026 學術會議上，NVIDIA 也發表了 KVTC（KV Cache Transform Coding） 技術。這是將 JPEG 影像壓縮中使用的轉換編碼原理應用到 KV 快取上，宣稱最高可達成 20 倍壓縮。某些案例甚至可達 40 倍。（天哪，又是你？）

谷歌的 TurboQuant（6 倍壓縮、無需訓練）與 NVIDIA 的 KVTC（20 倍壓縮、需要預先校正）雖然方法不同，但要解決的問題是一樣的。而且 NVIDIA 計劃將 KVTC 整合到自家的推論框架 Dynamo 中。

這為什麼重要？因為 KV 快取壓縮技術一旦落地部署，同一顆 GPU 就能處理更長的上下文、更多的並行請求。對 AI 營運商來說，推論成本就會下降。效率提高了，需求就會減少嗎？未必——可以回想一下前一期電子報中討論過的傑文斯悖論4。但市場從另一個角度在解讀這項技術。

Oz 的視角

比起 TurboQuant 本身，我更感興趣的是市場對這則新聞的反應方式。因為這不只是記憶體股票的故事。

拉遠來看，目前整個 AI 硬體堆疊都在面對同一個問題。NVIDIA 在 2026 財年錄得了 2,159 億美元營收、55% 以上淨利率的空前成績，但股價卻在去年同期高點下方約 11% 的水平徘徊。Micron 也是如此。兩天前剛公布創紀錄的季度業績（營收 238.6 億美元、毛利率 74.9%），但市場的焦點卻落在「能否承擔 250 億美元以上的資本支出」上。GPU 在跌、DRAM 在跌、NAND 儲存也在跌。

市場真正在問的問題是 「這個速度的基礎設施投資是否可持續」。四大科技巨頭（Microsoft、Meta、Alphabet、Amazon）2026 年資本支出指引的合計達到 6,500 億至 7,000 億美元。這是人類歷史上單一用途投入的民間資本中規模最大的之一。投資者之間關於「這筆投資的報酬率能否被證明合理」的爭論越來越大。我們常說的「AI 泡沫」，也是在這樣的脈絡下被提出的。

從 GTM 策略的角度，我看到的框架是這樣的：所有技術基礎設施週期都有「建設階段」和「優化階段」。建設階段的策略是「先鋪上去」；優化階段的策略則是「如何最大化已鋪設資源的效率」。TurboQuant、NVIDIA 的 KVTC、以及超大型雲端服務商的自研晶片（谷歌 TPU、Amazon Trainium）開發——這些所有動作都是優化階段的訊號。

那這是不是看空訊號？我不這麼認為。優化階段不是成長的終點，而是成長走向成熟的過程。只是市場在定價時的反應方式會不同。建設階段是「全買」，優化階段則需要分辨誰是效率提升的受益者、誰要承擔成本。

目前記憶體市場的基本面依然強勁。HBM 產能 2026 年全年售罄，BofA 預估市場規模 546 億美元（同比增長 58%）。但「演算法取代硬體」這個敘事一旦進入投資者腦中，估值越高就越敏感。SanDisk 年初至今已漲超過 200%，一篇論文就能造成 -5.7% 的跌幅。

關鍵在於時間軸的區分。像 TurboQuant 這樣的軟體優化要影響硬體需求增長速度，那是 2027 年以後的事。2026 年的記憶體供給短缺是晶圓廠建設和良率的物理問題，不是演算法能解決的領域。當市場混淆了這兩個時間軸時，那既是機會，也是風險。

結語

最後再補充一點。TurboQuant 的原始論文（arXiv:2504.19874）發表日期是 2025 年 4 月 28 日。幾乎是一年前的事了。 有人花了一年時間不斷打磨這項技術、發布到谷歌研究部落格、準備 ICLR 2026 發表、最終動搖了市場。從實驗室裡的一個想法到華爾街的股價波動，中間這段時間累積了什麼，值得深思。

總結來說：TurboQuant 是將 AI 推論效率提升一個層級的有意義技術。但今天記憶體股票下跌的原因，不是這單一技術，而是市場開始解讀整個 AI 硬體堆疊「從建設到優化」的階段轉換訊號。如果能理解技術的層級、區分時間軸，就能在這種波動中做出更好的判斷。

一年前的論文動搖了今天的市場，那現在實驗室裡正在誕生的論文，一年後又將動搖什麼？

⚠️ 本電子報不構成對任何特定個股的投資建議。投資決策請務必經過個人分析並諮詢專業人士後再行判斷。

參考資料 & 延伸閱讀

作者 安光涉（Oswarld） 現任世宗大學兼任教授，INLEVEL9 策略顧問。職涯經歷、研究、著作與近期活動會持續更新在作者介紹。 最新動態 · 2026年7月：HEMA-2: A Consolidation-Aware Tri-Memory Architecture with Multi-Channel Scheduling for Lifelong Conversational AI。

각주

  1. HBM（High Bandwidth Memory，高頻寬記憶體）：緊鄰 AI 晶片（GPU）垂直堆疊的超高速記憶體。由於數據傳輸速度比一般 DRAM 快數倍，已成為 AI 訓練與推論中的核心元件。 ↩

  2. KV 快取（Key-Value Cache）：LLM 進行對話時，將之前計算過的「關鍵資訊（Key）」和「值（Value）」儲存在暫存記憶體中。如果不儲存這些，每次都要從頭重新計算，因此對話越長，這個快取佔用的 GPU 記憶體就越大。 ↩

  3. 量化（Quantization）：將精確的小數點數值（如 32 bit）壓縮為更少的位元（如 4 bit、3 bit）的技術。檔案大小會縮小，但壓縮過度可能導致資訊失真。 ↩

  4. 傑文斯悖論（Jevons Paradox）：資源使用效率提高時，總使用量反而增加的現象。源自 19 世紀英國經濟學家威廉·史丹利·傑文斯（William Stanley Jevons）的觀察——煤炭效率的提升並未帶來煤炭消費的減少。 ↩

延伸閱讀

第 49 期AI與科技

OpenAI 一日五連發所揭示的真正策略轉向。

Sora 不是失敗了——是 OpenAI「捨棄」了它

第 43 期AI與科技

NVIDIA GTC 2026 整理：真正該看的不是晶片，而是「設計圖」

1 兆美元的訂單能見度、200 億美元收購的成果，以及「Token 工廠」這個全新商業模式

第 42 期AI與科技

AI 越來越聰明，卻也越來越相似？

AI 越強大，我們的思想就越可能趨同——這是一個警訊