2026.07.07 —— 今日 10 則
TODAY'S THREAD 今天幾則串起來看的主線是「預設值換了，你的系統撐不撐得住」——TPU 訓練把硬體故障轉成幾秒內自我修復的例外、Linux 換了預設搶佔模式讓 Postgres tps 腰斬一半、Netflix 則把整條推薦 pipeline 換成一顆生成式模型撐起首頁。
Google 讓 TPU 訓練中途壞掉也能在幾秒內自己復原
Google 在 MaxText 訓練框架中導入彈性訓練機制，讓分散式訓練工作在 TPU 硬體故障時，把原本會讓整個工作直接崩潰的錯誤，轉換成可攔截、可復原的例外狀況。文章示範了在訓練過程中主動終止一顆 TPU，整個工作幾秒內就自我修復並繼續訓練，不需要從最近的 checkpoint 整個重新啟動。這代表容錯的粒度從「整個訓練工作」下探到了「單一裝置」。
不是每次模型升級都是升級：150 個 agent 任務實測 Claude Sonnet 4.6 與競品
Microsoft 用 150 個 agent 任務的 benchmark，比較 Claude Sonnet 4.6 與其他競品模型升級後的實際表現，發現版本號變大不等於拿來做 agent 任務更好用——有些升級在 token 使用效率與輸出品質上反而出現倒退。對已經把 agent 產品綁死在特定模型版本上的團隊而言，這是提醒：模型升級要用自己的 workload 重新測，不能只看官方 benchmark。
怎麼知道 coding agent 的改動真的有變好：Google 的自動化評估飛輪
Google 針對「怎麼驗證 AI agent 的改動真的有變好」設計了一套自動化評估系統，用五個階段的流程串起適應性 AutoRater 與失敗案例分群分析。這解決的是 agent 開發團隊常見的困境：靠人工抽查很難規模化，但沒有可靠的自動化評分，agent 的每次調整都像是在賭。
NVIDIA 怎麼把 LLM 推論的單 token 成本壓到最低
NVIDIA 拆解了自家推論軟體堆疊裡，用來壓低 LLM 推論單 token 成本的技術優化手段。文章談的是規模化推論服務裡，軟體層而不只是硬體升級，能榨出多少成本效益。
RAG 的 context 也要修剪：只餵答案真正需要的部分
kapa.ai 分享了怎麼把 RAG 系統丟給模型的 context 修剪到答案真正需要的部分，而不是把檢索到的整段內容都塞進去。對任何在生產環境跑 RAG 的團隊，這談的是一個常被忽略的優化面向：檢索準不準是一回事，餵給模型多少雜訊又是另一回事。
Linux 拿掉 PREEMPT_NONE 之後，Postgres tps 腰斬的真相
Linux 7.0 在多個架構上移除了 PREEMPT_NONE 這個搶佔模式，只留下 PREEMPT_FULL 與 PREEMPT_LAZY。AWS 工程師實測發現，96 vCPU 的 Graviton4 機器上跑 PostgreSQL 17 的 pgbench，改用 PREEMPT_LAZY 之後 tps 從 98,565 掉到 50,751，問題出在 4KB 分頁下大量 first-touch page fault，讓持有 buffer_strategy_lock 的行程被搶佔、鎖競爭因此暴增；換成 huge pages 之後，這個 regression 完全消失。
std::is_heap 不該非得要求 random-access iterator
標準函式庫裡的 std::ranges::is_heap 原本要求 random-access iterator，但作者發現只要調整演算法，forward iterator 也能做同樣的檢查，還能因為少掉重複的指標運算，效能提升 20% 到 40%。把介面需求放寬、順便換來效能提升，這種優化在標準函式庫的世界裡並不常見。
Cloudflare Workers Cache：把邊緣快取變成宣告式設定
Cloudflare 推出 Workers Cache，在 Worker 進入點前面加上一層依地區分層的快取，開發者只要用標準 HTTP header 就能設定快取行為，不必自己在 Worker 裡手刻快取邏輯。原本得靠自訂程式碼處理的邊緣快取，變成了宣告式的設定項目。
如果你是一顆按鈕，你只有一份工作
這篇從 Nothing Phone 的照片旋轉按鈕講起：動畫還沒播完時 Android 會直接吃掉使用者的輸入，逼你等動畫結束才能繼續點；作者連續點擊八次做示範，對比 iPhone 會把輸入排隊緩衝、依序執行。他的結論很簡單——不管介面看起來多輕量，都不該強迫使用者等動畫播完，因為休閒用途也可能變成需要重複操作幾十次的重度使用情境。
Netflix 把整條推薦系統 pipeline，換成一顆生成式模型直接生首頁
Netflix 把原本多階段的推薦系統管線，換成一顆會自迴歸生成整個個人化首頁佈局的生成式 transformer 模型 GenPage。這個換血手術不只沒有讓成效變差，還讓使用者互動提升，服務延遲也降低了 20%。對還在維護一堆串接起來的推薦模型的團隊來說，這是「用單一生成模型取代整條 pipeline」已經能在真實生產環境跑贏舊架構的具體案例。