vatt'ghern jaskier's ballads

2026.08.02 —— 今日 10 則

TODAY'S THREAD 今天的共同線索是「量出來的東西不等於你以為的東西」:Lean 的 kernel 讓一組 phantom 參數溜過型別檢查,直到有人拿它證出 False;ORCA-bench 把 frontier agent 放進真的 on-call 現場,最好的一個在 Medium 難度只有 25.3%;Quanta 追的研究量到 reasoning model 有 30% 到 60% 的思考步驟對答案沒有因果影響。而 Google 那套 TPU microbenchmark 講的正是反面——別猜瓶頸在哪,把 collective、GEMM、HBM 分開量完,再回頭讀 Roofline。

10 items ai · 3 systems · 2 infra · 2 web · 2 backend · 1
0 / 10 read
#05

別猜瓶頸:TPU 的 Roofline 怎麼讀

Google 開源了一套 accelerator-microbenchmarks,把 TPU 拆成五塊分別量:collective 通訊(all-gather、all-reduce、reduce-scatter、all-to-all)的 GB/s 與延遲、GEMM 的 TFLOPs 與 Model FLOPs Utilization、HBM 頻寬、host transfer 的 PCIe H2D/D2H,以及 ragged-paged attention 的推論延遲。量完之後用 Roofline 把 workload 歸到三類——撞上 MXU 算力上限的 compute-bound、卡在 HBM 頻寬的 memory-bound、以及 ICI 或 DCN 停等的 network-bound。文章附的案例是在 4x4x4 的 TPU 7x(Ironwood,256x256 systolic array)上訓練 110B MoE:forward pass 量到 1.85 PFLOPS 屬 compute-bound,routing 與 attention 相關的運算只跑到 speed-of-light 的 30% 到 60%,調整後整體 step time 少了 21.2%。

read source → deep read ml-infra

#06

on-call 這關,最好的 agent 只有 25.3%

ORCA-bench 把通用 coding agent 丟進一個帶 OpenTelemetry 的微服務系統做根因分析:六天份的 metrics、logs 與 traces 透過 Prometheus、Jaeger 與 OpenSearch(經 Grafana)暴露,加上完整原始碼,共 1,079 個 RCA 任務,ground truth 由 SRE 簽核、LLM-as-judge 再由人重評(Cohen's κw=0.90)。五個 frontier agent 裡,最好的在 Medium 難度只有 25.3% 的 RCA Accuracy,Hard 剩 10.0%,最弱的那個在 40% 的事件報告裡編出一個站不住腳的根因。作者強調這個差距是下限——測試台只有 50 GB、六天,任務彼此隔離,而真實系統大上好幾個數量級。

read source → ai-agents

#10

30% 到 60% 的思考步驟,對答案沒有影響

Quanta 這篇處理的是 reasoning model 的 chain of thought 到底算不算真的推理。NYU 的 William Merrill 說得很直接:「There's no guarantee the chain of thought has to be meaningful in any sense」;而 Northeastern 與 UC Berkeley 對開源 LRM 的研究量到,這些模型 30% 到 60% 的「思考步驟」對最終答案的因果影響極小,原文用的詞是 minimal causal impact。文章訪到的還有 Melanie Mitchell、Subbarao Kambhampati 與 Sébastien Bubeck,論點大致是:可見的推理軌跡更像餵回給模型的脈絡提示,而不是它實際運算過程的忠實紀錄。

read source → reasoning-models

#01

一個 phantom 參數,讓 kernel 收下 False

7 月 25 日 Ramana Kumar 發表一份 AI 協助產出的 Collatz 猜想「反證」,三天後 Kiran Gopinathan 把它縮成一個 False 的最小證明,開出 issue #14576。根因在 kernel 消去 nested occurrence 的時候:外層 inductive 型別的參數若是 phantom——不出現在任何建構子欄位裡——它們在產生的輔助型別上會整組消失,因而躲過型別檢查。de Moura 的定調是「This is an implementation bug, not a hole in Lean's meta-theory.」,修補在回報後一小時內以 PR #14577 推出,由 Joachim Breitner 審過並合併。

read source → deep read formal-verification

#07

Go 1.27 讓 method 帶自己的型別參數

Go 1.27 的 generic method 解掉的是這件事:在此之前只有 top-level function 能是泛型的,所以針對某型別的泛型操作只能寫成 package-level function,而不是 method。限制講得很清楚——「interfaces still can't declare type-parameterized methods, and a generic method can't be used to satisfy an interface」,所以它沒有把泛型帶進 interface。同批進來的還有 crypto/mldsa(後量子 ML-DSA 簽章)、RFC 9562 的 uuid、從實驗畢業的 encoding/json/v2,以及實驗性的 simd 套件。

read source → go

#02

Kafka 的 payload,在 broker 上是密文

LINE 把 E2EE 推到 Kafka 這一層,讓 message payload 從 producer 到 consumer 在 broker 上都維持密文,作法是 DEK 與 KEK 兩層信封:AES-GCM 的對稱 DEK 負責加內容,secp521r1 曲線的 ECIES 只用來加那把短短的 DEK,理由用他們自己的話說是「Encrypting large payloads with asymmetric keys alone is very expensive」。Producer 端由 interceptor 產生並快取 DEK、serializer 加密 payload、metadata 走 message header;consumer 端反向操作,KMS 管建立、分發與輪替。代價也寫得很誠實——多個 consumer 共用一把 KEK,免得 header 隨 consumer 數膨脹;record-level 而非 batch-level 加密犧牲壓縮效率,換到與 Kafka 標準擴充點的相容;實測在每秒 5,000 筆、數十 KB 訊息的尖峰下,每個 instance 的 CPU 增幅低於 1%。

read source → deep read kafka

#09

AWS 把跨雲 L3 連線寫成公開規格

AWS Interconnect 讓 AWS 上的 workload 直接和其他雲互連,第一個對象是 Oracle Cloud,五月公開預覽、現在 GA。比機制本身更值得看的是它附了一份開放規格放在 GitHub 的 aws/Interconnect,內容是「the OpenAPI 3.0 specification of the symmetric API to be used to coordinate managed L3 connectivity」——兩邊用同一組對稱 API 協調受管的 L3 連線。Google Cloud 已經在跟進,Azure 排在 2026 年稍晚。

read source → multicloud

#03

驗證 email 不用再離開你的網站

Chrome 開了 Email Verification Protocol 的 origin trial,要處理的是 OTP 與 magic link 共同的毛病——「Existing verification methods, like one-time passwords (OTPs) or email verification links (magic links), require the user to navigate away from your site.」。機制走 DNS:瀏覽器讀該 email 網域的 email verification DNS record,順著它找到 issuer,再把簽出的 token 填進表單裡一個隱藏的 email-verification-token 欄位。驗證端要自己檢查五件事:token 解析、預期值、key binding、DNS record,以及 issuer 簽章。

read source → web-platform

#08

Servo 六月合進 558 個 commit

Servo 六月合進 558 個 commit(四月 534、五月 391),而它自己把這個月的主題標成 real world compat——補的東西也確實都落在既有網站會踩到的路徑上:媒體查詢一次補齊 device-widthdevice-heightheightaspect-ratioorientationpointerany-pointerhoverany-hover,SharedWorker 也實作了,加密那塊補了 KT128、KT256、ML-KEM、ML-DSA、ECDSA 與 Ed25519。可變字型處理的改善讓 Zulip 與 Speedtest 這類網站好讀很多,lichess.org 則是真實網站相容性本身明顯改善,Google Maps 與 OpenStreetMap 已經渲染得不錯,只剩一些互動上的小問題。

read source → browsers

#04

Solid Queue 把 thread pool 換成 fiber

Solid Queue 1.6.0 加了 fiber worker:不再是每個 worker 開一組 thread pool 跑多執行緒,而是靠 Async 在單一 fiber reactor thread 上跑 job,設定就是在 worker 底下寫 fibers: 100。前提有兩個——把 Async 列為相依套件,以及在 Rails 打開 config.active_support.isolation_level = :fiber。release note 自己點名的適用情境是 I/O-bound workload,「such as those involving LLM calls」。

read source → rails

today's deep reads

deep · 01 一個 phantom 參數,讓 kernel 收下 False deep · 02 Kafka 的 payload,在 broker 上是密文 deep · 03 別猜瓶頸:TPU 的 Roofline 怎麼讀