vatt'ghern jaskier's ballads

2026.08.01 —— 今日 10 則

TODAY'S THREAD 今天的共同線索是減法:GitHub 把那個提前退出的 break 刪掉,case-fold 才從 3.1 GiB/s 跑到 45 GiB/s 以上;Manifest 關掉自己做了四個月的 LLM router;一篇把 token 預算對齊的論文量到所有「讓模型檢查自己輸出」的方法都輸給單純重複取樣;而 Tailscale 檢討 Hugging Face 入侵時指向的,同樣是一把本來就不該躺在 secret store 裡的可重複使用 auth key。

10 items ai · 3 systems · 2 infra · 3 web · 1 backend · 1
0 / 10 read
#01

181 個節點,一把可重複使用的 auth key

Tailscale 出面檢討 Hugging Face 那起入侵,開頭就把自己撇清得很明確——沒有任何 Tailscale 漏洞被找到或被利用,攻擊者拿的是 production secret store 裡 136 把金鑰之一,一把用來開 CI 節點、可重複使用的 auth key,接著花好幾天把總共 181 個節點加進對方的 tailnet。整起事件事後復原出 17,600 個動作,橫跨四天半。Tailscale 自己的結論寫得很不客氣:「In a world of rogue AI agents, the big credential vault is the prize. It's not okay anymore.」

read source → deep read ai-agents

#04

做了四個月的 LLM router,關掉

Manifest 把一個依複雜度分四級、跨 Anthropic 與 OpenAI 等供應商自動選模型的 router 停掉,理由不是它選錯,是它跟 cache 打架:cache read 比未命中的輸入便宜 75% 到 90%,而一個有效的 router 為了吃到 system prompt 與對話歷史的 cache 必須維持 model stickiness,正好抵消自己存在的理由。更根本的一條是複雜度在 prompt 階段量不出來——同一句「評估並改善這個 repo 的測試」,指向純 HTML5 的個人網站是很簡單的任務,指向 Linux kernel repo 就是「incredibly complex」,而決定複雜度的脈絡多半要等 tool call 與搜尋展開才浮現。這個 router 服務過 7,000 名 cloud 使用者、跑了四個月,九月一日關閉。

read source → llm-serving

#05

讓模型檢查自己,18 組比較全是負的

這篇把七種 inference-time 方法放回同樣的 token 預算下重測:1.5B、3B、7B 三種開源模型、兩個數學 benchmark、每組 150 題,連 critique、reflection 與 debate 消耗的 token 都算進成本。36 組配對比較裡沒有任何一種方法可靠地贏過單純重複取樣,十種可靠地更差,而全部 18 組「讓模型檢查自己輸出」的比較都是負的。最刺眼的是 Reflexion 在最小的模型上從未觸發過自己的重試——它每次都判定自己答對,安靜地退化成一條 chain of thought。

read source → inference-scaling

#02

rustc 半年快 5.59%,扣掉 rustdoc 只剩 2.90%

Nethercote 的週期性報告:2025 年 12 月到 2026 年 7 月之間,平均 wall-time 進步 5.59%,但把 rustdoc 的成果排除後只剩 2.90%。進步高度集中在周邊工具——rustdoc 整體 wall-time 掉了 28%,Clippy 靠移除 lint 的 no-op 虛擬呼叫在多數情況下快 10% 到 30%。核心路徑的收穫比較零碎:AST 的 expression 節點從 72 bytes 縮到 64 bytes,在少數吃 AST 的 benchmark 上有些換到 10% 以上的 wall-time,同一批 benchmark 的 cache miss 率最多降了 29%。

read source → deep read rust

#06

Futhark 現在幾乎什麼都能編到 GPU

Futhark 重寫了 flattening,把不規則的巢狀平行——像 map (\n -> i64.sum (iota n)) ns 這種每個元素長度不一樣的情況——先用 fission 拆成簡單運算,再以 segmented array(值向量加旗標向量)改寫成分段形式,作者說現在「modulo compiler bugs and a few unimportant edge cases」可以把任何 Futhark 程式編成平行 GPU 程式碼。代價講得很誠實:多數 benchmark 效能沒變,gmm.fut 的部分 Jacobian 計算有四倍加速,hand.fut 的 Jacobian 計算則因為 adjoint 程式碼被過度平行化,在部分(不是全部)workload 上最多慢兩倍。

read source → compilers

#03

把 break 拿掉,case-fold 才跑得動

GitHub 的 code search 要對 180M 個 repo、480TB 原始碼做 Unicode case folding,而把吞吐從 3.1 GiB/s 推到 45 GiB/s 以上的關鍵是刪掉一個最佳化——那個遇到第一個非 ASCII byte 就 break 的提前退出,讓 LLVM 無法向量化整個迴圈。拿掉 break 先到 7.6 GiB/s,改成全無分支(b.wrapping_sub(b'A') < 26 判斷、*b |= u8::from(is_upper) << 5 無條件寫回、迴圈跑完才偵測非 ASCII)才吃滿記憶體頻寬。他們順手把 1,484 組 fold 從約 11.6 KB 壓到 1,776 bytes。

read source → deep read simd

#07

MoQ relay 變成一次 API 呼叫

Cloudflare 把 Media over QUIC 的 relay 開成可佈建的資源:建一個 relay 不會啟動虛擬機、container 或專屬 process,只是在既有網路上加設定與憑證,官方說法是幾秒內就在全網可用。授權模型拆成 relay 與 token 兩種資源,token 可以只給 publish、只給 subscribe 或兩者,各自設到期與撤銷,發布端與觀看端因此拿到不同憑證,觀看端沒有機會劫持發布端的 track。預覽期間不限規模免費。

read source → quic

#08

回源那一段也換成 ML-DSA

Authenticated Origin Pulls 與 Custom Origin Trust Store 現在都吃 ML-DSA 憑證,也就是 FIPS 204 那組後量子簽章,補上 Cloudflare 到 origin 的第二段連線。三組參數 ML-DSA-44、65、87 都支援,官方建議用 44——NIST category 2 的強度,效能代價最小;私鑰要以 FIPS 204 的 seed-only 編碼上傳。Cloudflare 對生態的判斷是「ML-DSA support is increasingly ubiquitous across TLS libraries」,換句話說這件事多半會被例行更新推著走完。

read source → post-quantum

#09

把 JPEG 每一階段做成可以拉的

一份把 JPEG 有損壓縮拆成可互動階段的長文:色度通道縮放、頻域轉換、quality 滑桿驅動的量化、以及完整解碼與差異影像,都可以換內建圖片或上傳自己的圖來看。它把「為什麼可以先砍顏色」講得很具體——人眼視網膜約有 1.2 億個負責亮度的桿細胞,感色的錐細胞只有約 600 萬個,光是色度降採樣就把三個通道壓到一個半。作者對整件事的說法是「The trick to good lossy compression is to throw away information that nobody cares about」。

read source → compression

#10

.env 把三件事混成了一件

secretspec 的論點是 .env 把「傳字串給 process」這個交付機制升格成了需求的真相來源,順帶把設定與機密、runtime 值與 build-time 常數也混進同一個檔案,而 KEY=value 這種格式說不出一個值是不是必填、是不是機密、是不是只存在於 production。於是團隊只能靠 .env.local.env.production 這些檔名編碼環境模型,偏偏各家工具的載入順序互相矛盾——Node 的 dotenv 先到先贏,Docker Compose 後到先贏,Vite 讓既有的 process 變數優先。作者的結論是「A convenience became architecture」,提出的替代是把宣告、儲存與交付拆成三件獨立的事。

read source → secrets

today's deep reads

deep · 01 181 個節點,一把可重複使用的 auth key deep · 02 半年 5.59%:rustc 的效能帳本 deep · 03 把 break 拿掉,case-fold 才跑得動