vatt'ghern jaskier's ballads

2026.09.16 —— 今日 10 則

TODAY'S THREAD 今天好幾則都在翻同一種帳:東西早就擺在那裡,只是沒人去讀——robots.txt 裡的那一行、Docker image history 的 created_by 欄位、MI250 上排錯位的 expert 權重,讀了才知道代價記在誰的帳上。

10 items ai · 2 systems · 3 infra · 2 web · 1 backend · 2
0 / 10 read
#06

prefill 與 decode 分家

IEEE Spectrum 把 2026 年的推論硬體整理成同一個動作:prefill 留給 GPU、decode 交給記憶體頻寬更寬的專用晶片。Nvidia 在 2025 年底以約 200 億美元買下 Groq 的 IP 與團隊,Groq 3 LPU 帶 500MB on-die SRAM、一個機櫃 256 顆;AWS 這邊讓 Trainium 做 prefill、Cerebras WSE-3 以 44GB 晶上 SRAM 做 decode,文中舉的 GPT-5.3-Codex-Spark 每秒吐出逾千個 token,對照標準 GPT-5.4 的每秒 50 到 125 個。記憶體派的做法更直接,d-Matrix Raptor 把運算疊在 DRAM 上讓資料只走微米、Majestic Labs 用自家銅鏈把單一機櫃推到 128TB DRAM,對照 Nvidia GB300 NVL72 約 20TB 的 HBM3E,而 HBM 本身就比 DRAM 貴上兩到三倍。

read source → inference-hardware

#07

專家權重擺錯了位置

這篇 9 月 14 日上 arXiv 的工程報告處理的是把 DeepSeek-V4-Flash 搬上 AMD Instinct MI250,作者先揪出一個 routed-expert W2 的 layout 不一致,輸出錯誤的來源在那裡,不在精度。修好之後才談效能:FP4 量化的 MoE 配 INT8 activation 量化、CDNA2 的 MFMA kernel、sparse attention 與 HIP graph,整套接進 SGLang 的 tensor 與 expert 平行。四張 MI250 GCD、TP4/EP1 的組態下 decode 約每秒 74.5 個 token、prefill 每秒 2,234 個輸入 token,4,604 個 token 的提示詞 TTFT 約 2.061 秒,作者點名的瓶頸不只記憶體頻寬,還有 FP4 執行格式不合、low-M 利用率與逐層同步成本。

read source → rocm

#03

把 async 搬進 runtime

.NET 11 的效能整理裡最結構性的一塊是 runtime async——把 async 狀態機的降級從 C# 編譯器搬進 runtime,兩層同步完成的 async 鏈快三倍、配置從 144 B 變成 0 B,穿過三十層的 async 例外處理從 65.974 微秒掉到 11.254 微秒,帶十個 async 方法的範例程式從 10,752 位元組縮到 5,632 位元組。JIT 那側是逃逸分析把 enumerator 搬上堆疊,走 IEnumerable<int> 的 collection expression 從 13.874 奈秒掉到 2.674 奈秒、省掉 32 位元組的配置。邊界檢查消除也擴了一輪,多個常數索引改用單一守衛之後 Sum16 從 2.958 奈秒降到 1.828 奈秒,另外 CoreCLR 的 delegate 少掉一個指標大小的欄位,64 位元行程每個 delegate 省 8 位元組。

read source → deep read dotnet

#08

現在掉資料是預期行為

署名 ori@eigenstate.org 的作者在 9 月 15 日把 9front 的 GEFS——一個 crash-safe、支援快照的 copy-on-write 檔案系統——以不到 9,000 行核心程式碼搬進 OpenBSD,標題自己寫明這是非常早期的預覽。Plan 9 與 OpenBSD 兩邊各留一份獨立副本、不抽共用抽象層,好讓各自的修補不互相牽制。作者自己列的未完成清單很長:superblock 必須排在快照資料之後落盤這件事還沒有可靠的寫入順序保證、錯誤處理大致停用、沒有 userspace 工具所以建檔案系統得先開 9front 虛擬機,hardlink、kqueue、NFS、bootloader 與配額全缺,原文的說法是「data loss is currently expected, especially on error」。

read source → filesystem

#09

八十三個 crate 的破口

這篇 9 月 9 日上 arXiv 的工具叫 UnsafeChecker,處理的是 Rust safe abstraction 的健全性——低階套件把 raw pointer 操作包進安全 API,包錯了等於把 unsafe 洩漏給呼叫端。實作接進編譯器、在 MIR 上做流敏感的抽象詮釋,同時追蹤所有權、物件有效性與 layout 三種狀態,既抓指令層的未定義行為,也抓能從安全 API 觸發的邊界契約違規。在 46 個 RustSec 漏洞、53 個已知 bug 的基準上命中 32 個 CVE、涵蓋 36 個 bug,召回率 67.9%、警報層級精確度 51.6%;掃過 crates.io 之後在 83 個 crate 裡找出 114 個先前未知的 bug,45 個獲確認、27 個維護者已經修掉。

read source → rust

#01

想被搜尋,不想被訓練

Cloudflare 把爬蟲行為拆成 search、training、agent 三類,新的 Disallow AI Training 設定會把這個偏好寫進 robots.txt,讓網站留在搜尋索引裡、同時拒絕同一隻爬蟲拿內容去訓練,改動自 9 月 15 日起生效。難處一向不在設定,而在對面讀不讀——Cloudflare 因此給出 Accountable 這個標記,門檻是提供訓練與 AI 摘要的退出方式、逐 URL 揭露抓走了哪些頁面並附上搜尋指標,以及保證退出訓練不會動到搜尋排名。目前 Google 走 Google-Extended、Apple 走 Applebot-Extended,Microsoft 的 Bingbot 現在只認 NOARCHIVE meta tag,robots.txt 的 no-training 偏好要等到 2027 年初;Amazon、Anthropic、Meta 與 OpenAI 則是搜尋與訓練各跑一隻爬蟲,擋訓練不影響被搜尋到。

read source → deep read robots-txt

#02

核心跟著請求走

這篇 9 月 12 日上 arXiv 的論文先量出多租戶微服務的稅:在 hotelReservation 上把租戶從兩個加到十個,單跳延遲從 39 微秒漲到 222 微秒,十跳路徑的中位數從 456 微秒漲到 2,445 微秒。作者的診斷是配置器被擺在關鍵路徑上,於是提出 scheduling group——同一組裡的 runtime 被配置器當成一個單位,發出 RPC 的服務可以走一條不需特權的核心快速路徑把核心直接讓給下游,核心跟著請求走完整條呼叫鏈,配置器只在事後做對帳、核心定址撤回與共用預算。量到的結果是中位數比 Caladan 快最多 7.9 倍、尾端 4.1 倍,對 Linux 是中位數 3.4 倍、尾端 14.2 倍,配置器負載則從 Θ(R·H) 降到 Θ(R)。

read source → scheduler

#10

AVIF 把那個優勢吃掉了

這篇把 JPEG XL 跟 AVIF、WebP 擺在 CVVDP、MS-SSIM 與 SSIMULACRA2 三組感知指標上比,作者的結論是 AVIF 現在整個保真度區間都佔上風,JXL 原本那個「高品質端更好」的優勢因此消失。無損那側的差距也沒有想像中大,在 157 張 MP 照片、10 張插畫與 27 本書的資料集上,無損 JXL 只比無損 WebP 小約 11.9%。解碼速度反而是硬傷——在對齊檔案大小的測試裡 WebP 比 jxl-rs 快十倍以上,JPEG 重壓縮省下 20% 但解碼多花約三分之一時間,作者手上一張 1,918 位元組的病態圖在 M5 Pro 上要解 17.43 秒。

read source → image-codec

#04

二十五分鐘拿到 admin

Strix 的 agent 從子網域與憑證透明紀錄列舉出 gcp-us-east4-zlw.registry.baseten.co,那是一個不必認證就讀得到的 Harbor 專案,於是拉下 baseten/baseten-app 的 manifest 與 layer,用 TruffleHog 掃過之後在 Docker image history 的 created_by 欄位裡撈到一枚 GitHub personal access token。token 屬於 basetenbot、帶 repo scope,對主產品、GitOps 部署與 Homebrew 三個 repo 都有 admin 與 push 權限,還讀得到裝著客戶目錄的私有 repo。image 建於 2023 年 3 月 3 日,2026 年 7 月才被翻出來,7 月 13 日晚間通報、7 月 14 日下午 Baseten 確認為 critical 並輪替 token;整條鏈 agent 自己跑完大約 25 分鐘,手上沒有原始碼也沒有憑證。

read source → deep read supply-chain

#05

一天兩億九千萬次寫入

Copilot Studio 的 agent flow 撞上 Redis 伺服器負載過高與反覆的連線失敗,團隊回頭數才發現光是一份環境對應快取每天就寫進大約 2.9 億次、約佔該區域 16% 的操作,而對應的讀取少得可憐。先砍掉那些寫入、保留 L1 記憶體快取、對 flow 存取與計費查詢加一分鐘 TTL 的本機快取並把負面結果也快取起來,歐洲的伺服器負載就從 75% 掉到 15%、美國從 75 到 95% 掉到約 40%。搬到 Azure Managed Redis 是後面的事,同時把 StackExchange.Redis 升到 3.0 換掉 DOM 式的回覆解析器、改用序列化且有節奏的重連,總 Redis 成本相對搬遷前基線降了 72%。

read source → redis

today's deep reads

deep · 01 把 async 搬進 runtime deep · 02 二十五分鐘拿到 admin deep · 03 想被搜尋,不想被訓練