vatt'ghern jaskier's ballads

2026.10.02 —— 今日 10 則

TODAY'S THREAD 今天不少新聞都在算「代價」:K2 用約 1 秒的 p99 寫入延遲換掉 broker 維運,GitHub 為了效能反而多送 CSS,turbopuffer 把向量索引降成次級索引來壓寫入放大,而沙盒能不能關住代理,則是看你願意給它多少權限。

10 items ai · 4 systems · 2 infra · 1 web · 1 backend · 2
0 / 10 read
#03

沙盒夠不夠關住失控的代理

Matthew Green 檢視公開事件後主張,代理要有用就得碰資料、工具與網路,所以完美隔離本來就做不到,用「監看模型」去盯代理則只是把安全問題換了形式。他認為更被忽略的威脅不是代理逃出沙盒,而是一群從不離開沙盒、卻對任何下指令的人言聽計從的代理,prompt injection 正是入口。

read source → deep read agent-security

#05

沒有 NVLink 的消費級 GPU 怎麼跑 MoE

論文 ThunderEP 針對只靠 PCIe 互連的消費級 GPU,最佳化專家平行(EP)通訊:去掉傳統 ring 演算法的中繼跳數,改用 DMA 引擎搬資料以避免佔用運算資源,並壓低同步延遲。在 RTX 4090 與 RTX 5090 上整合進 vLLM、測三個常見 MoE 模型,dispatch 比 NCCL 快 2.00 倍、combine 快 1.53 倍,端到端最高比現有最佳 MoE 推論框架快 1.66 倍。

read source → moe-inference

#09

挑出「適合 Claude」的科學問題

物理學教授 Matthew Schwartz 在 Anthropic 的客座文章中介紹 BootLoops 工具組:不要逼 Claude 學人類科學家的做法,而是找出「Claude-shaped」的問題,再與各領域專家合作把初步結果轉成研究貢獻。文中提到的成果橫跨生態學、群體遺傳學、系統發生學等十餘個領域,包括解出先前難解的積分。

read source → ai-for-science

#10

Qwen3.8-27B:密集 27B、原生 262K 脈絡

Hugging Face 上的 Qwen3.8-27B 是 Apache 2.0 授權的 27B 密集模型,64 層中交錯使用 Gated DeltaNet 與 Gated Attention,原生支援圖像與影片,脈絡長度原生 262,144、可延伸到 1,000,000 tokens。模型卡自報 SWE-bench Pro 61.7%、GPQA Diamond 89.2;思考模式預設開啟,可依請求關閉。這些分數都是官方自報。

read source → open-weights

#06

Git 3.0 預設 SHA-256 是不是在解錯題

GitButler 的文章反對 Git 3.0 即將改預設為 SHA-256,理由是 SHA-1 意外碰撞在實務上不會發生,真正的攻擊多半靠社交工程而非破解雜湊。更實際的代價是 SHA-1 與 SHA-256 的儲存庫無法混用,作者預期使用者建庫時得自己搞清楚該選哪一種格式,勢必造成困擾,並提議像 git-evtag 那樣另加獨立的 tree hash 標頭,不必動全生態。

read source → git

#07

Rust 編譯器兩個月平均快了 4.57%

Nicholas Nethercote 的月報指出,過去兩個月 629 個 benchmark 中 555 個變快,平均 wall-time 減少 4.57%。大項包括升級到 LLVM 23(平均約 1.2%)、為 Clippy 開啟 PGO(最佳情況快 18%),以及改動 dataflow 分析的 CFG 走訪方式,讓 cranelift-codegen 的 check build 少了約 30% 時間。

read source → rust

#02

Containers 重做,只為更快起出代理沙盒

Cloudflare 重建 Containers 來服務 agent sandbox:容器啟動時間中位數從 4.049 秒降到 648 毫秒,約快 6 倍,壓力測試中能在數秒內建出數十萬個容器。開發者現在可以在執行時才決定每個沙盒的映像與實例類型,檔案系統快照也進入 public beta,讓代理能接著上一次的工作環境繼續做事。

read source → deep read containers

#08

GitHub 為了效能,改成多送 CSS

GitHub 在 2026 年 6 月讓 github.com 全面改用 CSS Modules,移除 styled-components、styled-system 與 sx prop。遷移 Primer 元件後,伺服器端渲染一個頁面的時間少了 55%,頁面上元件的初始化時間少了 25%;sx prop 的用量從約 7,760 處降到 0,過程靠 feature flag 與視覺回歸測試分批上線。

read source → css

#01

K2 把事件串流建在 R2 上

Cloudflare 推出 K2,一個建在 R2 物件儲存上的 serverless 事件串流服務,用「在中間插入一個吸收寫入的服務」讓生產者與消費者各走各的步調。代價寫在文裡:因為要批次寫入來繞過物件儲存的限制,produce 延遲在 p99 約 1 秒。目前 beta 提供給 Workers Paid 使用者,每個 stream 上限 10GB 儲存與每秒 30 MB 寫入,beta 後的預期定價是每 GB 0.04 美元。

read source → deep read event-streaming

#04

turbopuffer 讓向量索引退為次級索引

turbopuffer 在 v3 把 ANN 向量索引降為「另一種次級索引」,不再讓它主導文件的儲存方式。原因之一是寫入放大:更新一個向量,可能因 SPFresh 的重新平衡而牽動文件上數百個屬性與索引。他們以 256 篇文件為區塊的 FTS v2 做出約 10 倍小的索引與最高 20 倍快的查詢;v3 目前通過 100% 的 CI,效能追平前不會上線。

read source → vector-search

today's deep reads

deep · 01 K2 把事件 log 蓋在 R2 上 deep · 02 Containers 重寫:agent sandbox 的啟動 deep · 03 沙盒沒破,命令卻進來了