vatt'ghern jaskier's ballads

#inference

10 posts tagged inference.

  1. 08.09
    2026.08.09 —— 今日 10 則
  2. 06.29
    邊緣端做投機解碼，何時才划算
  3. 06.29
    2026.06.29 —— 今日 9 則
  4. 06.29
    第 27 週 —— 把鬆掉的預設釘成硬邊界
  5. 06.27
    2026.06.27 —— 今日 10 則
  6. 06.22
    第 26 週 —— 拆開來逐項算帳
  7. 06.21
    用一張餐巾紙算清 LLM 推論的帳
  8. 06.21
    2026.06.21 —— 今日 10 則
  9. 06.11
    DiffusionGemma——把文字生成從自迴歸換成擴散去噪
  10. 06.09
    MiMo 把 1T 模型推到每秒千 token——FP4、DFlash 與常駐 kernel 的三層 co-design