⚡ NPU Speed Console
Qwen3.8-27B · 单卡 昇腾 910B4 · vLLM Ascend
检测中…
对话终端
写一篇 1000 字的中文科技短文,主题自选。
发送
📝 中文长文
🐍 Python 代码
📦 JSON
🔢 数学
🌐 翻译
实时速度
--
tok/s
TTFT 首字延迟
--
已生成 token
0
总耗时
0.0s
结算 tok/s
--
Prompt tokens
--
正文字符
0
思考 thinking
effort
low
medium
xhigh
max_tokens
估系数
链路:speed.marlin-phone.me (CF Worker) → new-api → Tailscale/frp → NPU:8023(vLLM Ascend)
流式中显示“实时估算”(按字符÷系数),结束后用 usage 的 completion_tokens 结算真实 tok/s(含思考 token)。MTP 投机解码可能让流式 chunk ≠ token,故以结算为准。
并发压测
并发
1
2
4
8
max_tokens
开始压测
每个请求发同样 prompt,统计单路速度与聚合吞吐(多个序列共享同一次权重读取,单流 47 → 并发 4 路 ~120 tok/s)。