新闻详情

新闻详情

首页 / 资讯中心 / 详情

1000 tokens/s 到底有多快?我用 8 次 API 请求,测了 4 款国产大模型

发布时间:2026/9/22 16:15:01来源:尧图网络
1000 tokens/s 到底有多快?我用 8 次 API 请求,测了 4 款国产大模型
最近,我在小米 MiMo 的内测申请页面看到一个很夸张的数字:MiMo-V2.5-Pro-UltraSpeed 峰值速度 1000 tokens/s。页面同时给出了几个参照:行业模型平均约为 50~100 tokens/s,行业高速模型约为 400 tokens/s。单看数字,1000 tokens/s 是 100 tokens/s 的 10 倍,似乎意味着以前要等 10 秒的回答,现在 1 秒就能生成完。但模型速度真能这样换算吗?我没有等到内测资格,而是先在同一个 API 平台、同一台电脑和同一网络下,对 4 个模型做了一轮小规模流式测试。结果比“谁快谁慢”更有意思:决定使用体验的,不只是 TPS;同一个模型在云端的速度波动,有时比不同模型之间的差距还大。一、50~100 tokens/s,究竟是快还是慢?Token 是大模型处理和生成文字的基本单位。它不严格等于一个汉字,也不严格等于一个英文单词;不同模型的分词器还可能把同一句话切成不同数量的 Token。TPS(tokens per second)通常表示模型进入连续生成阶段后,每秒能输出多少个 Token。假设回答长度为 1000 个 Token,只计算生成阶段,理论耗时如下:生成速度生成 1000 Token 的理论时间50 tokens/s20 秒100 tokens/s10 秒400 tokens/s2.5 秒1000 tokens/s1 秒因此,50~100 tokens/s 并不算“不能用”。普通问答只有几百 Token 时,它已经能形成较流畅的打字效果;但如果要生成长代码、长报告,或者 Coding Agent 要连续调用模型几十次,差距会迅速累积。二、模型“开始得快”和“写得快”是两回事一次流式请求大致会经过下面几个阶段:发送请求 → 网络传输/服务排队 → 处理输入上下文 → 输出首字 → 持续生成 → 完成所以我记录了三个核心指标:TTFT(首字延迟):从发送请求到看到第一个字要等多久,最影响“它有没有立即理我”的感觉。TPS(持续生成速度):开始输出以后,每秒生成多少 Token,
网站建设高端定制企业官网
RELATED

相关资讯

更多精彩内容,欢迎继续阅读

较早相关资讯

最新相关资讯

冯旭视角下的Trace排查保姆级教程:3步定位报错根源 2026/9/23 13:05:37

冯旭视角下的Trace排查保姆级教程:3步定位报错根源

冯旭视角下的Trace排查保姆级教程:3步定位报错根源 盯着满屏红色的Stack Trace,脑子里全是浆糊?别慌,这行混了10年,见过太多人对着报错信息发呆。今天这篇保姆级教程,不整虚的,直接教你怎么像老手一样,在3秒内从一堆乱码里揪出真…

阅读更多 →
OpenClaw(龙虾)新手篇:openclaw.json 配置文件骨架与 CLI 验证 2026/9/23 13:05:37

OpenClaw(龙虾)新手篇:openclaw.json 配置文件骨架与 CLI 验证

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

阅读更多 →
PaddleNLP 大模型微调实战指南:从全参数 SFT 到 LoRA/QLoRA 与多种 PEFT 策略 2026/9/23 13:05:31

PaddleNLP 大模型微调实战指南:从全参数 SFT 到 LoRA/QLoRA 与多种 PEFT 策略

PaddleNLP 大模型微调实战指南:从全参数 SFT 到 LoRA/QLoRA 与多种 PEFT 策略 【免费下载链接】PaddleNLP Easy-to-use and powerful LLM and SLM library with awesome model zoo. 项目地址: https://gitcode.com/gh_mirrors/pa/PaddleNLP 导读 本文基于 P…

阅读更多 →
13岁最强RAPPER潮水速查手册源码拆解避坑指南 2026/9/23 13:05:24

13岁最强RAPPER潮水速查手册源码拆解避坑指南

13岁最强RAPPER潮水速查手册源码拆解避坑指南 官方文档堆砌概念,新人读三页就晕?别慌。 这份【13岁最强RAPPER潮水】速查手册,直击核心。 我们不看废话,直接扒开源码看骨头。 入口定位:从“潮水”到事件总线…

阅读更多 →
git-cliff 2.4.0 新特性全解析:Gitea 集成、可定制版本递增与模板上下文增强 2026/9/23 13:04:59

git-cliff 2.4.0 新特性全解析:Gitea 集成、可定制版本递增与模板上下文增强

git-cliff 2.4.0 新特性全解析:Gitea 集成、可定制版本递增与模板上下文增强 【免费下载链接】git-cliff A highly customizable Changelog Generator that follows Conventional Commit specifications ⛰️ 项目地址: https://gitcode.com/gh_mirrors/gi/git-c…

阅读更多 →
Python+Flask+dlib企业考勤系统:从环境搭建到人脸识别优化 2026/9/23 13:04:59

Python+Flask+dlib企业考勤系统:从环境搭建到人脸识别优化

简介:本资源是一套基于Python、Flask与dlib实现的企业人脸识别考勤管理系统,面向计算机相关专业的毕业设计、课程设计学生及需要人脸识别入门实战的开发者。项目已通过导师指导与答辩评审,获得97分评价,在Windows 10/11环境下完成…

阅读更多 →

今日资讯

本周资讯

本月资讯

看完文章仍有疑问?

联系尧图顾问,获取一对一建站咨询

立即免费咨询 📞 400-888-8888
📞