📢 公告欢迎来到Token世界！每个收录的token网站都是人工验证过的，请放心使用。

← 返回首页 / 💻 本地Token / ⚙️ 本地框架

T ✔ 已验

TensorRT-LLM

github.com

NVIDIA 官方推理加速库，FP8/INT4 量化加连续批处理，N 卡上吞吐最高

所属分类⚙️ 本地框架

所属地区美国

累计访问0

收录时间1970-01

有效期永久有效

可用状态正常

🚀 访问 🚩 反馈

相关推荐

O✔ 已验Ollama⭐荐一条命令跑起本地大模型，自动管理权重与显存，开发者首选美国详情

L✔ 已验LM Studio荐图形化本地模型运行工具，内置模型下载与对话界面，零基础可用美国详情

S✔ 已验SGLang面向结构化生成与高并发的推理框架，RadixAttention 复用前缀缓存美国详情

L✔ 已验LocalAI本地 OpenAI 兼容 API，支持文本、图像、语音模型，可完全离线运行欧洲详情

l✔ 已验llama.cppC++ 实现的推理核心，量化后可在 CPU 与低显存设备上跑模型美国详情

v✔ 已验vLLM高吞吐推理引擎，PagedAttention 显著提升并发能力，生产环境常用美国详情