📢 公告欢迎来到Token世界！每个收录的token网站都是人工验证过的，请放心使用。

← 返回首页 / 💻 本地Token / ⚙️ 本地框架

S ✔ 已验

SGLang

github.com

面向结构化生成与高并发的推理框架，RadixAttention 复用前缀缓存

标签 SGLang 推理并发缓存

所属分类⚙️ 本地框架

所属地区美国

累计访问2

收录时间2026-11

有效期永久有效

可用状态未检测

🚀 访问 🚩 反馈

相关推荐

O✔ 已验Ollama⭐荐一条命令跑起本地大模型，自动管理权重与显存，开发者首选美国详情

L✔ 已验LM Studio荐图形化本地模型运行工具，内置模型下载与对话界面，零基础可用美国详情

L✔ 已验LocalAI本地 OpenAI 兼容 API，支持文本、图像、语音模型，可完全离线运行欧洲详情

l✔ 已验llama.cppC++ 实现的推理核心，量化后可在 CPU 与低显存设备上跑模型美国详情

v✔ 已验vLLM高吞吐推理引擎，PagedAttention 显著提升并发能力，生产环境常用美国详情

J✔ 已验Jan开源本地 AI 客户端，界面清爽，可离线运行并连接远程 API美国详情