📢 公告欢迎来到Token世界！每个收录的token网站都是人工验证过的，请放心使用。

← 返回首页 / 💻 本地Token / ⚙️ 本地框架

X ✔ 已验

Xinference

github.com

一键部署本地模型服务，自动生成 OpenAI 兼容接口，支持 LLM、Embedding、Rerank

所属分类⚙️ 本地框架

所属地区中国大陆

累计访问0

收录时间1970-01

有效期永久有效

可用状态正常

🚀 访问 🚩 反馈

相关推荐

O✔ 已验Ollama⭐荐一条命令跑起本地大模型，自动管理权重与显存，开发者首选美国详情

L✔ 已验LM Studio荐图形化本地模型运行工具，内置模型下载与对话界面，零基础可用美国详情

S✔ 已验SGLang面向结构化生成与高并发的推理框架，RadixAttention 复用前缀缓存美国详情

L✔ 已验LocalAI本地 OpenAI 兼容 API，支持文本、图像、语音模型，可完全离线运行欧洲详情

l✔ 已验llama.cppC++ 实现的推理核心，量化后可在 CPU 与低显存设备上跑模型美国详情

v✔ 已验vLLM高吞吐推理引擎，PagedAttention 显著提升并发能力，生产环境常用美国详情