TorchServe 是PyTorch 中将模型部署到生产环境的一个解决方案。它用HTTP 或HTTPS API 封装模型，可以处理多种任务，包括为部署模型分配workers、负责客户端和服务器之间通信等。

10月份发布的TorchServe 0.12 增加了对GenAI的支持，简化了大语言模型的部署，增加了对主流模型引擎的内置支持，如 vLLM 和 TRT-LLM。

vLLM 引擎是目前执行LLM的最佳方式之一，TorchServe为vLLM部署到生产环境中提供了必要的一些功能，比如自定义metric、模型版本控制等。并且TorchServe能够通过灵活的自定义处理程序设计，集成RAG等功能或者Llama Guard（Meta发布的大模型，集成了多种安全检测技术，能够在模型处理输入之前，对潜在的风险进行预判和拦截，从而保护模型免受恶意输入的侵害。）等保护措施。所以集成了vLLM的TorchServe可以创建用于生产环境的LLM服务。

TorchServe还引入了一种异步模式，用以提高硬件利用率。它将传入的请求直接转发到后端，供vLLM使用，而不是之前的同步模式，需要等待预定义的时间或者有足够的请求时才传到后端。这样vLLM可以自主决定何时处理哪些请求，有助于优化资源分配，实现高效的负载管理。并且在流式模式下，一旦生成首个token，结果可以立即返回并持续输出，减少用户的等待时间。

目前TorchServe实现了单节点多GPU的分布式推理，未来计划实现多节点推理，并提供预构建的Docker image以简化部署过程。

参考链接： ​ ​​ ​

原文链接：​ ​​ ​