第五课:LMDeploy 的量化和部署

大模型部署背景模型部署：将训练好的模型在特定软硬件环境中启动的过程，并且模型能够接收输入并返回预测结果
这一段讲得不清楚，感觉没说什么有用的。
LMDeploy简介 LMDeploy是LLM在英伟达设备上部署的全流程解决方案。核心功能

量化
推理引擎TurboMind

动手实践