第5节课作业(2班)

[MING-ZCH]

在下方讨论区提交作业（图片/链接形式均可）~

基础作业：

• 使用 LMDeploy 以本地对话、网页Gradio、API服务中的一种方式部署 InternLM-Chat-7B 模型，生成 300 字的小故事（需截图）

进阶作业（可选做）：

• 将第四节课训练自我认知小助手模型使用 LMDeploy 量化部署到 OpenXLab 平台。
• 对internlm-chat-7b模型进行量化，并同时使用KV Cache量化，使用量化后的模型完成API服务的部署，分别对比模型量化前后和 KV Cache 量化前后的显存大小（将 bs设置为 1 和 max len 设置为512）。
• 在自己的任务数据集上任取若干条进行Benchmark测试，测试方向包括：
  （1）TurboMind推理+Python代码集成
  （2）在（1）的基础上采用W4A16量化
  （3）在（1）的基础上开启KV Cache量化
  （4）在（2）的基础上开启KV Cache量化
  （5）使用Huggingface推理

⭐备注：由于进阶作业较难，完成基础作业之后就可以先提交作业了，在后续的大作业项目中使用这些技术将作为重要的加分点！

[DarthThomas]

基础作业

[kyrie2to11]

InterLM L-5: LMDeploy 大模型量化部署实践 基础作业打卡~

[xulinui]

https://h90ag9106t.feishu.cn/docx/X8eudSxnBowylDxETKcc75JVnyb

[ZixinxinWang]

基础作业：
利用api:

[CoderJackZhu]

基础作业：
使用api：

使用gradio前端

进阶作业（可选做）：
量化后的显存：

[pranerd]

基础作业：
使用本地对话：

使用API服务：



使用gradio
gradio想到相当于client，有两种处理方式
这里直接启动作为前端的 Gradio

Gradio+ApiServer。必须先开启 Server，此时 Gradio 为 Client

lmdeploy serve gradio http://0.0.0.0:23333 \
	--server_name 0.0.0.0 \
	--server_port 6006 \
	--restful_api True

也可以直接启动 Gradio，此时没有 API Server，TurboMind 直接与 Gradio 通信。具体命令为：
lmdeploy serve gradio ./workspace

[RyanWu31]

https://github.com/RyanWu31/tutorial_notebook/blob/main/README.md

[dcuplover]

[songyuc]

基础作业：

• 使用 LMDeploy 以本地对话、网页Gradio、API服务中的一种方式部署 InternLM-Chat-7B 模型，生成 300 字的小故事

[YanxingLiu]

基础作业：
使用 LMDeploy 以本地对话、网页Gradio、API服务中的一种方式部署 InternLM-Chat-7B 模型，生成 300 字的小故事

[zyy0831]

使用 LMDeploy 以API服务方式部署 InternLM-Chat-7B 模型，生成 300 字的小故事

[Mr-Vincenyang]

基础作业：
使用 LMDeploy 以本地对话、网页Gradio、API服务中的一种方式部署 InternLM-Chat-7B 模型，生成 300 字的小故事

[PrinceRay7]

第五节课作业
https://github.com/PrinceRay7/InternLM_HW/blob/main/hw5/homework/homework.md

[ljqiff]

基础作业：
使用 LMDeploy 以本地对话、网页Gradio、API服务中的一种方式部署 InternLM-Chat-7B 模型，生成 300 字的小故事（需截图）

本地：

网页Gradio：

API：

进阶作业（可选做）：
将第四节课训练自我认知小助手模型使用 LMDeploy 量化部署到 OpenXLab 平台。
部署：
MoelScope 平台。
https://www.modelscope.cn/models/ljqiff/learn4class/summary
OpenXlab
https://openxlab.org.cn/apps/detail/ljqiff/CarLLMTest
对internlm-chat-7b模型进行量化，并同时使用KV Cache量化，使用量化后的模型完成API服务的部署，分别对比模型量化前后和 KV Cache 量化前后的显存大小（将 bs设置为 1 和 max len 设置为512）。
在自己的任务数据集上任取若干条进行Benchmark测试，测试方向包括：
（1）TurboMind推理+Python代码集成
（2）在（1）的基础上采用W4A16量化

（3）在（1）的基础上开启KV Cache量化
（4）在（2）的基础上开启KV Cache量化
（5）使用Huggingface推理

[kishiokon]

本地对话形式生成小故事

[kaoyansoft123]

基础作业：生成300字小故事

1.TurboMind 推理+命令行本地对话

2.TurboMind推理+API服务



3.TurboMind 服务作为后端

4.TurboMind 推理作为后端

量化比较：
1.W4A16 量化：

2.KV Cache 量化+W4A16 量化