Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

关于大模型下载与保存优化建议,以及chat的回复速度有点慢 #22

Open
ProwithAI opened this issue May 29, 2024 · 2 comments

Comments

@ProwithAI
Copy link

第一次用上支持中文模型为主的chat工具。太好了。下载了Qwen,发现是下载了七八个模型。我很好好奇,加载模型时,加载了哪一个呢?期待看到后续版本支持可二次选择单个模型文件下载。
大模型保存。发现是可以使用gguf模型,太好了。检查大模型的保存路径,发现由于路径设置的第二级三级差异,没法与LMStudio文件夹内的gguf模型做共用。希望能考虑支持共用已下载的模型问题。
先试用了chat功能,对比LMStudio, chatbox, ollama,同一模型,yuanchat回复速度明显有点慢。希望能继续优化提高速度。
后续会试用rag功能。

@Huifu1018
Copy link
Contributor

第一次用上支持中文模型为主的chat工具。太好了。下载了Qwen,发现是下载了七八个模型。我很好好奇,加载模型时,加载了哪一个呢?期待看到后续版本支持可二次选择单个模型文件下载。 大模型保存。发现是可以使用gguf模型,太好了。检查大模型的保存路径,发现由于路径设置的第二级三级差异,没法与LMStudio文件夹内的gguf模型做共用。希望能考虑支持共用已下载的模型问题。 先试用了chat功能,对比LMStudio, chatbox, ollama,同一模型,yuanchat回复速度明显有点慢。希望能继续优化提高速度。 后续会试用rag功能。

感谢支持,您的建议我们已经转化为需求,在新的版本中已经对模型版本、格式、精度 进行区分;
此外,还有更多特性会一并在新版本中发布🎉

@Iamlovingit
Copy link
Collaborator

@ProwithAI YuanChat V0.5版本已经发布,欢迎体验, 链接

新版本中支持单文件下载~

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

3 participants