请问现在支持Yi-34B的awq 4bit部署吗？

[xyfZzz]

No description provided.

[hiworldwzj]

@xyfZzz 还不能很好的支持，一个是开源实现的triton int4weightonly gemm 算子性能不是很好。还有就是直接加载awq的权重需要去适配相关权重的加载。这个后续会继续优化提升。

[xyfZzz]

@xyfZzz 还不能很好的支持，一个是开源实现的triton int4weightonly gemm 算子性能不是很好。还有就是直接加载awq的权重需要去适配相关权重的加载。这个后续会继续优化提升。

好的，请问，那4bit gptq目前是不是也暂时不支持？

[hiworldwzj]

@xyfZzz 目前只有一些量化计算的算子支持了，默认情况下是直接量化原始的权重，没有做PTQ等权重调整，也还没有适配gptq这种量化后权重的加载。

[xyfZzz]

@xyfZzz 目前只有一些量化计算的算子支持了，默认情况下是直接量化原始的权重，没有做PTQ等权重调整，也还没有适配gptq这种量化后权重的加载。

好的，感谢大佬

[RanchiZhao]

available now？I simply do gptq and awq on Yi-6B, and try to do lora training on it, however, loss is Nan.