关于推理速度的问题

[WGS-note]

作者你好，非常感谢回复！

我想请问：

1. 你这边的机器是什么型号？
2. 对于某个测试文本，你的推理速度是从多少秒到多少秒？
3. 显存占用会增加吗？

再次感谢！

[Bigfishering]

L40, 生成6s的音频大概需要0.5s，同样的环境下我看源码的推理速度在2s+，显存占用比较小。

[WGS-note]

非常感谢回复！我还想请问，我用 pytorch/pytorch:2.3.1-cuda12.1-cudnn8-devel 这个镜像可以吗？实在抱歉，我没有搜到你说的镜像。

非常感谢回复！

[Bigfishering]

非常感谢回复！我还想请问，我用 pytorch/pytorch:2.3.1-cuda12.1-cudnn8-devel 这个镜像可以吗？实在抱歉，我没有搜到你说的镜像。

非常感谢回复！

可以的，只要trt-llm能够正常运行的环境就行。

[WGS-note]

@Bigfishering 非常感谢作者的回复，我今天就尝试！

我还有一个问题：在原来的 F5-TTS 的 infer_process 中，是能够控制语速的，通过 speed 参数。

现在这样的话请问怎么控制语速呢？

非常感谢回复！

[WGS-note]

@Bigfishering 作者你好，非常感谢回复！

我还有一个问题，我在安装 tensorrt_llm 后，导入的时候报错：

 No module named 'tensorrt_llm.bindings'

我在它的 issue 中没有找到靠谱的解决办法。

非常感谢回复！