offline和online推理速度差异

[CaA23187]

我在X86平台和ARM平台上测试offline和online的RTF, 发现online版本会慢上27倍左右. 但是从CPU占用率上看, 两个版本的GTCRN的使用率都接近100%, 请问这运行速度上的差异可能是什么原因导致的?

[Xiaobin-Rong]

online 版本比 offline 慢是合理的，考虑卷积的 online 和 offline 两种形式，前者实际上相当于写了一个 for 循环来处理数据，而后者直接对数据进行并行处理。如果考虑 RNN 的 online/offline 的话，虽然不能并行处理，但是后者的 pytorch 实现是用 C代码写的，所以还是会快。