请问pp异构并行训练时，划分模型层列表是否只能通过手动设置？

[JinXiaozhao]

No description provided.

[aoyulong]

Yes, users currently have to set them manually. However, this can be avoided once we support auto-tuning for heterogeneous training.

[JinXiaozhao]

感谢回复，请问自动划分pp异构列表是否有计划？预计什么时间点支持？

[Caozhou1995]

预计Q4支持，这也是我们未来的一个比较重要feature。不仅仅是PP异构并行自动调优，我们未来也会陆续支持异构全并行策略下的自动调优。 敬请期待@JinXiaozhao

[JinXiaozhao]

@Caozhou1995 您好，请问最新的版本0.6.0中的并行策略自动寻优（AutoTuner）模块，是否支持PP异构stage列表划分？能否提供相关示例？期待您的解答！

[Caozhou1995]

现在仍在开发中，上线后回复您。@JinXiaozhao

[JinXiaozhao]

@Caozhou1995 您好，现在最新版本0.6.0版本中仅只支持对DP、TP、PP、CP进行自动寻优，不支持PP并行stage列表划分进行自动寻优？

[Caozhou1995]

目前还未支持，PP stage仍是均匀划分。不均匀划分目前正在与异构自动调优开发中。 @JinXiaozhao

[JinXiaozhao]

好的，感谢您的回复，期待异构并行策略自动寻优模型的发布！