1.安装环境

pip install torch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2
pip install -r requirements.txt
pip install flash-attn==2.5.6 --no-build-isolation

2.进入相应的目录里运行bash run.sh可以进行训练

LLARA-pretrain代码目前无法运行，是在之前的transformers版本上改的model，现在正在找与之前版本兼容的库