Skip to content

A repo for some implementation of papers's network structure

License

Notifications You must be signed in to change notification settings

jiaohuix/Mlp-Mixer-Paddle

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

49 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Mlp-Mixer论文复现

​ Mlp-mixer是谷歌5月份提出的基于纯mlp结构的cv框架,用来替代卷积和Transformer里的注意力操作。

​ 本项目用b16规模的mixer,使用在imagenet和imagenet21k上预训练的权重,在cifar10数据集上验证准确率分别达到了96.8%(2epoch)和97.18%(2epoch)。

curve

acc

Tree

# 目录结构
/paddle
├── align.py # 权重对齐
├── ckpt/ # 两个预训练模型
├── conf
│   └── base.yaml # 配置文件
├── main.py # 运行
├── models/ # mixer代码
├── run.sh # 运行
├── scrips.py # 加载数据、训练、评估
└── utils/ # 日志

Train

python main.py --config ./conf/base.yaml --mode train
或
./run.sh 0

Evaluate

python main.py  --config ./conf/base.yaml --mode eval
或
./run.sh 1

Link

注:

1.换预训练权重需要修改yaml配置文件里的model name(1k或21k);

2.权重地址:

3.可以移步aistudio直接运行:

aistudio Mlp-Mixer Paddle 复现

另:

Mlp-Mixer论文地址

csdn:Mlp-Mixer简介

About

A repo for some implementation of papers's network structure

Resources

License

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published