👋 join us on Discord and WeChat
PDF文档中包含大量知识信息,然而提取高质量的PDF内容并非易事。为此,我们将PDF内容提取工作进行拆解:
- 布局检测:使用LayoutLMv3模型进行区域检测,如
图像
,表格
,标题
,文本
等; - 公式检测:使用YOLOv8进行公式检测,包含
行内公式
和行间公式
; - 公式识别:使用UniMERNet进行公式识别;
- 表格识别:使用StructEqTable进行表格识别;
- 光学字符识别:使用PaddleOCR进行文本识别;
注意: 由于文档类型的多样性,现有开源的布局检测和公式检测很难处理多样性的PDF文档,为此我们内容采集多样性数据进行标注和训练,使得在各类文档上取得精准的检测效果,细节参考布局检测和公式检测部分。对于公式识别,UniMERNet方法可以媲美商业软件,在各种类型公式识别上均匀很高的质量。对于OCR,我们采用PaddleOCR,对中英文OCR效果不错。
PDF内容提取框架如下图所示
2024.08.01
🎉🎉🎉 新增了StructEqTable表格识别模块用于表格内容提取,欢迎使用!2024.07.01
🎉🎉🎉 我们发布了PDF-Extract-Kit
,一个用于高质量PDF内容提取的综合工具包,包括布局检测
、公式检测
、公式识别
和OCR
。
<details>
<summary>PDF-Extract-Kit输出格式</summary>
```Bash
{
"layout_dets": [ # 页中的元素
{
"category_id": 0, # 类别编号, 0~9,13~15
"poly": [
136.0, # 坐标为图片坐标,需要转换回pdf坐标, 顺序是 左上-右上-右下-左下的x,y坐标
781.0,
340.0,
781.0,
340.0,
806.0,
136.0,
806.0
],
"score": 0.69, # 置信度
"latex": '' # 公式识别的结果,只有13,14有内容,其他为空,另外15是ocr的结果,这个key会换成text
},
...
],
"page_info": { # 页信息:提取bbox时的分辨率大小,如果有缩放可以基于该信息进行对齐
"page_no": 0, # 页数
"height": 1684, # 页高
"width": 1200 # 页宽
}
}
其中category_id包含的类型如下:
{0: 'title', # 标题
1: 'plain text', # 文本
2: 'abandon', # 包括页眉页脚页码和页面注释
3: 'figure', # 图片
4: 'figure_caption', # 图片描述
5: 'table', # 表格
6: 'table_caption', # 表格描述
7: 'table_footnote', # 表格注释
8: 'isolate_formula', # 行间公式(这个是layout的行间公式,优先级低于14)
9: 'formula_caption', # 行间公式的标号
13: 'inline_formula', # 行内公式
14: 'isolated_formula', # 行间公式
15: 'ocr_text'} # ocr识别结果
结合多样性PDF文档标注,我们训练了鲁棒的布局检测
和公式检测
模型。在论文、教材、研报、财报等多样性的PDF文档上,我们的pipeline都能得到准确的提取结果,对于扫描模糊、水印等情况也有较高鲁棒性。
现有开源模型多基于Arxiv论文类型数据进行训练,面对多样性的PDF文档,提取质量远不能达到实用需求。相比之下,我们的模型经过多样化数据训练,可以适应各种类型文档提取。
评测代码及详细信息请看这里。
我们与现有的开源Layout检测模型做了对比,包括DocXchain、Surya、360LayoutAnalysis的两个模型。而LayoutLMv3-SFT指的是我们在LayoutLMv3-base-chinese预训练权重的基础上进一步做了SFT训练后的模型。论文验证集由402张论文页面构成,教材验证集由587张不同来源的教材页面构成。
模型 | 论文验证集 | 教材验证集 | ||||
---|---|---|---|---|---|---|
mAP | AP50 | AR50 | mAP | AP50 | AR50 | |
DocXchain | 52.8 | 69.5 | 77.3 | 34.9 | 50.1 | 63.5 |
Surya | 24.2 | 39.4 | 66.1 | 13.9 | 23.3 | 49.9 |
360LayoutAnalysis-Paper | 37.7 | 53.6 | 59.8 | 20.7 | 31.3 | 43.6 |
360LayoutAnalysis-Report | 35.1 | 46.9 | 55.9 | 25.4 | 33.7 | 45.1 |
LayoutLMv3-SFT | 77.6 | 93.3 | 95.5 | 67.9 | 82.7 | 87.9 |
我们与开源的模型Pix2Text-MFD做了对比。另外,YOLOv8-Trained是我们在YOLOv8l模型的基础上训练后的权重。论文验证集由255张论文页面构成,多源验证集由789张不同来源的页面构成,包括教材、书籍等。
模型 | 论文验证集 | 多源验证集 | ||
---|---|---|---|---|
AP50 | AR50 | AP50 | AR50 | |
Pix2Text-MFD | 60.1 | 64.6 | 58.9 | 62.8 |
YOLOv8-Trained | 87.7 | 89.9 | 82.4 | 87.3 |
公式识别我们使用的是UniMERNet的权重,没有进一步的SFT训练,其精度验证结果可以在其GitHub页面获取。
表格识别我们使用的是StructEqTable的权重,用于将表格转换为LaTeX。相比于PP-StructureV2的表格识别,StructEqTable的识别能力更强,针对复杂表格也能够有不错的效果,但目前可能主要适用于学术论文中的数据,速度也有较大的提升空间,我们仍在不断迭代优化中。在一周内我们会将表格识别的功能同步更新到MinerU中。
conda create -n pipeline python=3.10
pip install -r requirements.txt
pip install https://github.com/opendatalab/PDF-Extract-Kit/raw/main/assets/whl/detectron2-0.6-cp310-cp310-linux_x86_64.whl
安装完环境后,可能还会遇到torch无法调用的错误,可以先把下面的库卸载,然后重新安装cuda12和cudnn。
pip uninstall nvidia-cusparse-cu12
参考模型下载下载所需模型权重
如需要在Windows上运行本项目,请参考在Windows环境下使用PDF-Extract-Kit。
如需要在macOS上运行本项目,请参考在macOS系统使用PDF-Extract-Kit。
python pdf_extract.py --pdf assets/examples/example.pdf
相关参数解释:
--pdf
待处理的pdf文件,如果传入一个文件夹,则会处理文件夹下的所有pdf文件。--output
处理结果保存的路径,默认是"output"--vis
是否对结果可视化,是则会把检测的结果可视化出来,主要是检测框和类别--render
是否把识别得的结果渲染出来,包括公式的latex代码,以及普通文本,都会渲染出来放在检测框中。注意:此过程非常耗时,另外也需要提前安装xelatex
和imagemagic
。
本项目专注使用模型对
多样性
文档进行高质量
内容提取,不涉及提取后内容拼接成新文档,如PDF转Markdown。如果有此类需求,请参考我们另一个Github项目: MinerU
- 表格解析:开发能够将表格图像转换成对应的LaTeX/Markdown格式源码的功能。
- 化学方程式检测:实现对化学方程式的自动检测。
- 化学方程式/图解识别:开发识别并解析化学方程式的模型。
- 阅读顺序排序模型:构建模型以确定文档中文本的正确阅读顺序。
PDF-Extract-Kit 旨在提供高质量PDF文件的提取能力。我们鼓励社区提出具体且有价值的需求,并欢迎大家共同参与,以不断改进PDF-Extract-Kit工具,推动科研及产业发展。
本项目采用 AGPL-3.0 协议开源。
由于本项目中使用了 YOLO 代码和 PyMuPDF 进行文件处理,这些组件都需要遵循 AGPL-3.0 协议。因此,为了确保遵守这些依赖项的许可证要求,本仓库整体采用 AGPL-3.0 协议。
- LayoutLMv3: 布局检测模型
- UniMERNet: 公式识别模型
- StructEqTable: 表格识别模型
- YOLO: 公式检测模型
- PaddleOCR: OCR模型
如果你觉得我们模型/代码/技术报告对你有帮助,请给我们⭐和引用📝,谢谢 :)
@article{wang2024mineru,
title={MinerU: An Open-Source Solution for Precise Document Content Extraction},
author={Wang, Bin and Xu, Chao and Zhao, Xiaomeng and Ouyang, Linke and Wu, Fan and Zhao, Zhiyuan and Xu, Rui and Liu, Kaiwen and Qu, Yuan and Shang, Fukai and others},
journal={arXiv preprint arXiv:2409.18839},
year={2024}
}
@misc{wang2024unimernet,
title={UniMERNet: A Universal Network for Real-World Mathematical Expression Recognition},
author={Bin Wang and Zhuangcheng Gu and Chao Xu and Bo Zhang and Botian Shi and Conghui He},
year={2024},
eprint={2404.15254},
archivePrefix={arXiv},
primaryClass={cs.CV}
}
@article{he2024opendatalab,
title={Opendatalab: Empowering general artificial intelligence with open datasets},
author={He, Conghui and Li, Wei and Jin, Zhenjiang and Xu, Chao and Wang, Bin and Lin, Dahua},
journal={arXiv preprint arXiv:2407.13773},
year={2024}
}