作者：滴答猫
Marker：开源的本地化PDF转Markdown工具
Marker是一个开源项目，专门用于将PDF文件转换为Markdown格式。它的设计目标是满足那些希望在本地环境中进行高效PDF处理的用户需求。Marker支持多语种转换，能够识别并输出LaTeX公式，同时还能提取PDF中的图片。由于是开源项目，Marker非常灵活且完全免费，特别适合有一定技术基础并且希望自定义处理流程的用户。
部署步骤：
Marker的部署过程相对简单，适合对命令行和Python环境有一定了解的用户。
1. 创建并激活Python虚拟环境：
首先，需要创建一个Python虚拟环境，以隔离Marker的依赖库。使用以下命令创建并激活环境：
python3 -m venv marker_env source marker_env/bin/activate
这将创建一个名为`marker_env`的虚拟环境，并激活它。在激活环境后，你可以开始安装Marker及其依赖项。
2. 安装PyTorch：
Marker依赖于PyTorch来进行一些复杂的计算。因此，你需要根据你的计算设备配置来安装合适的PyTorch版本。
首先，访问 [PyTorch官网](https://pytorch.org/) 查找适合你的操作系统、Python版本和硬件支持（如GPU、CUDA）的安装命令。
例如，如果你在Linux系统上使用CUDA 10.2，安装命令如下：
pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu102
如果你的系统没有CUDA支持或不打算使用GPU加速，则可以安装CPU版本：
pip install torch torchvision torchaudio
3. 安装Marker：
安装完PyTorch后，你就可以安装Marker了。通过pip命令来完成安装：
bash
pip install marker-pdf
这将自动安装Marker及其所需的其他依赖项。安装完成后，你就可以开始使用Marker进行PDF转换了。
使用指南：
Marker的使用非常简便，主要通过命令行进行操作。你只需使用一行命令即可完成PDF到Markdown的转换。
1. 转换单个文档：
若要转换单个PDF文件，可以使用以下命令：
marker_single --input /path/to/input.pdf --output /path/to/output.md --batch-size 2
命令解析：
- marker single：指定Marker转换的是单个PDF文件。
- --input：指定要转换的PDF文件路径。
- --output：指定转换后的Markdown文件存储路径。
- --batch-size：设置批处理大小，默认是2。这个参数决定了处理速度和所需显存大小，数值越大处理速度越快，但对显存要求也越高。
2. 转换多个文档：
Marker同样支持批量转换，即可以一次性处理整个文件夹中的所有PDF文件：
marker batch --input /path/to/pdf_folder --output /path/to/output_folder --batch-size 2
命令解析：
- marker batch：指定Marker进行批量PDF文件转换。
- --input：指定包含多个PDF文件的文件夹路径。
- --output：指定转换后Markdown文件的输出文件夹路径。
- 其余参数和单个文档转换的用法类似。
3. 高级配置与参数设置：
Marker还支持一些其他高级配置。例如，你可以指定是否要提取图片，或者调整批处理的显存占用情况。以下是一些常见的参数：
- --language：设置文档语言，如果处理的是非英文文档，可以指定语言代码（如`zh`表示中文）。
- --gpu：如果安装了CUDA并希望利用GPU加速，可以加上`--gpu`选项。
- --no-images：如果不希望提取PDF中的图片，可以添加这个参数来避免生成额外的图片文件。
执行过程：
1. 命令执行：
运行命令后，Marker会首先检查PDF文档的结构，识别阅读顺序，并依次处理每一页的内容。
在终端中，你可以看到Marker显示的进度条，帮助你跟踪转换过程的进度。
2. 生成的Markdown文件：
转换完成后，即可查看了生成的Markdown文件。结果显示，Marker能够成功提取正文和表格，并且LaTeX公式也得到了良好的转换。
需要注意的是，由于PDF格式的复杂性，某些特殊情况（如嵌套表格、非常规的公式布局）可能会导致转换不完全准确。因此，建议在生成Markdown文件后，快速浏览并手动修正可能出现的小问题。
3. 转换多个文档：
对于批量处理多个文档，Marker表现得同样稳定。只需指定文件夹路径，它就能自动遍历所有PDF文件并将其转换为Markdown格式，极大地提高了工作效率。
需要注意：
Marker虽然功能强大，但由于PDF格式的多样性和复杂性，它在处理某些特别复杂的文档时可能无法做到100%的准确提取。因此，在大批量使用Marker转换文档时，建议用户对生成的Markdown文件进行一次快速检查，以确保内容的准确性和完整性。
此外，Marker在处理过程中会占用较多的系统资源，尤其是当批处理文件较多且设置了较大的`batch-size`时。在实际使用过程中，我的丐版 MacBook Pro m1，明显感觉卡顿，因此，建议在性能较好的设备上运行Marker，以获得最佳的使用体验。
