跳转至

第1章:认识MinerU

学习目标

学完这一章,你将知道: - ✅ MinerU是什么?它能做什么? - ✅ 为什么要用MinerU?它有什么好处? - ✅ MinerU的基本工作原理 - ✅ 它适合用在哪些地方


1.1 MinerU是什么?

用一句话来说

MinerU是一个"智能PDF阅读器"。

它能帮你: - 📖 把PDF文档变成电脑能懂的格式 - 📊 自动提取表格、公式、图片 - 🔍 支持多种语言(中文、英文、日文等) - 🚀 处理速度很快,准确率很高


生活中的类比

想象一下:

传统方式(不用MinerU): 你拿到一本技术手册(PDF),想要提取里面的表格数据。 - 你需要手动打开PDF - 一个表格一个表格地复制 - 复制到Excel后再整理 - 如果表格跨页,还得手动拼接 - 100页的文档,可能需要几个小时

使用MinerU: - 把PDF扔给MinerU - 说:"帮我提取所有表格" - 几分钟后,所有表格都整理好了 - 直接导出成Excel,拿来就能用

这就像: - 传统方式 = 手动抄书 - MinerU = 自动扫描+文字识别


MinerU的诞生故事

MinerU是怎么来的?

故事开始: 有一天,科学家们想训练一个超级聪明的AI(叫InternLM)。 他们收集了很多科学论文(PDF格式),想让AI学习。

遇到问题:

  • 论文里有很多表格、公式、图片
  • 传统工具只能提取纯文字
  • 表格变成乱七八糟的文本
  • 公式看不懂,图片只当作图片

解决办法: - 于是,他们开发了MinerU - 专门处理复杂的PDF文档 - 把文档变成AI能懂的格式

结果: - AI能正确理解论文内容 - 训练效果大大提升 - MinerU也就开源给大家用了!


名字由来

MinerU = Miner(矿工) + U(You/User)

意思就是:像矿工一样,帮你从文档的"矿藏"中挖出有价值的信息!


1.2 MinerU能做什么?

5大核心功能

功能1:智能文字提取 📝

能做什么: - ✅ 把PDF里的文字提取出来 - ✅ 按照正确的阅读顺序排列 - ✅ 自动识别中英文等109种语言 - ✅ 扫描版的PDF也能识别(像手机拍照后识别)

举例:

Text Only
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
原始PDF(有表格、公式、图片混杂):
┌──────────────────────────────────┐
│  产品技术手册                   │
│  ┌──────┬──────┬──────┐       │
│  │电压  │电流  │功率  │       │
│  ├──────┼──────┼──────┤       │
│  │220V  │10A   │2200W │       │
│  └──────┴──────┴──────┘       │
│  公式:P = U × I               │
│  [产品外观图]                  │
└──────────────────────────────────┘

MinerU提取后:
1. 产品技术手册
2. 表格1.1:技术参数
   电压  电流  功率
   220V  10A   2200W
3. 公式:P = U × I
4. 图片:产品外观图(附带文字描述)


功能2:自动识别表格 📊

能做什么: - ✅ 自动找到文档中的所有表格 - ✅ 把表格整理成Excel格式 - ✅ 自动识别表格标题 - ✅ 跨页的表格能自动合并

举例:

Text Only
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
问题:一个表格在两页上怎么办?

传统工具:
第1页:┌──────┬──────┐
       │姓名  │年龄  │
       ├──────┼──────┤
       │张三  │25    │
       └──────┴──────┘

第2页:┌──────┬──────┐
       │李四  │30    │
       ├──────┼──────┤
       │王五  │28    │
       └──────┴──────┘
结果:识别成两个独立的表格 ❌

MinerU:
自动合并成一个完整表格 ✅
┌──────┬──────┐
│姓名  │年龄  │
├──────┼──────┤
│张三  │25    │
│李四  │30    │
│王五  │28    │
└──────┴──────┘


功能3:智能公式识别 🔢

能做什么: - ✅ 自动识别数学公式 - ✅ 转换成标准格式(LaTeX) - ✅ 区分行内公式和单独的公式 - ✅ 支持复杂的数学符号

举例:

Text Only
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
PDF中的公式:
      2
E = mc

MinerU转换后:
$E = mc^2$  (行内公式)

$$E = mc^2$$ (单独的公式)

这样电脑就能理解和搜索公式了!


功能4:智能图片提取 🖼️

能做什么: - ✅ 提取所有图片 - ✅ 自动生成图片描述(AI看图说话) - ✅ 识别图片标题 - ✅ 支持图片搜索

举例:

Text Only
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
PDF中的图片:
[一张手机产品的图片]

MinerU处理:
1. 提取图片 → phone_product.png
2. 生成描述:"这是一款黑色智能手机,正面有6.5英寸屏幕,
   后置三摄相机,侧面有音量键和电源键"
3. 提取标题:"图1.1 产品外观"

这样你就可以搜索"手机"找到这张图!


功能5:支持多种语言 🌍

能做什么: - ✅ 自动识别109种语言 - ✅ 中文、英文、日文、韩文、繁体中文等 - ✅ 阿拉伯语、泰语等小语种 - ✅ 自动选择正确的识别模型

支持的常见语言:

Text Only
1
2
3
4
5
6
7
8
✅ 中文(简体)
✅ 英文
✅ 日文
✅ 韩文
✅ 繁体中文
✅ 泰语
✅ 阿拉伯语
... 还有100+种语言


1.3 为什么要用MinerU?

对比传统工具

功能 传统工具 MinerU
文字提取 乱序 ✅ 按阅读顺序
表格提取 需要手动复制 ✅ 自动提取
公式识别 看不懂 ✅ 转换成标准格式
图片提取 只能看图 ✅ 有文字描述
多语言 只能中文/英文 ✅ 109种语言
扫描PDF 不支持 ✅ 自动OCR
处理速度 慢(手动) ✅ 快(自动)

实际应用场景

场景1:整理公司文档

问题: 公司有100+份合同PDF,需要提取关键信息: - 甲方、乙方是谁 - 合同金额 - 签署日期

不用MinerU: - 打开每个PDF - 手动查找信息 - 复制粘贴到Excel - 100份文档,可能需要几天

使用MinerU: - 批量处理100个PDF - 几分钟内全部处理完成 - 直接导出Excel - 省时省力,还不会出错


场景2:技术文档检索

问题: 公司技术手册有500页,想要快速找到: - 产品的技术参数 - 相关的公式 - 对应的图片

不用MinerU: - 手动翻阅500页 - 逐个查找 - 可能需要几小时

使用MinerU: - 搜索"技术参数" → 立即找到相关表格 - 搜索"公式" → 列出所有公式 - 搜索"产品图" → 找到所有产品图片 - 几秒钟搞定


场景3:学术论文分析

问题: 需要分析10篇论文,提取: - 论文标题、作者 - 核心公式 - 实验数据表格 - 关键图表

不用MinerU: - 每篇论文单独处理 - 手动提取信息 - 整理成表格 - 需要很长时间

使用MinerU: - 批量处理10篇论文 - 自动提取所有信息 - 直接导出结构化数据 - 大大提高效率


1.4 MinerU的工作原理

简单理解(用图书馆比喻)

想象一个智能图书馆:

Text Only
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
1. 你给MinerU一本书(PDF)
        ↓
2. MinerU快速阅读这本书
   - 哪里是标题?
   - 哪里是表格?
   - 哪里是公式?
   - 哪里是图片?
        ↓
3. MinerU把内容整理好
   - 文字按顺序排列
   - 表格整理成Excel
   - 公式转换成标准格式
   - 图片加上文字说明
        ↓
4. 给你一个整齐的文件夹
   - README.md(完整文字)
   - tables/(所有表格)
   - formulas/(所有公式)
   - images/(所有图片)

技术原理(简化版)

MinerU主要用了3个核心技术:

技术1:智能版面分析 👁️

作用: 像人眼一样,看懂PDF的版面布局

怎么做: - 识别哪里是标题 - 识别哪里是正文 - 识别哪里是表格 - 识别哪里是图片 - 识别阅读顺序

举例:

Text Only
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
PDF页面:
┌──────────────────┐
│  1. 产品介绍    │  ← 识别为标题
│                  │
│  这是产品介绍。  │  ← 识别为正文
│                  │
│  ┌──────────┐   │
│  │  表格1   │   │  ← 识别为表格
│  └──────────┘   │
│                  │
│  [图片1]        │  ← 识别为图片
└──────────────────┘


技术2:OCR文字识别 🔍

作用: 像扫描仪一样,识别图片里的文字

什么时候用: - 扫描版PDF(图片格式) - 手机拍照的文档 - 图片中的文字

怎么做: - 把图片里的文字"辨认"出来 - 支持109种语言 - 准确率高达95%+

举例:

Text Only
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
扫描的图片:
┌──────────────────┐
│  产 品 手 册    │  ← 图片里的字
│                  │
│  电 压:220V    │
│  电 流:10A     │
└──────────────────┘

OCR识别后:
产品手册
电压:220V
电流:10A


技术3:AI模型推理 🧠

作用: 像人脑一样,理解内容

用于: - 识别表格结构 - 识别数学公式 - 生成图片描述 - 提取语义信息

举例:

Text Only
1
2
3
AI看到一张产品图片 → 理解:这是手机,有屏幕、摄像头
AI看到一个复杂公式 → 理解:这是能量守恒公式
AI看到一个表格 → 理解:这是产品参数对比表


1.5 MinerU能帮我们做什么?

5大应用场景

场景1:构建智能知识库 📚

用途: - 把公司文档变成可搜索的知识库 - 员工可以快速找到需要的信息 - 搭配AI实现智能问答

举例:

Text Only
1
2
3
4
5
6
7
传统方式:
员工问:"产品A的功率是多少?"
管理员翻查 → "等等,我找一下文档..."

使用MinerU:
员工问:"产品A的功率是多少?"
AI立即回答:"产品A功率2200W"(自动从文档中检索)


场景2:自动化数据提取 📊

用途: - 批量提取合同信息 - 批量提取发票数据 - 批量整理表格数据

举例:

Text Only
1
2
3
4
5
6
7
8
手动方式:
打开合同A → 复制甲方乙方 → 粘贴到Excel
打开合同B → 复制甲方乙方 → 粘贴到Excel
... 重复100次

使用MinerU:
把100个合同拖给MinerU → 等待几分钟
得到一个Excel,里面所有信息都整理好了


场景3:文献分析系统 📖

用途: - 分析学术论文 - 提取核心公式 - 整理实验数据

举例:

Text Only
1
2
3
4
5
6
7
8
9
研究者需要找:
- 能量守恒的公式
- 对比实验的表格
- 实验结果的图表

使用MinerU:
搜索"能量守恒" → 立即找到所有相关公式
搜索"实验对比" → 立即找到所有相关表格
搜索"实验结果" → 立即找到所有相关图表


场景4:文档翻译 🌐

用途: - 提取多语言文档内容 - 转换为统一格式 - 方便翻译工具处理

举例:

Text Only
1
2
3
4
5
6
7
问题:有中英日三种语言的技术手册

传统方式:
分别用不同工具处理 → 格式混乱 → 难以整合

使用MinerU:
统一处理 → 统一格式 → 方便翻译


场景5:内容管理 📁

用途: - 归档文档 - 建立索引 - 便于检索

举例:

Text Only
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
公司积累的文档:
- 产品手册(50份)
- 技术规格书(100份)
- 用户指南(200份)
- 合同协议(500份)

使用MinerU:
全部提取结构化数据
建立统一检索系统
快速找到需要的文档


1.6 本章小结

核心要点

  1. MinerU是什么:
  2. 智能PDF阅读器
  3. 自动提取文字、表格、公式、图片
  4. 支持109种语言

  5. 核心功能:

  6. 智能文字提取
  7. 自动识别表格
  8. 智能公式识别
  9. 智能图片提取
  10. 支持多种语言

  11. 为什么用MinerU:

  12. 比传统工具更智能
  13. 自动化处理,省时省力
  14. 准确率高

  15. 工作原理:

  16. 版面分析 + OCR + AI模型
  17. 像智能图书馆管理员

  18. 应用场景:

  19. 智能知识库
  20. 自动数据提取
  21. 文献分析
  22. 文档翻译
  23. 内容管理

实践任务

任务1:理解MinerU

  • [ ] 用自己的话,解释什么是MinerU
  • [ ] 举一个生活中类似的例子
  • [ ] 想一想,MinerU能帮你解决什么问题?

任务2:思考应用场景

问题:在你的学习或工作中,哪里可以用到MinerU?