PDFからMarkdownへの変換：MinerUを使用した実用的アプローチ

技術文書の取り扱いで、PDFフォーマットからの情報抽出に苦労した経験はないだろうか。精美的されたレイアウト、埋め込まれた画像、数式、テーブルを含むPDFドキュメントから効率的にテキストを抽出することは、従来は複雑な作業であった。コピー＆ペーストでは書式が失われ、テーブルの構造や数式の再到化は特に困難である。

本稿では、上海AIラボ開発したオープンソースツール「MinerU（魔方PDF）」を取り上げる。このツールはPDFを構造化されたMarkdown形式に変換するために設計されており、RAG（検索拡張生成）システムのドキュメント準備や、知識ベースの構築に非常に有効である。

1. Markdownを選択する理由

ドキュメント変換においてMarkdownを採用する背景には、いくつかの技術的利点がある。Markdownはシンプルなプレーンテキスト記法を使用し、タイトル、リスト、テーブル、コードブロックを明確に表現できる。

主な利点：

• 構造の明示化：ヘッダーレベル（#, ##, ###）によりドキュメントのアウトラインが明確化され、自动的なセクション認識が可能
• コンテンツの保持：コードブロック、テーブル、画像が適切に処理され、Markdown構文または外部ファイルとして保存
• 軽量性：純テキスト形式でサイズは小さく、Gitによるバージョン管理が容易

Markdownへの変換は、視覚指向のドキュメントを構造・意味指向のドキュメントに変換するプロセスであり、後続のテキスト分割、ベクトル化、檢索処理の効率を大幅に向上させる。

2. 環境構築とMinerUの導入

MinerUのコアコンポーネントはmagic-pdfというPythonライブラリである。システム環境を汚染しないよう、隔離された仮想環境でのセットアップを推奨する。

2.1 仮想環境の作成とライブラリインストール

Python標準のvenvを使用して仮想環境を作成する。

# 仮想環境の作成
python3.11 -m venv mineru_workspace

# 仮想環境の有効化
# Windowsの場合：
# mineru_workspace\Scripts\activate
# macOS/Linuxの場合：
source mineru_workspace/bin/activate

# magic-pdfの完全版をインストール（国内ミラー使用）
pip install -U "magic-pdf[full]" -i https://pypi.tuna.tsinghua.edu.cn/simple

注意点：

• Pythonバージョンは3.10〜3.12の範囲内である必要がある。筆者らは3.11での安定性を確認している
• [full]オプションによりOCR（光学的文字認識） 포함한全機能がインストールされる。スキャンされたPDFや画像内の文字処理に必須
• ネットワーク状況に応じてミラーソースを変更すること

2.2 事前学習済みモデルのダウンロード

MinerUのAIモデルは、ページレイアウト解析、テーブル検出、数式認識を担当する。ライブラリのインストール完了後、モデルファイルをダウンロードする必要がある。

# modelscopeライブラリのインストール（未導入の場合）
pip install modelscope

# モデルダウンロードスクリプトの取得
wget https://gcore.jsdelivr.net/gh/opendatalab/MinerU@master/scripts/download_models.py -O get_models.py

# スクリプトの実行（~/.magic-pdfディレクトリに保存される）
python get_models.py

公式リポジトリのネットワーク接続に問題がある場合は、ModelScopeからのダウンロードを検討されたい。

2.3 変換処理の実装

環境の準備が完了したら、実際の変換処理を試みる。以下は基本的な使用例である。

import os
from magic_pdf.data.data_reader_writer import FileBasedDataReader
from magic_pdf.data.dataset import PymuDocDataset
from magic_pdf.model.doc_analyze_by_custom_model import doc_analyze

def convert_pdf_to_markdown(pdf_path: str, output_dir: str) -> str:
    """
    PDFファイルをMarkdown形式に変換する
    
    Parameters:
        pdf_path: 入力PDFファイルのパス
        output_dir: 出力ディレクトリ
    
    Returns:
        生成されたMarkdownファイルのパス
    """
    # 出力ディレクトリの作成
    os.makedirs(output_dir, exist_ok=True)
    
    # PDFファイルのリーダー作成
    reader = FileBasedDataReader("")
    pdf_bytes = reader.read(pdf_path)
    
    # データセットの初期化
    ds = PymuDocDataset(pdf_bytes)
    
    # パイプラインによる自動処理
    if ds.classify() == "diy":
        # カスタムモデルを使用した解析
        pipe_result = ds.analyze_with_model(doc_analyze, "")
        pipe_result.pipe_markdown_mode(output_dir)
    
    # 出力ファイルの特定
    md_files = [f for f in os.listdir(output_dir) if f.endswith('.md')]
    return os.path.join(output_dir, md_files[0]) if md_files else ""

# 使用例
if __name__ == "__main__":
    input_file = "sample_document.pdf"
    output_path = "./converted_output"
    
    result = convert_pdf_to_markdown(input_file, output_path)
    print(f"変換完了: {result}")

このコードはPDFファイルを読み込み、MinerUの解析パイプラインを通じてMarkdownを生成する。出力にはテキスト、数式、テーブル、图片が含まれている。

3. 実戦での課題と解決策

実際の使用において、いくつかの一般的な課題に直面する可能性がある。

3.1 複雑なレイアウトの処理

マルチカラムレイアウトを持つドキュメントの場合、解析精度が低下することがある。この場合、事前処理としてlayout-awareオプションの有効化を推奨する。

3.2 数式の認識精度

複雑な数式が含まれる場合、MathMLまたはLaTeX形式での出力を検討されたい。出力モードの切り替えにより、最適な形式を選択できる。

3.3 テーブルの処理

複雑なマージセルを含むテーブルの場合、HTML形式での出力ほうが精度が高い場合がある。出力フォーマットは用途に応じて選択すること。

4. まとめ

MinerUはPDFからMarkdownへの変換において強力な選択肢となる。適切な環境構築と設定により、技術文書、レポート、学术論文など 다양한类型のドキュメント高效的に処理できる。実際のプロジェクトでは、パフォーマンスと出力品質のバランスを考量しながら、パラメータを調整されたい。