ハンコムのPDFパーサーがGitHubトレンディング1位に上った理由

Oswarldです。Google Discoverに表示された私のニュースレターを見つけて訪れてくださったのでしょうか？購読していただければ、面白くて有益なニュースレターをいちばん早くお届けできます。🙇

ハンコムのPDF抽出ツールが開発者たちの注目を集めました

ハンコムは3月23日、PDFデータ抽出ツール「OpenDataLoader PDF v2.0」が3月20日にGitHubの全言語トレンディングで1位になったと発表しました。同社によると、21日の1日でスターが1,800個以上増え、累計7,000個を超えました。私は最初、誰が作ったツールなのか分かりませんでした。利用規約と韓国語ページを見て韓国の開発者によるものかと思ったのですが、ハングルとコンピュータ（ハンコムの正式社名）が参加したプロジェクトだと知って驚きました。

私が関心を持ったのは、順位もさることながら製品を出した方法です。ハンコムオフィスを丸ごと販売するのではなく、文書からデータを取り出すツールを開発者が自ら入手して使えるように公開したからです。

私にとってハンコムは、HWP文書や公共機関の業務環境でよく目にする会社でした。そのため、海外の開発者たちがPDF処理用のオープンソースとしてこの会社に出会うという点が新鮮に感じられました。国内で慣れ親しんだ製品とは別の用途で技術を知らせる機会が生まれたわけです。

GitHubのトレンディングやスターは、関心が集まったという信号です。ただし、技術の正確度や実際の企業導入を証明する指標ではありません。関心を持った開発者たちが自分の文書に適用してみて、その後も使い続けるかどうかが、次に確認すべき点です。

ツールの性能はどのような条件で得られたのか、オープンソースとして公開した方式がハンコムの事業にどうつながり得るのかを見ていきます。

精度と速度は同じ設定で比較すべき

開発チームが公開したベンチマークは、200個のPDFファイルを対象に読み取り順序と表、見出し構造の抽出結果を評価します。4月6日公開のリポジトリの比較表における一部ツールの総合スコアとページ当たりの処理時間は次のとおりです。スコアは0〜1の範囲で高いほど良く、処理時間は短いほど速いです。

ツールと設定	総合スコア	ページ当たり処理時間
OpenDataLoader ハイブリッド	0.907	0.463秒
Docling	0.882	0.762秒
Nutrient	0.880	0.230秒
Marker	0.861	53.932秒
Unstructured hi_res	0.841	3.008秒
OpenDataLoader 通常モード	0.831	0.015秒

開発チーム自身によるベンチマークだという点も併せて見る必要があります。テスト文書と評価コードが公開されているため同じ手順で確認できますが、すべての種類のPDFで同じ順位が出るという意味ではありません。

ここで区別すべきなのはOpenDataLoaderの2つのモードです。0.907はハイブリッドモードの総合スコアであり、0.015秒は通常モードの処理時間です。通常モードの総合スコアは0.831、ハイブリッドの処理時間は0.463秒です。高い精度と最速の速度を、1つの設定で同時に得たかのように読んではいけません。

実際の処理時間は、文書の構成やハードウェア、OCRの使用有無、並列処理方式によって変わります。この表のページ当たりの時間をそのまま100万ページに乗じて、業務現場での所要時間を確定することはできません。導入する際は、実際によく扱う文書で抽出品質と速度を併せて測定する必要があります。OpenDataLoaderはローカル環境でCPUでも実行できるように設計されており、自分で試してみられるという利点があります。

企業文書から必要な内容を取り出す作業は、思った以上に難しいものです。PDFは画面に文書を一定の見た目で表示するのに適していますが、その中の読み取り順序や表の構造は、抽出しやすい形で保存されていない場合があります。多段組みの文書をどの順序で読むか、表の行と列をどうつなげるか、スキャン画像から文字をどう認識するかが問題になります。RAG¹で文書を検索させて回答させるには、こうした前処理の品質を確認する必要があります。

OpenDataLoaderは、規則に従って直接抽出する処理とAIモデルを利用する処理を組み合わせます。一般的なページは高速に処理し、複雑な表やスキャン文書などにはAI機能を活用できます。ハイブリッド機能にはDocling系のツールも使われています。競合ツールをすべて独自技術で置き換えた結果というより、既存技術を組み合わせて文書処理に最適化した設計と見るほうが正確です。