mac／Google Colabでの版面認識モデル微調整の可否と3.0系における学習手順について

[oushiei120]

お世話になっております。mac（Apple Silicon）およびGoogle Colab環境にて、版面認識モデルの微調整を試みておりますが、たびたびエラーにより失敗しており、難渋しております。

つきましては、3.0系版面識別の微調整のように、2.1系で提供されている次のノートブックに相当する資料（あるいは同等の手順）の有無をご教示いただけますでしょうか。

https://github.com/ndl-lab/ndlkotenocr_cli

•	/src/ndlkotensekilayout/train-layout.ipynb
•	/src/ndlkotensekilayout/cococonverter-NDLDocL.ipynb

[oushiei120]

加えて、近代日本の古籍資料を2.1系で処理したく、「NDL 2.1 OCR」＋「Labelme（ローカルで版面アノテーション修正）」＋「版面認識モデルの微調整」という流れを検討しております。3.0系の古籍モデルと比べても、2.1系の方が近代資料の版面認識精度は高く、頭注・割注・ルビ等のラベルも拾えるため、現状では2.1系が有用と感じています。ただし、2.1系の出力には列ラベルの上に段落ラベルが重なる（テキスト枠に加えて段落枠が重複する）ケースが見られ、ローカルでのラベル修正に支障が出ています。段落ラベルを削除すると学習への影響が懸念されるため、この点で作業が滞っております。より適切な対処方法や推奨手順がありましたらご教示いただけますと幸いです。

[ndl-lab-staff]

ご質問ありがとうございます。
NDLOCRの学習用スクリプトを準備しますので、数日お待ちください。

レイアウト認識については、
https://github.com/ndl-lab/ndl_layout/blob/master/tools/preprocess.py

を使うことで、NDLOCRの出力形式（https://github.com/ndl-lab/ndlocr_cli/blob/master/ndlocr-xmlformat.md
）をレイアウト認識モデルの学習用のデータセットの形式に変換可能なのですが、使い方がわかりづらいかと思いますので、サポート用のスクリプトを用意する想定です。

「NDL 2.1 OCR」＋「Labelme（ローカルで版面アノテーション修正）」＋「版面認識モデルの微調整」
については、xmlをパースする際にいったんtextblockの領域を消去して出力しておき、labelmeで修正作業後、修正済みのxml（textblockが含まれないもの）とtextblock座標をマージするとよいのではないかと思いました。

line要素やblock要素には矩形座標が含まれ、textblokにはpolygonの座標が含まれるので、図形的に包含関係を判定してマージすることは簡単と思います。

[oushiei120]

ご返信ありがとうございます。

line要素やblock要素には矩形座標が含まれ、textblokにはpolygonの座標が含まれるので、図形的に包含関係を判定してマージすることは簡単と思います。

ご提案いただいた方法ありがとうございます。やってみます。

ユーザー側の立場から見ると、ややハードルが高いとも感じています。

具体的には、まずNDLOCRの出力をlabelme形式に変換（同時にtextblockの扱いを調整）、labelme上（あるいは別のツール）で手動修正、修正済みXMLとtextblock座標をマージ、さらにそれをレイアウト認識モデル学習用のデータセット形式へ再変換・学習という複数ステップを踏む必要があり、一つでも変換や解釈を誤ると、最終的な学習結果に大きく影響してしまうのでは、という不安があります。

colabもよくセッション切れたりしますので、ここからはGPU 付きのレンタルサーバーでもう一回やってみる予定です。

[ndl-lab-staff]

ご返信ありがとうございます。
ちなみに当館におけるデータセット作成時にはCVAT（https://github.com/cvat-ai/cvat
）を利用することが多いです。
レイアウト要素間に重なりがあっても透過的にマウス操作できるので、もしマージ処理の実装にご懸念がある場合にはこちらをお使いになることをお勧めします。