Как научили Tesseract читать по-мансийски
Югорский НИИ информационных технологий продолжает работу над проектом «Корпус мансийского языка». В предыдущем этапе специалисты собрали около 300 тысяч параллельных предложений и обучили нейросетевую модель переводить между русским и мансийским языками. Теперь команда занялась другой важной задачей — автоматическим распознаванием мансийского печатного текста.
Для этого исследователи дообучили открытый движок оптического распознавания символов Tesseract 5. После обучения доля ошибочно распознанных символов уменьшилась с 18,5% до 0,85%. Таким образом, количество ошибок удалось сократить примерно в двадцать раз. Получившаяся модель опубликована в открытом доступе на Hugging Face и уже может использоваться для обработки мансийских текстов.
Зачем мансийскому языку OCR
Значительная часть материалов на мансийском языке по-прежнему существует только в бумажном виде. Это книги, учебники, фольклорные сборники и газетные подшивки. Пока такие издания не оцифрованы, их сложно искать, редактировать и использовать для создания корпусов, переводческих систем и языковых моделей.
Оптическое распознавание позволяет преобразовать отсканированную страницу в цифровой текст. Ручная перепечатка в этом случае потребовала бы много времени и ресурсов, а носителей мансийского языка немного. Автоматизация помогает освободить их время для более важных задач — перевода, проверки результатов и языковой экспертизы. Исследования других малоресурсных языков также показывают, что OCR может улучшать качество машинного перевода.
Почему русская модель Tesseract ошибается
Мансийская письменность основана на кириллице, но включает символы и особенности, которых нет в русском алфавите. В частности, используются долгие гласные с макроном — чертой над буквой: а̄, о̄, ӯ, э̄ и ы̄. Кроме того, в мансийском есть отдельная буква ӈ, обозначающая звук «нг».
Долгота гласных имеет смыслоразличительное значение, поэтому потеря макрона способна изменить слово. Стандартная русская модель Tesseract не обучена распознавать такие символы: она может игнорировать черту над буквой, заменять её другой последовательностью или выдавать ошибочный знак. На мансийском тексте русская модель ошибалась примерно в 18 случаях из 100, что недостаточно для подготовки качественного языкового корпуса.
Проблема Unicode и обучающих данных
Дополнительную сложность создаёт представление символов в Unicode. Внешне одинаковая буква с макроном может быть записана несколькими способами — как единый символ или как обычная буква с отдельным комбинируемым знаком. Для человека эти варианты выглядят одинаково, но для модели являются разными последовательностями символов. Поэтому при подготовке данных важно учитывать не только внешний вид текста, но и его внутреннее кодирование.
Обучение OCR для малоресурсного языка осложняется и нехваткой исходных материалов. Современным моделям нужны большие объёмы примеров, где изображение строки сопоставлено с правильной текстовой расшифровкой. При этом отсканированных мансийских книг немного, а ручная разметка требует участия специалистов. Дообучение Tesseract на подготовленных данных позволило адаптировать движок к особенностям мансийской письменности и получить пригодный для практического использования результат.
Разработанная модель предназначена для дальнейшей оцифровки мансийских публикаций. Чем больше текстов удастся перевести из бумажного вида в цифровой, тем полнее станет корпус языка и тем больше данных появится для систем машинного перевода и других языковых технологий.
