Казахский язык для ИИ: собран корпус на 14 млрд токенов совместно с OpenAI

В Казахстане сформирован текстовый корпус казахского языка объемом 14 миллиардов токенов, а также собрано 12 000 часов аудиозаписей. Работа ведется в рамках совместного проекта Международного общества «Қазақ тілі» и компании OpenAI. Цель инициативы состоит в развитии казахского языка в цифровой среде и повышении качества работы ИИ-инструментов.

Об этом сообщает портал techinfo.kz со ссылкой на сайт The Tech.

Из чего состоит корпус казахского языка

Соглашение о сотрудничестве стороны заключили 7 ноября 2025 года в Вашингтоне. В текстовый массив включены материалы по образованию, науке, технологиям, экономике, праву, медицине, истории и этнографии, публикации медиа и детский контент. Данные размечены по тематике, жанрам и возрастным категориям. Отдельно в корпус вошли источники по истории языка и языковому наследию казахской диаспоры.

Аудиозаписи прошли очистку: из них удалены фоновый шум, музыка и другие посторонние звуки.

Инструменты проекта

Для обработки речи внедрены модели транскрипции, адаптированные под казахский язык. Точность перевода речи в текст, как сообщается, достигла 98%. Кроме того, создана модель, которая находит и удаляет персональные данные из текстов и аудио.

Команда проекта продолжает развивать сопутствующие инструменты:

• распознавание казахского текста и обработку документов;
• токенизацию;
• распознавание именованных сущностей;
• оценку языковых моделей.

The Tech также приводит со ссылкой на сайт Акорды позицию президента о важности использования возможностей ИИ при изучении и преподавании государственного языка и при переводе научной литературы.