Қазақ тілі ЖИ үшін: OpenAI-мен бірге 14 млрд токендік корпус жиналды

Қазақстанда көлемі 14 миллиард токен болатын қазақ тілінің мәтіндік корпусы жасақталып, 12 000 сағаттық аудиожазба жиналды. Жұмыс Халықаралық «Қазақ тілі» қоғамы мен OpenAI компаниясының бірлескен жобасы аясында жүргізіліп жатыр. Бастаманың мақсаты – қазақ тілін цифрлық ортада дамыту және ЖИ құралдарының жұмыс сапасын арттыру.

Бұл туралы techinfo.kz порталы The Tech сайтына сілтеме жасап хабарлайды.

Қазақ тілінің корпусына не кірді

Тараптар ынтымақтастық туралы келісімге 2025 жылғы 7 қарашада Вашингтонда қол қойған. Мәтіндік қорға білім, ғылым, технология, экономика, құқық, медицина, тарих және этнография салаларының материалдары, БАҚ жарияланымдары мен балаларға арналған контент енгізілді. Деректер тақырыбы, жанры және жас санаты бойынша жіктелген. Бұған қоса корпуста тіл тарихына және қазақ диаспорасының тілдік мұрасына қатысты дереккөздер бар.

Аудиожазбалар тазартудан өтті: олардан фондық шу, музыка және басқа да бөгде дыбыстар алынып тасталды.

Жобада қолданылған құралдар

Сөйлеуді өңдеу үшін қазақ тіліне бейімделген транскрипция модельдері енгізілді. Хабарланғандай, сөзді мәтінге айналдыру дәлдігі 98 пайызға жетті. Сонымен қатар мәтін мен аудиодан дербес деректерді тауып, жоятын модель әзірленді.

Жоба командасы қосымша құралдарды да дамытып жатыр:

• қазақша мәтінді тану және құжаттарды өңдеу;
• токенизация;
• атаулы нысандарды тану;
• тілдік модельдерді бағалау.

The Tech Ақорда сайтына сілтеме жасап, президенттің мемлекеттік тілді үйрену мен оқытуда, сондай-ақ ғылыми әдебиетті аударуда ЖИ мүмкіндіктерін пайдаланудың маңызын атап өткенін де келтіреді.