ChatGPT обучают казахскому языку. Точность его адаптированных моделей транскрипции уже повысилась до 98%. В Астане представили результаты совместного проекта Международного общества «Қазақ тілі» и компании OpenAI, направленного на развитие казахского языка в цифровой среде. Работа ведется в рамках соглашения, заключенного в прошлом году в Вашингтоне. Сейчас текстовая база проекта уже насчитывает 14 миллиардов токенов, а фонд аудиоданных вырос до 12 тысяч часов.
Рауан Кенжеханулы, президент
Международного общества «Қазақ тілі»:
- Мы обучаем Chat GPT. Благодаря этому система должна
служить как средством перевода, так и средством обобщения данных, касающихся общечеловеческих
знаний и отвечающим на вопросы, поставленные на казахском языке. В тоже время
через такой инструмент мы помогаем и другим пользователям, которые могут
интересоваться нашей историей, культурой и традициями.
Уровень владения
казахским языком, знаний традиций и культуры системами искусственного
интеллекта оценивает разработанная программа AI Evaluation Benchmark Suite. Для
этого были созданы специальные тесты. Кроме того, разработаны инструменты
Document AI и NLP. Эти технологии позволяют оцифровывать и распознавать
архивные тексты, написанные на казахском языке арабской вязью или на латинице.
В планах также разработка токенизатора, учитывающего смысловую структуру языка.
Для реализации решений необходимы значительные вычислительные ресурсы.
Багдат
Мусин, Председатель Правления АО «Казахтелеком»:
- Мы
готовы направить 1 % ресурсов «Долины дата центров», которую планируются
построить в Экибастузе, на развитие казахского языка. Эта работа требует
больших вычислительных мощностей. Поэтому заниматься ею должны не только учёные,
это не только научная работа. «Казахтелеком» также готов активно участвовать в
этой работе и предоставлять необходимые ресурсы.
Что для вас является самым важным при выборе работы?
Читайте также
