Бенчмарк грузинского языка: столкновение двух крупнейших ИИ-лабораторий в языке, который не играет по чужим правилам

Разработчик представил комплексный бенчмарк для тестирования того, как ведущие ИИ-модели справляются с грузинским языком — уникальным неиндоевропейским языком со сложной грамматикой и собственным алфавитом. Проект, созданный для конкурса Kaggle, оценивает модели по пяти задачам: преобразование чисел, спряжение глаголов, перевод, тесты на заполнение пропусков и грамматическая коррекция. Несмотря на жесткие ограничения, включая лимит бюджета на платформе Kaggle и личную травму, автор вручную подготовил наборы данных для обеспечения качественного тестирования. Результаты показывают, что, хотя современные ИИ-модели добились прогресса в понимании грузинского, они все еще испытывают трудности с его корректным воспроизведением, особенно в работе со сложными системами счисления и нюансами грамматики. Бенчмарк подчеркивает сложности оценки LLM в контексте редких или лингвистически уникальных языков, отмечая, что «дешевые» модели иногда могут превосходить более крупные в зависимости от конкретных задач.