В Україні запустили Ukrainian LLM Leaderboard — національний рейтинг великих мовних моделей за якістю роботи українською мовою. Його створили Центр компетенцій WINWIN AI при Міністерстві цифрової трансформації разом з Українським католицьким університетом та ініціативою lang-uk.
Рейтинг порівнює не абстрактне «знання мови», а виконання конкретних завдань. Серед них — переклад, переказ і стислий виклад великих текстів, запитання за документами, логічні завдання, бенчмарк ZNO-Eval на матеріалах шкільної програми, математичні обчислення та виконання складних інструкцій.
Для школярів, батьків і педагогів це може бути орієнтиром, коли вони додатково перевіряють інструмент для україномовного навчального завдання. Водночас результат у конкретному бенчмарку не означає, що модель завжди правильно відповість на запитання, безпечно працюватиме з даними або замінить підручник, учителя чи власне міркування учня.
Якщо ШІ допомагає пояснити тему, скласти тренувальні вправи чи структурувати конспект, відповідь варто звірити з підручником, умовою задачі або надійним першоджерелом. Не слід вводити в чат-боти повні імена учнів, адреси, номери документів, паролі, медичні відомості, приватне листування, роботи однокласників або внутрішні документи школи.
Результати й дані рейтингу доступні на платформі Hugging Face, а код методології відкритий у репозиторії проєкту. Надалі команда планує додати оцінювання роботи моделей із зображеннями, етичності відповідей і вартості використання, а також окремі перевірки для державних сценаріїв та роботи з персональними даними.
Докладніше про запуск Ukrainian LLM Leaderboard повідомило Міністерство цифрової трансформації України.