Новую разработку представили ученые Центра искусственного интеллекта Новосибирского государственного университета на VIII Международном форуме по технологиям искусственного интеллекта и дата-аналитики «Открытые данные», который состоялся в Республике Алтай 5-6 октября. Мероприятие объединило более 300 участников из стран СНГ и БРИКС — представителей свыше 80 вузов, 30 компаний и объединений. Организаторами форума выступили Университетский консорциум исследователей больших данных и Томский государственный университет.
В открытом треке, где университеты и индустриальные партнеры представляют новые исследования, пилотные разработки и образовательные инициативы, с докладом «Фреймворк «Каппа»: управление датасетами и бенчмаркинг ИИ-моделей для доверительных систем искусственного интеллекта» выступил заведующий лабораторией аналитики потоковых данных и машинного обучения механико-математического факультета, ведущий научный сотрудник Центра искусственного интеллекта НГУ Евгений Павловский. По итогам выступления со стороны НГУ в адрес представителей других вузов было высказано предложение пользоваться «Каппой» бесплатно — через версию, размещенную на серверах НГУ. Существует также возможность установить фреймворк в собственном контуре вуза.
Фреймворк «Каппа» (kappa.nsu.ru) — разработан в Центре искусственного интеллекта НГУ. Система управляет полным жизненным циклом наборов данных для обучения и контроля моделей ИИ: разметка, верификация, версионирование, публикация, бенчмаркинг моделей и телеметрия их эксплуатации.
— Качество модели искусственного интеллекта напрямую зависит от данных, на которых она обучалась. Из-за ошибок в данных и непрозрачности их происхождения многие модели так и не доходят до промышленной эксплуатации: заказчик не может проверить, на чем обучалась система, и не доверяет ей. «Каппа» решает обе проблемы: фреймворк поддерживает полный жизненный цикл датасетов — формирование, разметку, верификацию, версионирование и публикацию (в закрытом контуре, по запросу или открытую), а также жизненный цикл самих ИИ-моделей, — пояснил Евгений Павловский.
Система гарантирует качество данных, воспроизводимость экспериментов и полную прослеживаемость: всегда зафиксировано, кто, когда и какую разметку внес. Найденную ошибку можно исправить и закрепить в новой версии датасета, а не повторять ее при каждом следующем обучении. Естественное продолжение работы с данными — бенчмаркинг: на подготовленных наборах можно измерять качество любых моделей, как собственных, так и публичных.
Существующие репозитории данных — Figshare, Zenodo, Mendeley Data, Dataverse и российская система ЭРИС — предназначены прежде всего для хранения и цитирования файлов. «Каппа» же целиком заточена под работу с датасетами для машинного обучения: разметку, верификацию, версионирование и бенчмаркинг. При этом фреймворк — не только программное обеспечение, но и концептуальная основа: он поддерживает подготовленный командой проект национального стандарта гуманитарной экспертизы внедрения ИИ в практики управления городом и реализует эту экспертизу как отдельный этап работы.
— Качество модели искусственного интеллекта определяется теми данными, которые мы подаем на вход. Именно из-за ошибок в данных множество моделей не доходит до промышленной эксплуатации, а непрозрачность происхождения данных рождает недоверие. И складывается ситуация «Мусор на входе — мусор на выходе». Мы же гарантируем качество датасетов, воспроизводимость экспериментов и полную прослеживаемость — видно авторство каждого, кто участвовал в подготовке данных, — отметил Евгений Павловский.
Механизм доверия в «Каппе» охватывает весь путь модели — от данных до эксплуатации. До обучения производится верификация датасета, контроль метрик смещения и перекрестная проверка разметки несколькими разметчиками, при обучении происходит фиксация версии данных и параметров, после обучения следует проверка на эталонных наборах, а при эксплуатации модуль телеметрии собирает статистику использования и контролирует ошибки, а при отклонениях сигнализирует, что модель пора переобучить.
Новая программная платформа уже опробована при реализации реальных проектов. Самый масштабный проект на фреймворке — совместная работа с Государственной публичной научно-технической библиотекой СО РАН. Библиотека предоставила около 400 тысяч записей — оцифрованные карточки и их каталожные расшифровки, а в разметке участвовали около 100 сотрудников. «Каппа» вела статистику по каждому разметчику. Итогом стали обученная модель и контрольный бенчмарк, на котором можно проверять и другие алгоритмы.
Среди других применений — озвучка научных книг, паспортизация фасадов, работа с архивными документами и школьные датасеты. Самым первым проектом на фреймворке стали наборы данных, которые школьники собирали в лесу, фотографируя и описывая грибы и птиц. Сейчас команда Центра искусственного интеллекта НГУ работает над датасетом для оценки учебных результатов школьников.
В магистерской программе на Механико-математическом факультете НГУ уже действует обязательная практика сохранения студенческих датасетов: вместе с кодом курсовых и дипломных работ архивируются и наборы данных. По словам Евгения Павловского, такая практика в вузах почти не распространена, хотя дает прямой эффект: научный руководитель принимает результат по ясным критериям, и следующий студент продолжает работу — сначала разбирается в готовой, затем развивает ее дальше. Данная система уже продемонстрировала свою эффективность.
НГУ предложил университетам два варианта использования фреймворка. Первый подразумевает пользование бесплатной версией «Каппы», размещенной на серверах НГУ. Для этого достаточно зарегистрироваться на kappa.nsu.ru. При необходимости можно заключить соглашение о сотрудничестве. При этом НГУ оказывает техническую поддержку и предоставляет методические материалы. Второй вариант — приобретение лицензии на установку фреймворка в собственном контуре вуза: данные не покидают инфраструктуру университета. Это решение подходит для чувствительных данных — например, медицинских, доступ к которым регулируется решением этического комитета. Лицензия предоставляется на платной основе. Ее стоимость составляет 100 тысяч рублей в год. Кроме того, команда Центра искусственного интеллекта НГУ готова обсудить с конкретным вузом пилотный проект в течение 30 дней: специалисты оценят, насколько хорошо оформлены его датасеты для повторного использования, и помогут выявить возможные смещения в данных.
— Фреймворки редко монетизируются — за тот же PyTorch никто не платит. Ценность «Каппы» мы видим прежде всего в образовании и науке, поэтому нашей версией вузы могут пользоваться бесплатно. А для тех, кому данные должны оставаться в собственном контуре, мы сделали доступной локальную установку, — подчеркнул Евгений Павловский.
