«Яндекс» представил концепцию национального датасета — набора тестовых заданий и эталонных данных для бенчмарк-тестирования моделей — на совещании рабочей группы по регулированию и административным барьерам ИИ, прошедшем 13 августа, рассказал “Ъ” источник, близкий к Минцифры, и подтвердил один из участников совещания. По словам источника “Ъ”, это нужно для оценки соответствия ИИ-систем «духу времени и ценностям страны, а также их пригодности для использования в российских условиях».

Однако на совещании возникли разногласия о степени публичности датасета, говорит источник “Ъ”. ФСБ настаивает на закрытом формате, чтобы разработчики не могли легко настроить модели на прохождение тестирования. Однако представители бизнеса заявили, что закрытый формат может быть «несообразно сложным для прохождения и не позволит быстро развивать модели», говорит он. По словам источника “Ъ”, в качестве компромисса был предложен комбинированный формат — когда для публичного тестирования и прозрачности может быть использован открытый бенчмарк, а закрытый — для финальной проверки с идентичными тематиками, но с разными формулировками вопросов.

Один из участников совещания добавляет, что пока остается открытым вопрос о том, кто будет определять содержание бенчмарка. ИТ-сообщество предлагает создать для этого совместную комиссию с участием органов власти, бизнеса и экспертных организаций, чтобы бенчмарк получился сбалансированным, говорит он.

Подробнее — в материале «Ъ» «Нейросети на скрепах».