«Яндекс» представил правительству концепцию национального набора тестов для проверки систем искусственного интеллекта на соответствие духовно-нравственным ценностям, сообщил источник «Коммерсанта». Проект обсуждался 13 августа на совещании рабочей группы по регулированию ИИ. В «Яндексе» опровергли разработку тестов для проверки ИИ-моделей
«Яндекс» представил концепцию национального датасета (набора данных) для бенчмарк-тестирования нейросетей, сообщил «Коммерсантъ» со ссылкой на источник, близкий к Минцифры, и одного из участников совещания. Инициатива обсуждалась на заседании рабочей группы по регулированию и административным барьерам в сфере ИИ, прошедшем 13 августа.
Инструмент необходим для оценки соответствия ИИ-систем «духу времени и ценностям страны», а также их пригодности для использования в российских условиях, уточнил собеседник. Бенчмарк представляет собой стандартизированный набор контрольных заданий с эталонными ответами, позволяющий сравнивать качество разных моделей по единым критериям.
На совещании возникли разногласия относительно степени публичности датасета. ФСБ настаивает на закрытом формате, чтобы разработчики не могли заранее настроить модели на успешное прохождение тестирования. Представители бизнеса, напротив, заявили, что полностью закрытый формат может оказаться «несообразно сложным для прохождения и не позволит быстро развивать модели», и предложили сделать бенчмарк открытым.
В качестве компромисса обсуждается двухуровневая система: открытый бенчмарк для публичного тестирования и прозрачности, а закрытый набор заданий с идентичными темами, но разными формулировками — для финальной проверки. Как утверждает источник издания, такой подход позволит разработчикам проводить предварительную настройку моделей, сохранив объективность итоговой оценки.
Один из участников совещания отметил, что пока нет решения, кто будет определять содержание бенчмарка. ИТ-сообщество предлагает создать совместную комиссию с участием органов власти, бизнеса и экспертных организаций для сбалансированного подхода.
В аппарате вице-премьера Дмитрия Григоренко и Минцифры подтвердили «Коммерсанту», что предложения обсуждаются с отраслью и заинтересованными ведомствами, но говорить о конкретных решениях пока преждевременно.
В пресс-службе «Яндекса» Frank Media уточнили, что компания не представляла концепцию национального датасета и набора тестов для проверки ИИ-моделей. На рабочей встрече в Минцифры представители нескольких компаний обсуждали возможные подходы к такой проверке, а «Яндекс» был одним из участников обсуждения. Компания высказала позицию, что содержание датасета должно быть открытым по общепринятым принципам отрасли, отметили там.
О планах проверять российские ИИ-модели на соответствие закону и духовно-нравственным ценностям 14 августа сообщали «Ведомости». По информации газеты, Минцифры, ФСБ и ФСТЭК разработают порядок оценки и критерии проверки, а заниматься этим будут независимые лаборатории, которым IT-компании смогут передавать свои модели.
Закон о развитии технологий ИИ президент Владимир Путин подписал 26 июля. Документ вводит два статуса для больших моделей: суверенной и национальной.
А. Новиков
“Kommersant”: “Yandex” has developed tests to check AI for morality.
“Yandex” presented the government with a concept for a national set of tests to check artificial intelligence systems for compliance with spiritual and moral values, a source told “Kommersant”. The project was discussed on August 13 at a meeting of the working group on AI regulation. “Yandex” denied developing tests to check AI models.
A. Novikov
Источник: https://expert.ru/news/kommersant-yandeks-razrabotal-testy-dlya-proverki-ii-na-nravstvennost