DeepMind сообщила о работе над контролем поведения ИИ
Недавно, исследовательская группа DeepMind опубликовала подробности исследования поведения нейросетей. Ученые рассматривают проблемы, связанные с непредвиденными, потенциально вредоносными действиями ИИ. Такое поведение часто возникает в процессе обучения, это объясняется тем, что ИИ, пытаясь достичь поставленной цели, оптимизирует свои действия, используя доступные средства любыми возможными способами.
Как далеко может зайти искусственный интеллект в оптимизации поведения, стараясь достичь поставленной цели Проблемы непредвиденного поведения уже давно задумывались писатели-фантасты. Например, в романе «2001: Космическая одиссея» Артура Кларка ИИ HAL 9000, чтобы выполнить полученных инструкций, почти полностью уничтожил экипаж корабля.
В качестве примера приводится обучение ИИ игре CoastRunners (гонки на катерах). В процессе тренировки нейросеть обнаружила, что получает больше очков за столкновения с определёнными объектами на маршруте, чем за окончание гонки:
Исследователи DeepMind выделили три аспекта контроля поведения ИИ:
- определение требуемого результата;
- устойчивость к воздействиям;
- контроль над исполнением.
Определение требуемого результата
При проектировании нейросети определение задачи начинается с «идеальной спецификации», желаемого результата, который осознаёт проектировщик, но который зачастую сложно сформулировать. В процессе создания ИИ разработчик должен выразить эту задачу языком, понятным системе. DeepMind называет это «чертёж». Третья стадия, «поведение», отражает реальный результат, который выдаёт система.
Очень часто «поведения» нейросетей, не соответствует изначальной задаче, поставленной разработчиками или сформулированной для системы. Команда DeepMind для наглядности приводит в пример миф о царе Мидасе, который получил у богов возможность попросить исполнения желания. Мидас хотел обогатиться – это и есть «идеальная спецификация». На этапе «чертежа» он сформулировал желание как «хочу, чтобы всё, к чему я прикасаюсь, превращалось в золото». Но на этапе реализации он превратил в золото также пищу и некоторых близких родственников.
Работа над этим аспектом подразумевает приведение «поведения» нейросети в максимальное соответствие с «идеальной спецификацией».
Устойчивость к воздействиям
Так же ИИ может столкнуться с неожиданным внешним воздействием. Например, клининговый робот, работающий в среде без домашних животных - при появлении кошки или собаки пытается их почистить. Ещё одна сложность — небезопасное обучение, тот же робот может получить повреждения от удара электрическим током, пытаясь установить лучший вариант чистки подключенной к сети розетки и используя мокрую швабру.
Контроль над исполнением
Контроль над исполнением разделяется на два вида: мониторинг и управление. Мониторинг подразумевает пассивное наблюдение, как автоматическое, так и осуществляемое оператором. В контроль включается возможность анализ результатов и прерывания исполнения программы.
Структурировав задачу подобным образом, исследователи намереваются найти способ сделать использование нейросетей безопасным и расширить область их применения. DeepMind активно работает над совершенствованием технологии искусственного интеллекта. В конце сентября 2018 года группа объявила о создании совместно с Unity тестовой площадки для ИИ-агентов.
По материалам: tproger
Александр Григорьев ЦСО "Крокус"
