СЕРВИС-ЦЕНТР КРОКУС
(050) 0-444-1-44


DeepMind сообщила о работе над контролем поведения ИИ

Недавно, исследовательская группа DeepMind опубликовала подробности исследования поведения нейросетей. Ученые рассматривают проблемы, связанные с непредвиденными, потенциально вредоносными действиями ИИ. Такое поведение часто возникает в процессе обучения, это объясняется тем, что ИИ, пытаясь достичь поставленной цели, оптимизирует свои действия, используя доступные средства любыми возможными способами.

 

Как далеко может зайти искусственный интеллект в оптимизации поведения, стараясь достичь поставленной цели Проблемы непредвиденного поведения уже давно задумывались писатели-фантасты. Например, в романе «2001: Космическая одиссея» Артура Кларка ИИ HAL 9000, чтобы выполнить полученных инструкций, почти полностью уничтожил экипаж корабля.

 

 

В качестве примера приводится обучение ИИ игре CoastRunners (гонки на катерах). В процессе тренировки нейросеть обнаружила, что получает больше очков за столкновения с определёнными объектами на маршруте, чем за окончание гонки:

 

Исследователи DeepMind выделили три аспекта контроля поведения ИИ:

  • определение требуемого результата;
  • устойчивость к воздействиям;
  • контроль над исполнением.

 

Определение требуемого результата

При проектировании нейросети определение задачи начинается с «идеальной спецификации», желаемого результата, который осознаёт проектировщик, но который зачастую сложно сформулировать. В процессе создания ИИ разработчик должен выразить эту задачу языком, понятным системе. DeepMind называет это «чертёж». Третья стадия, «поведение», отражает реальный результат, который выдаёт система.

 

Очень часто «поведения» нейросетей, не соответствует изначальной задаче, поставленной разработчиками или сформулированной для системы. Команда DeepMind для наглядности приводит в пример миф о царе Мидасе, который получил у богов возможность попросить исполнения желания. Мидас хотел обогатиться – это и есть «идеальная спецификация». На этапе «чертежа» он сформулировал желание как «хочу, чтобы всё, к чему я прикасаюсь, превращалось в золото». Но на этапе реализации он превратил в золото также пищу и некоторых близких родственников.

 

Работа над этим аспектом подразумевает приведение «поведения» нейросети в максимальное соответствие с «идеальной спецификацией».

 

Устойчивость к воздействиям

Так же ИИ может столкнуться с неожиданным внешним воздействием. Например, клининговый робот, работающий в среде без домашних животных - при появлении кошки или собаки пытается их почистить. Ещё одна сложность — небезопасное обучение, тот же робот может получить повреждения от удара электрическим током, пытаясь установить лучший вариант чистки подключенной к сети розетки и используя мокрую швабру.

 

Контроль над исполнением

Контроль над исполнением разделяется на два вида: мониторинг и управление. Мониторинг подразумевает пассивное наблюдение, как автоматическое, так и осуществляемое оператором. В контроль включается возможность анализ результатов и прерывания исполнения программы.

 

Структурировав задачу подобным образом, исследователи намереваются найти способ сделать использование нейросетей безопасным и расширить область их применения. DeepMind активно работает над совершенствованием технологии искусственного интеллекта. В конце сентября 2018 года группа объявила о создании совместно с Unity тестовой площадки для ИИ-агентов.

По материалам: tproger

 

Александр Григорьев ЦСО "Крокус"


Добавить комментарий


Защитный код
Обновить

Наши новости:

    Продажа, установка и ремонт систем видеонаблюдения! - 10.12.2018

  • ВНИМАНИЕ! НОВОЕ НАПРАВЛЕНИЕ! Осуществляем продажу, установку и ремонт ПРОФЕССИОНАЛЬНЫХ СИСТЕМ ВИДЕОНАБЛЮДЕНИЯ.
  • 30 МАЯ ДЕНЬ РОЖДЕНИЯ! - 28.05.2018

  • День Рождения – знаковое событие для работников фирмы и для этого есть все основания! Как ни как, а ФИРМА УЖЕ 23 ГОДА НА РЫНКЕ! В этот корпоративный праздник зачастую подводятся важные итоги работы за прошедший год и ставятся новые цели, достижение которых будет способствовать дальнейшему развитию фирмы. МЫ ЕСТЬ, МЫ РАСТЕМ И РАЗВИВАЕМСЯ! По сложившейся традиции, производится продажа компьютерной техники - по себестоимости!!! Мы любим своих покупателей и хотим им добра!
  • 8 Марта!!! - 06.03.2018

  • Очаровательные дамы, поздравляем Вас с 8 Марта! Желаем счастливых дней, цветущей красоты, позитива, веселья и радости. Безумных взаимных чувств, чудес, нежности и множества лучших моментов!
  • Поздравляем мужчин с Днем защитников Отечества! - 22.02.2018

  • Разрешите поздравить Вас с праздником мужества, благородства и чести – С Днём защитника Отечества! И пожелать ВАМ крепкого здоровья, отличной формы, неиссякаемой энергии, жизни наполненной миром, счастьем и любовью близких! Уверенно шагайте к высотам успеха и процветания, всегда сохраняя оптимизм, бодрость и душевное равновесие!
  • 30 мая День Рождения фирмы! - 25.05.2017

  • От всей души поздравляем всех наших клиентов, всех кто с нами уже 22 год! Надеемся и на дальнейшее плодотворное сотрудничество. Традиционно, ко Дню Рождения, предлагаем праздничные цены на: ноутбуки, компьютера, мониторы, принтера и планшеты - ПО СЕБЕСТОИМОСТИ, а также большие скидки на всё товары! Ждем Вас в ТОРГОВОМ ЗАЛЕ.
  • Новый комплекс услуг! Индивидуальные компьютерные курсы! - 17.04.2017

  • Для всех тех, кто хочет освоить работу с компьютером или же расширить имеющиеся знания открылись индивидуальные компьютерные курсы на современных ноутбуках, по новой методике, в уютной обстановке.
  • 8 Марта!!! - 06.03.2017

  • Милые, нежные, прекрасные женщины! Пусть этот день, 8 Марта, подарит Вам прекрасное настроение, исполнение всех сокровенных желаний! Пусть он станет стартом для новых начинаний, которые принесут только радость! Искренних Вам комплиментов и добрых слов всегда! С весенним праздником!
  • Поздравляем мужчин с Днем защитников Отечества! - 22.02.2017

  • Дорогие мужчины примите наши искренние поздравления с Днем защитника Отечества!  Для настоящего мужчины защищать и оберегать любимых – так же естественно, как и дышать. Поэтому в этот праздник желаем ВАМ крепкого здоровья, неисчерпаемой жизненной энергии и мирного неба над головой!
  • МЫ ОТКРЫЛИСЬ !!! - 06.04.2016

  • Мы рады сообщить, что с 6 апреля возобновлена работа отдела АВТОЗАПЧАСТЕЙ. Ежедневно с 9-00 до 15-00 выходной в воскресенье ! Мы рады будем видеть всех наших клиентов. Большой ассортимент автозапчастей в наличии и привозем под заказ.
  • Компьютерный стол "Крокус" универсальный-трансформер - 12.05.2015

  • К своему 20-летнему юбилею мы наладили выпуск комплекта много- функционального компьютерного стола собственного производства. Комплект стола "Крокус" универсальный-трансформер возможно использовать не только, как компьютерный, но и как письменный или ученический. Обслуживаем и даем гарантию. ГАЛЕРЕЯ СТОЛОВ:  http://cso-krokus.com.ua/office-equipment.html

Copyright © Сервис-Центр Крокус, 2010-2018
Карта сайта
Городской:    (06432)  34 777
Мобильный:  (050) 0 444 1 44

Онлайн консультация
Учебный центр
Торговый зал
Технический центр
show
123