СЕРВИС-ЦЕНТР КРОКУС
(050) 0-444-1-44


DeepMind сообщила о работе над контролем поведения ИИ

Недавно, исследовательская группа DeepMind опубликовала подробности исследования поведения нейросетей. Ученые рассматривают проблемы, связанные с непредвиденными, потенциально вредоносными действиями ИИ. Такое поведение часто возникает в процессе обучения, это объясняется тем, что ИИ, пытаясь достичь поставленной цели, оптимизирует свои действия, используя доступные средства любыми возможными способами.

 

Как далеко может зайти искусственный интеллект в оптимизации поведения, стараясь достичь поставленной цели Проблемы непредвиденного поведения уже давно задумывались писатели-фантасты. Например, в романе «2001: Космическая одиссея» Артура Кларка ИИ HAL 9000, чтобы выполнить полученных инструкций, почти полностью уничтожил экипаж корабля.

 

 

В качестве примера приводится обучение ИИ игре CoastRunners (гонки на катерах). В процессе тренировки нейросеть обнаружила, что получает больше очков за столкновения с определёнными объектами на маршруте, чем за окончание гонки:

 

Исследователи DeepMind выделили три аспекта контроля поведения ИИ:

  • определение требуемого результата;
  • устойчивость к воздействиям;
  • контроль над исполнением.

 

Определение требуемого результата

При проектировании нейросети определение задачи начинается с «идеальной спецификации», желаемого результата, который осознаёт проектировщик, но который зачастую сложно сформулировать. В процессе создания ИИ разработчик должен выразить эту задачу языком, понятным системе. DeepMind называет это «чертёж». Третья стадия, «поведение», отражает реальный результат, который выдаёт система.

 

Очень часто «поведения» нейросетей, не соответствует изначальной задаче, поставленной разработчиками или сформулированной для системы. Команда DeepMind для наглядности приводит в пример миф о царе Мидасе, который получил у богов возможность попросить исполнения желания. Мидас хотел обогатиться – это и есть «идеальная спецификация». На этапе «чертежа» он сформулировал желание как «хочу, чтобы всё, к чему я прикасаюсь, превращалось в золото». Но на этапе реализации он превратил в золото также пищу и некоторых близких родственников.

 

Работа над этим аспектом подразумевает приведение «поведения» нейросети в максимальное соответствие с «идеальной спецификацией».

 

Устойчивость к воздействиям

Так же ИИ может столкнуться с неожиданным внешним воздействием. Например, клининговый робот, работающий в среде без домашних животных - при появлении кошки или собаки пытается их почистить. Ещё одна сложность — небезопасное обучение, тот же робот может получить повреждения от удара электрическим током, пытаясь установить лучший вариант чистки подключенной к сети розетки и используя мокрую швабру.

 

Контроль над исполнением

Контроль над исполнением разделяется на два вида: мониторинг и управление. Мониторинг подразумевает пассивное наблюдение, как автоматическое, так и осуществляемое оператором. В контроль включается возможность анализ результатов и прерывания исполнения программы.

 

Структурировав задачу подобным образом, исследователи намереваются найти способ сделать использование нейросетей безопасным и расширить область их применения. DeepMind активно работает над совершенствованием технологии искусственного интеллекта. В конце сентября 2018 года группа объявила о создании совместно с Unity тестовой площадки для ИИ-агентов.

По материалам: tproger

 

Александр Григорьев ЦСО "Крокус"


Добавить комментарий


Защитный код
Обновить

Наши новости:

    30 МАЯ ДЕНЬ РОЖДЕНИЯ СЦ "КРОКУС"! - 23.05.2019

  • От всей души поздравляем всех наших клиентов, всех кто с нами уже 24 года. Надеемся на дальнейшее плодотворное сотрудничество. И, традиционно к своему Дню Рождения  производится продажа компьютерной техники - по себестоимости!!! Мы любим своих покупателей и хотим им добра!
  • Поздравляем женщин с ДНЕМ 8 МАРТА! - 05.03.2019

  • Желаем Вам всего самого светлого и прекрасного! Пусть весна расцветает в душе и наполняет ее радостью и красотой! Пусть этот праздник оставит множество ярких впечатлений и красивых, романтических моментов! Пусть невозможное — станет возможным! Успехов и радости во всем! Всем женщинам при покупке - ПОДАРОК!
  • Поздравляем мужчин с Днем Защитника Отечества! - 21.02.2019

  • Дорогие мужчины желаем Вам в этот праздник крепкого здоровья, удачи, любви, везения и мирного неба над головой! Ни знать ни в чем поражения, уверенно двигаться только вперед к достижению цели! А мы, в праздничные дни, всем мужчинам при покупке дарим подарок!
  • ЦЕНА ВОСКРЕСНОГО ДНЯ! - 18.02.2019

  • "ВОСКРЕСНАЯ ЦЕНА!" - ДЕЛАЙТЕ ПОКУПКУ В ВОСКРЕСЕНЬЕ СО СКИДКОЙ ДО 20% - телефоны, планшеты, ноутбуки, принтеры, наушники, комплектующие и др.
  • ПОДАРОЧНЫЙ СЕРТИФИКАТ! - 21.01.2019

  • Мучаетесь, что подарить своим друзьям, родным и близким на день рождения или другое торжество? Порадуйте их - приобретите у нас ПОДАРОЧНЫЙ СЕРТИФИКАТ на любую сумму для покупки  компьютерной техники!
  • ПРОГРАММА ЛОЯЛЬНОСТИ «НАКОПИТЕЛЬНАЯ» - 14.01.2019

  • Теперь купить товар стало проще! Предоставляется услуга приобретения товара по накопительной программе. Покупатель выбирает товар накопления, заключает договор и получает накопительную карту. Покупатель вносит любую удобную сумму в любой периодичности. Покупатель всегда может потребовать возврата накопленных средств или взять любой другой товар, ведь он сам определяет окончание договора и момент расчета.  
  • БОНУС-КАРТА – БЕСПЛАТНО! - 08.01.2019

  • Для постоянных клиентов – наша ПРОГРАММА ЛОЯЛЬНОСТИ! Бонусы на все покупки!!! Покупая у нас, Вы получаете реальные деньги на следующую покупку.
  • С новым 2019 годом - 18.12.2018

  • Коллектив СЦ Крокус сердечно поздравляет всех с НОВЫМ ГОДОМ И РОЖДЕСТВОМ ХРИСТОВЫМ! Желаем счастья и здоровья! А также приглашаем Вас на нашу новогоднюю ёлку! КАЖДОГО ПОКУПАТЕЛЯ ЖДЕТ ПОДАРОК!
  • Продажа, установка и ремонт систем видеонаблюдения! - 10.12.2018

  • ВНИМАНИЕ! НОВОЕ НАПРАВЛЕНИЕ! Осуществляем продажу, установку и ремонт ПРОФЕССИОНАЛЬНЫХ СИСТЕМ ВИДЕОНАБЛЮДЕНИЯ.
  • Новый комплекс услуг! Индивидуальные компьютерные курсы! - 17.04.2017

  • Для всех тех, кто хочет освоить работу с компьютером или же расширить имеющиеся знания открылись индивидуальные компьютерные курсы на современных ноутбуках, по новой методике, в уютной обстановке.

Copyright © Сервис-Центр Крокус, 2010-2019
Карта сайта
Городской:    (06432)  34 777
Мобильный:  (050) 0 444 1 44

Онлайн консультация
Учебный центр
Торговый зал
Технический центр
show
123