1хбет перевести другу

Рассказываем, как росли боты и почему это так принципиально.

В Сан-Франциско искусственный ум компании OpenAI сразился против чемпионов мира по Dota 2 – OG. Что же это все-таки за матч и почему он так важен?

Шахматы, го, Dota 2. Это – лестница развития ИИ

Сделать ум, способный обыграть человека, очень трудно. IBM задумалась о разработке шахматного компьютера еще в 1950-х, но тогда на это уходило много времени и ресурсов. Основная неувязка компьютера в шахматах – расчет вариантов действий и исходов. Их безрассудно много: в 1950 году южноамериканский математик Клод Шеннон обосновал, что количество уникальных партий в шахматы приравнивается 10 в 120 степени (для сопоставления, число атомов во вселенной оценивается приблизительно в 10^80). 

Только к 1996 году шахматный суперкомпьютер Deep Blue был готов сразиться с фаворитом мира – Гарри Каспаровым. Ту серию выиграл Каспаров и заявил, что эпоха машин наступит еще нескоро. Но гроссмейстер ошибся – разработчики прирастили мощность машины, и через год, в 1997, Deep Blue обыграл шахматиста в серии. Итоговый итог встречи для Deep Blue – 2 победы, 3 ничьи и 1 поражение. 

Шахматы, как и настольные игры поординарнее (шашки, крестики-нолики, нарды), были разгаданы компом с помощью альфа-бета отсечения (когда машина знает варианты развития позиции на доске и сходу отсекает ветки, которые ведут к наименее прибыльному пучку вероятных позиций). Но прямо до 2015 года неразгаданной оставалась китайская игра го. Две самых понятных (но не единственных) предпосылки, почему го такая непростая.

Больше вероятных позиций. Страшенно больше.

  • Поле – 19 на 19 (в шахматах – 8х8). Изначально доска пустая, и уже по ходу игры конкуренты заполняют ее камнями, захватывают местность и окружают камешки противника.
  • Камешков – 361 (180 белоснежных и 181 темных), и столько же – вариантов первого хода (в шахматах – 20).
  • После первого раунда на столе может быть 129 тыщ разных композиций (в шахматах – 400).
  • Представить, сколько в принципе вероятных партий может быть разыграно в го, вы все равно не можете. Но не переживайте – до 2005 года это не был в состоянии сделать даже компьютер (в этом числе – 171 цифра). Подчеркнем: на данный момент мы говорим о чисто теоретическом значении, в каком и речи не шло о подборе удачных композиций. Альфа-бета отсечение было неприменимо к этой игре.

Абстрактная природа игры

  • Жертва позицией ради загаданной композиции в го – не хитрецкий трюк, как в шахматах, а база игры. Игрок оценивает, прибыльно ли пожертвовать группой камешков ради новейшей позиции на доске; ценность различных камешков повсевременно изменяется и определяется интуитивно. 

поле игры в го

Для победы машины над человеком пригодилось создание нейросети, которая изучала матчи экспертов, игралась бессчетное количество партий в себе самой и самообучалась. Разработкой занялась компания AlphaGo, одним из инвесторов которой был Илон Маск. В марте 2016 года AlphaGo выставили нейросеть на матч против наилучшего игрока мира, Ли Седола.

Тогда AlphaGo предвещала поведение человека исключительно в 57% случаев. Не достаточно кто веровал в победу ИИ – все ценители считали, что у людей есть еще пара лет. Но встреча завершилась разгромной победой AlphaGo – компьютер обыграл Ли Седола со счетом 4:1. Так в мире не осталось традиционных настольных игр, в каких человек был бы посильнее компьютера.

Сейчас ученые атакуют Dota 2 – может быть, самую многослойную командную видеоигру. В ней неограниченное количество переменных (117 героев, у каждого – минимум 4 возможности; 164 артефакта), но это не самое сложное. Куда труднее перемещения по широкой карте, предугадывание действий противника, осознание силы собственной команды относительно неприятеля (может изменяться каждую минутку). 

Как глядеть Dota 2, если никогда в нее не играл

Если конкретнее, годом ранее бот OpenAI:

  • делал от 7 ходов каждую секунду. Ход – выбор из перечня вероятных решений (движение, действие);
  • в среднем за «ход» бот выбирал из 1000 вероятных решений. Всего в программку заложено 170 тыщ доступных действий;
  • за матч (45 минут в среднем) бот делал 20 тыщ «ходов». В шахматах игра в среднем продолжается 40 ходов, в го – 150.

Компания, разработавшая нейросеть – OpenAI. И тут тоже замешан Илон Маск.

Чем занимается OpenAI?

OpenAI – некоммерческая компания, которую основали Сэм Альтман, Илон Маск и Грэг Брокман в декабре 2015. Лозунг OpenAI – «создание открытого и неопасного искусственного ума, который будет доступен каждому». Здесь необходимо мало объяснить:

  • безопасность – не только лишь защита от жуликов и злоумышленников, но защита человека от ИИ. Для того, чтоб в итоге исследовательских работ людям не был причинен вред, компания прямо на данный момент отыскивает ученых-социологов;
  • все исследования OpenAI находятся в открытом доступе, кроме потенциально вредных программ. Это не 1-ый случай, когда изобретения Илона Маска бесплатны – некие патенты Tesla также доступны каждому.

На данном шаге у OpenAI много увлекательных разработок:

  • тренировочная площадка для ИИ;
  • нейросеть, генерирующая изображения;
  • роборука, который может отыскивать данные предметы посреди похожих;
  • и еще одна роборука, способная крутить кубик и отыскивать подходящую буковку. Так и до определения капчи недолго;
  • нейросеть, которая предвещает предстоящее слово в тексте. Из-за того, что разработку потенциально могли использовать для сотворения фейковых новостей (пример «вредной» программки), OpenAI ее не выпустили.

На данный момент OpenAI в поиске дополнительных инвесторов. Илон Маск не так издавна вышел из совета директоров OpenAI (вероятный конфликт интересов с Tesla в разработке ИИ), но продолжает оказывать финансовую помощь компании и интересуется последними разработками. 

Как нейросеть обучалась играть в доту?

Поначалу – один на один

Многие узнали о компании после того, как ИИ выступил на The International 2017. Тогда бот в матче 1 на 1 обыграл 1-го из самых узнаваемых дотеров мира – Данила «Dendi» Ишутина.

Работа над ботом велась полгода. Поначалу он постигал базисные механики – движение от приближающего неприятеля, потом переходил к задачкам посложнее – анализу матчей и играм против слабеньких конкурентов. И если в марте 2017-го он только обучался игре и следил за ней со стороны, то к 11 августа побеждал самых даровитых на техническом уровне игроков планетки – Артизи и Сумаила.

От 1,5к MMR до победы над Артизи 10-0. Путь бота на The International 7

Но перед командой OpenAI уже стояла задачка посложнее. 

Потом – 5 на 5. От любителей до бывших экспертов…

В июне 2018-го разработчики объявили, что желают выставить нейросеть против команды людей. 

«5 на 5 – режим гиганской трудности. Мы знаем, что придется использовать все ресурсы искусственного ума, чтоб с ним совладать. Мы начнем копировать поведение игроков на старте. В доте играет около миллиона матчей в денек, реплеи хранятся на серверах Valve две недели. Мы загружали для себя каждый реплей экспертного уровня с прошедшего ноября, набралось уже 5,8 млн игр».

Боты AI в протяжении практически года каждый денек наигрывали вместе по 180 лет игрового времени. Но условия игры для равного противоборства с людьми все равно пришлось упростить. Количество героев на выбор уменьшили со 115 до 18. Игрокам нельзя было воспользоваться некими реликвиями, призывать иллюзии либо подконтрольных созданий. Ради справедливости ограничения задели и роботов – им уменьшили быстроту реакции, чтоб она была сравнима с людской. 

В таких критериях боты научились безошибочно обыгрывать любительские команды.

Заслуги OpenAI отметил Билл Гейтс.

#AI bots just beat humans at the video game Dota 2. That’s a big deal, because their victory required teamwork and collaboration – a huge milestone in advancing artificial intelligence. https://t.co/UqIUhh9xFc

— Bill Gates (@BillGates) June 26, 2018

«Недавно боты обыграли людей в видеоигру Dota 2. Это принципиальное событие, так как их победа добивалась командной работы и сотрудничества. Большой шаг в развитии искусственного интеллекта».

Последующий шаг – матч с командой из бывших проф игроков – состоялся 5 августа 2018-го. От населения земли выступили комментаторы Уильям «Blitz» Ли, Иоаннис «Fogged» Лукас, Бен «Merlini» Ву, Остин «Capitalist» Уолш и Дэвид «MoonMeander» Тан (на данный момент возвратился на про-уровень).

Людей поддерживал сам Илон Маск, но им удалось обыграть машин только раз – когда игроки сами избрали героев ботам. Общий счет серии – 2:1 в пользу OpenAI. 

Тут – подробности встречи

…И к действующим участникам чемпионата мира

На главном каждогоднем турнире по доте было запланировано три матча против OpenAI. Первый матч OpenAI сыграли с paiN Gaming. Бразильская команда числилась аутсайдером турнира, но смогла перевернуть игру к середине матча. 1:0 в пользу населения земли.

Здесь все о первом матче против искусственного ума

А в последующей игре бездушные машины сразились с китайскими ветеранами (некие из их еще пару лет вспять выигрывали The International). Заступники населения земли обыграли роботов за 40 минут – довольно долгая игра, но преимущество людей было естественным.

Китайцы так круто сделали роботов, что они нервничали как люди. Судите сами

Из-за провального выступления компьютера 3-ий матч решили отменить. Счет – 2:0 в пользу людей.

Как устроен мозг OpenAI?

Компьютер оценивает возможность победы еще на стадии выбора героев. До матча с бывшими про он проанализировал более 11 миллионов разных матчапов, потому точно знал, с какими персонажами будет проще одолеть.

 

А так смотрится карта доты очами бота. Он просчитывает свои деяния на 6 секунд вперед и мгновенно меняет планы, как ситуация на карте изменяется. На видео слева показаны мысли бота: вероятные деяния и оценка их верности в процентах.

Но это только один герой. Самое поразительное, что OpenAI предвещает происходящее на карте на восемь минут вперед. Его прогнозы касаются:

  • целостности оборонительных вышек;
  • убийств противников и смертей союзников;
  • количества добитых крипов.

Были, естественно, и баги. К примеру:

  • Время от времени боты зависали из-за неспособности обусловиться с подходящей вещью;
  • Брали очень много расходных предметов;
  • Ставили непонятные варды на одном и том же месте без всякого смысла;
  • Останавливались и продолжали двигаться после маленький паузы.

Но самое увлекательное: некие деяния роботов шли в разрез с принятыми понятиями об игре в доту – и при всем этом работали. К примеру, в одном из матчей боты поставили 4 героев на одну линию (напомним, героев – 5, линий – три. Условно: такое решение аналогично выходу с 5 нападающими в сосовременном футболе Боты действовали очень жестко и не всегда разумно, использовали в атаках обычно пассивных героев и получали численное преимущество. Это только 1-ые шаги искусственного ума, но что если мы все это время игрались в доту некорректно?

Победа AlphaGO над человеком в свое время поменяла вековые понятия о го. Мастера оценивали некие ходы программки в процессе игры как «провальные», но их истинное значение раскрывалось после длительных композиций. Причина пряталась в сущности го – в этой игре полностью не учитывается разница по камням, и машина всегда выбирала 99-процентный шанс на победу с преимуществом в 1 камень, тогда как люди (условно) выбирали развитие к победе с преимуществом в 20 камешков и шансом в 80%. 

Промежные задачки в доте (драки, разрушение башен) ровно так же не важны сами по для себя и являются только методами по достижению главной цели –  повредить неприятельский трон резвее противника. 

Сейчас вечерком OpenAI сыграла с чемпионами мира 

 

  • OG одолела на The International, хотя начинала в качестве аутсайдера. В этом году у их задачи – с сентября фавориты не занимали больших мест, а их основная звезда – австралиец Анатан «Ana» Фам – совершенно не так давно возвратился из долгого отпуска.
  • С момента последнего матча уже прошло 8 месяцев. Это 1-ая игра меж машинами и людьми в новеньком сезоне.
  • Сохранились все искусственные ограничения на элементы игры, которым боты еще не научились. До сего времени доступно только 18 героев (из 117) и запрещены несколько предметов)
  • К концу 2019 года OpenAI желает обучить роботов играть всеми доступными героями без ограничений и грезит о постоянных соревнованиях.

Боты одолели OG со счетом 2:0 в серии до 2-ух побед. В первой игре люди игрались интенсивно и воспринимали не самые стандартные решения. В определенный момент им даже удалось выйти вперед, но боты правильно прочуяли свои способности и сгруппировались. Во 2-ой OG попробовали затянуть игру, но это полностью не сработало: боты выиграли все три полосы и рано окончили матч.

OpenAI обыграл OG. Как им это удалось?

Еще мало о зарождении OpenAI и первом выступлении бота

А таким был 1-ый матч команды роботов против людей