Актуальность самообучаемого ИИ в применении для игр (82 стр)

LiveBaster
> Вроде как простые алгоритмы давно с этим справляются.
Вот именно, справляются. А справится ли этот ИИ? Я не для практической пользы, а для демонстрации возможностей ИИ. Одно дело - просто проехать трассу, другое - победить те самые простые алгоритмы.
LiveBaster
> В Вашем конкурсе не увидел постановки цели.
Всё там написано, проехать как можно быстрее.

Mikle
> победить те самые простые алгоритмы.
Очевидно, что универсальный разум не может победить простые алгоритмы :)
"Весовые категории" разные.
Человек, со своим универсальным разумом, уже давно проигрывает в шахматы и прочие игры простым алгоритмам, в которых разум полностью отсутствует.
Какой смысл, в такой постановке задачи?

LiveBaster
> Какой смысл, в такой постановке задачи?
Так это же поиск ответа на вопрос в топе:

В играх и будут конкретные задачи, пригодные для простых алгоритмов.

rcsim
> Ух ты, а я уже соскучился, а что, кина с новыми достижениями не будет?

Модель Страуса в Unity3D, под управлением ПО LiveBaster:
а) изначально не умеет перемещаться, а тем более шагать.
б) реагирует на изменения в окружающей среде и непрерывно приспосабливается к ним, т.е. каждое движение - индивидуально, в прямом смысле, как у живых существ.

На 1:10 Страус падает и затем встаёт, продолжая перемещаться.

Окружающая среда имеет гравитацию и трение.

LiveBaster
> Модель Страуса в Unity3D
Интересно было бы провести эксперимент:
Разделить видео пополам.
Дать людям проголосать, на каком из видео страус ведет себя более интеллектуально.
Сравнить результат со случайным угадыванием.

CapSopener
> Сравнить результат со случайным угадыванием.

Случайно встать после падения Страус не сможет.

LiveBaster
Какие то отдельные моменты, может, есть, но в целом в первой и во второй половине видео поведение одинаковое.
Подтвердить или опровергнуть это можно экспериментом.

Вот здесь может лучше видно, как он учится.

0:25 - цепляется пальцем за землю
0:30 - цепляется пальцем за землю второй раз
0:37 - цепляется пальцем за землю третий раз
0:47 - делает шаг, не спотыкаясь

LiveBaster
> делает шаг, не спотыкаясь
То есть он откуда-то знает, что значит "спотыкаться", и что спотыкаться - это плохо. Ты задал какие критерии успеха? Неуспеха?

Mikle
> То есть он откуда-то знает, что значит "спотыкаться", и что спотыкаться - это
> плохо. Ты задал какие критерии успеха? Неуспеха?

Он не знает, что такое "спотыкаться".
Критерии "успеха" и "неуспеха", как в стандартном Reinforcement Learning (RL), отсутствуют.

"Цепляется", "спотыкается" - это моя интерпретация происходящего. Я знаю, что коэффициент трения равен 0,9, т.е. скольжения почти нет - это значит, что если Страус пытается сдвинуть ногу и у него это не получается, то ему мешает трение.
Одновременно, сила тяжести его пытается уровнить - Страус одновременно пытается устоять и сдвинуть ногу.

LiveBaster
> Страус одновременно пытается устоять и сдвинуть ногу
Вопрос - зачем? Откуда он знает, что упасть и лежать - плохо, а стоять, да ещё и зачем-то сдвигать ногу без трения - это хорошо?
Критериев не может не быть.

Mikle
> Вопрос - зачем?

Чтобы решить поставленные перед ним задачи.
Это же ИИ - он должен решать задачи.

> Откуда он знает, что упасть и лежать - плохо, а стоять, да ещё
> и зачем-то сдвигать ногу без трения - это хорошо?

Если он это не сделает, то не решит задачу "добраться до цели".

Текущая реализация позволяет решать простые задачи. Например, можно сделать модель "крокодила", которая будет ползать и искать еду.
Будущие реализации позволят решать более сложные задачи. Например, "построй базу на Луне".
Базовый алгоритм останется прежним, только реализация и "носитель" (ЭВМ) будут на порядки сложнее.

Актуальности в самобучаемом AI для игр нет. Если это конечно не классические настольные игры типа шахмат ну или тому подобное. В игры человеку должно быть интересно играть, а для этого AI должен красиво проигрывать, а не умно выигрывать.

LiveBaster

Расскажи, как ставится тобой задача - по шагам пунктам.
Я понимаю, как поставить задачу, но не понимаю как это связать с движениями.
Неужели ИИ ставит сам себе задачу и связывает её с возможными движениями?
Без обратной связи невозможен механизм обучения - как он устроен?
xDimka

Это здесь не обсуждается и имеет отношение к игрушкам - по скольку по стольку.
Хотя само утверждение спорное, те-же Цепи Маркова для поведения противника, но мусолить этот вопрос надо в другом месте.

Страусу явно не хватает оценки, что биться башкой о землю - плохо, а ногами цепляться нормально. А так он может выучиться ходить ногами и головой