Войти
ПрограммированиеФорумИгровая логика и ИИ

Актуальность самообучаемого ИИ в применении для игр (82 стр)

Страницы: 177 78 79 80 81 82
#1215
(Правка: 11:23) 11:23, 5 мая 2020

Suslik
> разумеется, чтобы реакция на подобные воздействия была адекватной, ему нужно
> по-нормальному на ходу дообучаться

Вот.


#1216
(Правка: 11:34) 11:29, 5 мая 2020

LiveBaster
> Вот.
что "вот"-то? то, что ты называешь мышлением, у них называется дообучением. в чём разница-то? или ты хочешь сказать, что твоё поделие не занимается никакими вычслениями после запуска? оно не занимается дообучением?

#1217
11:41, 5 мая 2020


Suslik
> в чём разница-то? или ты хочешь сказать, что твоё поделие не занимается
> никакими вычслениями после запуска?

Разница в том, что "их дообучение" требует образцов движений, которым надо обучать - там вроде требуется около 1000 итераций в видео, чтобы существо шагало и не падало.

Вот я даже не знаю, как при помощи их метода сделать аналог крайнего видео, где Страус с качелей улетает и падает совершенно в случайную позу, а потом успешно встаёт на ноги в заданное положение.

Я уже молчу про всякие разные препятствия, которые могут встретиться на пути. Как под ещё неизвестное будущее их метод дообучит их существ?

#1218
(Правка: 12:01) 11:57, 5 мая 2020

LiveBaster
> Разница в том, что "их дообучение" требует образцов движений, которым надо обучать
может, хватит свои фантазии за действительное выдавать? ты даже не читал, как оно работает, зато уже 80+ страниц пытаешься проталкивать своё "ноу-хау". нет там никаких образцов движений, алгоритм оптимизации итеративный и в видео показывают, к какому решению он приходит на каждой итерации.

> Вот я даже не знаю, как при помощи их метода сделать аналог крайнего видео, где Страус с качелей улетает и падает совершенно в случайную позу, а потом успешно встаёт на ноги в заданное положение.
кучу раз уже было сказано, что дообучение реализуется тривиально, если сам алгоритм обучения сходится быстро. я уже выкладывал видео 4 миллиона раз, как сам реализовал подобную схему, но это было до публикации их пейпера, поэтому я многое в нём сделал не оптимально и можно было то же самое сделать гораздо эффективнее. вот тут он управляется кнопками, которые меняют целевой функционал, чтобы он на ходу учился стоять, ходить влево и вправо:

+ Показать

на сегодняшнем железе то же самое запросто бы работало в 3д в реалтайме, даже учитывая кучу очевидных оптимизаций, о которых я тогда не знал.

если он падает во время ходьбы, то это вообще никак в коде отдельно не обрабатывается, просто оптимизирующий алгоритм по ходу дообучения (которое происходит постоянно) вынужден поднять робота, чтобы максимизировать его скорость передвижения:

+ Показать

#1219
12:28, 5 мая 2020

Suslik
> вынужден поднять робота
Чтобы поднять робота в 3D, необходимо сначала найти траектории движения его конечностей, в конечном итоге, приводящие к правильному конечному положению тела - недостаточно "максимизировать его скорость передвижения".

#1220
(Правка: 12:36) 12:33, 5 мая 2020

LiveBaster
> Чтобы поднять робота в 3D, необходимо сначала найти траектории движения его
> конечностей, в конечном итоге, приводящие к правильному конечному положению
> тела - недостаточно "максимизировать его скорость передвижения".
в том-то и дело, что нет, потому что чтобы максимизировать скорость, он просто как следствие обязан найти способ подняться, потому что в лежачем положении он передвигаться не сможет достаточно эффективно. никакой отдельной команды на "сначала встань, потом иди" нету, ему говоришь "иди" и для этого он сам приходит к выводу, что единственный способ это сделать — это сначала научиться вставать. именно таким образом работают оптимизирующие алгоритмы. чем более сильный оптимизирующий алгоритм используется, тем более продвинутые цепочки действий он может таким образом находить.

при этом в словосочетании "приходит к выводу" здесь нет никакого волшебства, здесь поиск осуществляется в пространстве возможных решений, это алгоритмы сродни поиску пути, где можно сначала найти какой-то неоптимальный путь, а потом, использовав больше итераций, оптимизировать его и делать всё короче. так же и люди когда учатся плавать, например, сначала учатся плыть хоть как-то, а потом по ходу ищут оптимальный способ.

#1221
13:17, 5 мая 2020

Suslik
> просто как следствие обязан найти способ подняться

А для этого ему надо "найти траектории движения его конечностей, в конечном итоге, приводящие к правильному конечному положению тела".
Иначе, не поднимется.

#1222
13:24, 5 мая 2020

Suslik
> где можно сначала найти какой-то неоптимальный путь

См. мои слова выше:
"Давайте сначала определим разницу между типами задач:
1. оптимизация
2. поиск решения

Чтобы оптимизировать решение, сначала необходимо получить это самое решение.
Например, имея образец ходьбы, можно его оптимизировать под разные типы тел.
См. пример на видео от Suslik - это обычная задача оптимизации.

В этой ветке речь идёт о другом типе задач - поиске решений.
Разум/интеллект - это в первую очередь поиск решений, а только затем оптимизация найденных решений.
Например, любой спортсмен ежедневно решает задачу по оптимизации ранее найденных решений - тренер ему показывает, как правильно, а спортсмен оптимизирует готовое решение под своё тело."

Основная проблема Разума - найти этот первый "неоптимальный путь". В общем-то, это и есть Разум.
Основная задача LiveBaster - это искать этот самый первый, пусть даже неоптимальный путь.
Дальше всё просто - обычный метод оптимизации, которых великое множество.

#1223
13:28, 5 мая 2020

LiveBaster
> А для этого ему надо "найти траектории движения его конечностей, в конечном итоге, приводящие к правильному конечному положению тела". Иначе, не поднимется.
я уже говорил, что он это делает автоматически в ходе работы алгоритма оптимизации. этот алгоритм сам должен найти зависимость между управляющими сигналами и параметрами датчиков, чтобы сгенерировать эффективное решение. при этом алгоритм работает с соврешенно абстрактными параметрами, которые он оптимизирует, он не знает, что на самом деле он ищет способ роботу правильно дрыгать ногами или что он пытается его поднять на ноги — он только ищет способ достичь максимум в целевой функции (скорость передвижения). всё остальное — лишь путь, по которому он этот максимум достигает.

это основы теории управления, а не какие-то прорывные технологии. так работают алгоритмы глобальной оптимизации ещё с 90-х годов, когда они начали первые появляться более-менее эффективные. в этом нет никакого волшебства, это чистая математика.

#1224
(Правка: 13:36) 13:30, 5 мая 2020

LiveBaster
> Чтобы оптимизировать решение, сначала необходимо получить это самое решение.
в качестве изначального решения выбирается случайный шум. нет никакого "образца", с которого всё начинается, на первой итерации алгоритма робот совершает совершенно рандомные действия.

> Например, имея образец ходьбы, можно его оптимизировать под разные типы тел.
брехня. никто так не делает, ты это сам придумал. все алгоритмы оптимизации по ссылкам выше начинают со случайного решения, либо с нулевого инпута (разницы в конечном итоге нет).

> Разум/интеллект - это в первую очередь поиск решений, а только затем оптимизация найденных решений.
лол ты серьёзно думаешь, что кто-то тебе даёт решение, которое ты "оптимизируешь"? да чёрта с два, никто тебе его не даст. оптимизация на каждом шаге стартует с того, на чём закончили на предыдущем. а первый шаг генерится совершенно случайно, просто рандомное дрыганье как у тебя. поиск решения — это оптимизация его на разных масштабах: ты сначала оптимизируешь случайный шум, чтобы получить общий очень грубый вид, а потом оптимизируешь всё точнее и точнее, избавляясь от ненужных движений.

#1225
(Правка: 23 июля 2020, 8:35) 13:37, 21 июля 2020

flint2
> ТС льёт воду общими фразами, а сути нет.
Все эти объяснения ТСа похожи на разводилово для инвесторов.

upd
ой, нет.. просто алгоритм гамно, а афтар отчаянно не хочет это признавать
а вобще ветку хорошо читать перед сном, от таких "объяснений" сразу в сон клонить начинает

Страницы: 177 78 79 80 81 82
ПрограммированиеФорумИгровая логика и ИИ