- Sbtrn. Devil
- Постоялец
ecta
> свою выбранную стратегию игры в памяти
У ыы в шахматах нет никакой стратегии. Это (не)банальный перебор.
ecta
> Стратегия в шахматах как я понимаю это "некий путь" проложенный нейронкой сквозь весь некий "лабиринт" до его конца, т.е. победа это шаг фигурой в последнюю клетку с надписью "выход с лабиринта".
Нет ты не правильно понимаешь. ЫЫ оценивает позицию по «своим» правилам. Оценивает позицию которая будет после следующего хода. И следующего. И Следующего. Вот так он и находит лучший ход который впоследствии приведет его к лучшей ситуации через н ходов.
Отличие от старых программ лишь в том, что нейросеть устанавливает свои критерии на основе опыта, а в старую программу эти критерии были вложены
Ren
> Отличие от старых программ лишь в том, что нейросеть устанавливает свои критерии на основе опыта, а в старую программу эти критерии были вложены
В данном случае, нейронная сеть, будучи языковой моделью, рассматривала происходящее как задачу дополнения входного потока символов по принципам языковой модели. Но внезапно оказалось, что такой способ решения задачи для, к примеру, шахмат работает, как говно, и проигрывает самому завалящему специализированному алгоритму.
Сие как бы намекает, что перспективы такого подхода мрачнее, чем кажутся.
Sbtrn. Devil
Сие намекает что нейросеть сгенерировала критерии хуже чем тем, что вложены человеком в старые версии.
Sbtrn. Devil
Но твой специализированный алгоритм не гибок и его руками нужно апгрейдить, а если нейронку чисто на принципах языковой модели научить играть, то она так свои веса перенастроит, что станет шахматной моделью и будет играть точно так как записаны хода в её патернах, как альфазиро, плюс сможет импровизировать и делать новые хода, если ей перед каждым ходом немного белый шум к весам подмешивать.
Если взять обычного человека с улицы, не умеющего играть в шахматы, объяснить ему правила и дать сыграть с шахматной программой из 1980-х, то его тоже будут возить мордой по доске во всех позах.
ecta
> а если нейронку чисто на принципах языковой модели научить играть, то она так свои веса перенастроит, что станет шахматной моделью
Ну вот когда научат и когда перенастроят, тогда и. Точнее, если.
0iStalker
> Если взять обычного человека с улицы, не умеющего играть в шахматы, объяснить ему правила и дать сыграть с шахматной программой из 1980-х, то его тоже будут возить мордой по доске во всех позах.
А если ему начитать библиотеку-ленинку с кучей информации по всем отраслям человеческих знаний, в том числе учебники по стратегии и теории шахмат, и протоколы всех шахматных партий истории (предположим, для корректности аналогии, что он вундеркинд и всё запомнит)?
Ren
> Сие намекает что нейросеть сгенерировала критерии хуже чем тем, что вложены человеком в старые версии.
...потому что, в силу ограничений дизайна, смогла сгенерировать только такие. Не забываем, что у неё есть библиотека-ленинка, в которой есть вся та информация, что заложена в старый комп, и даже более. Вполне возможно, даже доскональная документация по этому самому старому компу, с описанием всех схем и алгоритмов. Чисто технически, у неё была вся информация, чтобы, не отходя от кассы, хотя бы эмулировать на себе этот самый старый комп. Но нет.
Sbtrn. Devil
> А если ему начитать библиотеку-ленинку с кучей информации по всем отраслям человеческих знаний, в том числе учебники по стратегии и теории шахмат, и протоколы всех шахматных партий истории (предположим, для корректности аналогии, что он вундеркинд и всё запомнит)?
Люди обычно хороши только в чём-то одном и это становится их профессией на всю жизнь. Ни один шахматист, насколько мне известно, не стал параллельно с этим ещё и хорошим автогонщиков. Даже шахмо-бокс это скорее прикол, чем реальный спорт потому что все понимают что это абсолютная дичь соревноваться одновременно в настолько разных дисциплинах. Максимально близко к этому подошёл пожалуй только биатлон, но в нём практически нет места умственной деятельности.
> Не забываем, что у неё есть библиотека-ленинка
А ещё не забываем, что у неё есть ограничение на количество параметров, которые собственно определяют всю её конфигурацию. И это количество всё ещё в десятки-сотни раз меньше, чем у человеческого мозга, при этом они уже во многом превосходят обычных кожаных. Сколько бы раз ты не прочитал всю библиотеку, ты её не запомнишь, а ИИ пока что запоминает ещё меньше, просто на него действует меньше отвлекающих факторов типа поесть, поспать, посрать, он уделяет ровно ноль времени собственной безопасности в то время как человек уделяет этому большую часть времени.
0iStalker
> Если взять обычного человека с улицы, не умеющего играть в шахматы, объяснить ему правила
Да. Шахматные задачи в рамках LLM в общем не решаются. Невозможно на лингвистическом формализме решать сильно нелингвистические задачи. LLM в лучшем случае может быть одним из интерфейсных «модулей», с обязательным наличием неформализуемых «мышлений».
Было бы странно если бы языковая модель смогла в шахматы не хуже Alpha Zero.
Вся его "оперативка" это вопросы и ответы. Соответственно если бы это был дикпик мы попросили его рассуждать о том какие есть варианты хода и только потом делать ход, то он мог бы кое-как реализовать полный перебор и даже нарыть книгу дебютов. И то, окна контекста вряд ли бы хватило для серьезной игры.
С другой стороны, как тут недавно постили, Альфазеро даже без перебора вариантов играет на уровне человека-гроссмейстера. Так что да - ллм принципиально ограничен в способности обрабатывать ту информацию которой его обучили за счет того что не может дополнительно "переварить" ее внутри себя, только продолжать текст.
Zefick
> Люди обычно хороши только в чём-то одном и это становится их профессией на всю жизнь.
Но орхетектура-то у всех плюс-минус одинаковая.
Продолжение текста это тоже задача нетривиальная, в недавнем прошлом в целом нерешаемая. И требует определенного «понимания» смысла, т.е. вербальной когнитивности. ЛЛМ в этом смысле - удобная штука для тупых ассистентов, для natural language processing. Но вообще для приближения к AGI необходимо чтобы система создавала и тренировала «экспертов» в разных направлениях, используя тот же LLM как прокси.
Sbtrn. Devil
> Но орхетектура-то у всех плюс-минус одинаковая.
Эта архитектура накладывает свои ограничения на количество параметров. Можно только выбирать во что их вкачивать, но прокачать всё сразу не получится. Возможность хорошо играть в интеллектуальные игры для естественного интеллекта это не столько вопрос думанья, сколько вопрос наигранности и насмотренности. Нельзя просто прийти и обыграть чемпиона мира если ты никогда до этого не играл даже если у тебя IQ в два раза больше, чем у него. Поэтому умение хорошо играть в какую-то игру забирает на себя часть памяти.
Zefick
Нет технического препятствия в том чтобы прокачивать множество областей экспертиз. Все человеческие препятствия связаны с ограничениями во времени развития и безвозвратным прунингом. Искусственный интеллект имеет все возможности прокачивать любую область знаний не в ущерб другим, и не в ущерб интерфейсной ЛЛМ уж точно.
ЛЛМ нынешняя - это именно что интерфейсный «модуль», который пытаются прокачать вглубь, не наполняя эмпирикой и параллельными модальностям, пытаются архитектурно заворачивать, зацикливать для имитации «рассуждений». То есть экспериментируют почти вслепую, пытаются из ежа напильником выпилить ужа. Сомнительные пути. Уверен, бесплодные.
kipar
> С другой стороны, как тут недавно постили, Альфазеро даже без перебора вариантов играет на уровне человека-гроссмейстера.
Сказали создатели альфа-зеро. А потом сообщило что они опаздывают на рейс к проксиме Центавра