- Zefick
- Постоялец
Dexus
> Людям часто блокнотики её недостаток компенсируют, и вполне успешно.
Блокнотики это даже не кэш третьего уровня, это внешнее запоминающее устройство. Думаю не надо объяснять какое место они занимают в иерархии памяти по влиянию на скорость вычислений. Блокнот может хранить какую-то справочную информацию, но он не заменит даже ту же информацию в голове с мгновенным ассоциативным доступом. Можно сравнить перевод неизвестного языка с помощью словаря и перевод того же языка если ты хотя бы знаешь все слова и тебе не надо никуда за ними лезть. Информация вроде бы та же самая, но вот скорость увеличивается феноменально. Ну и способ работы с внешними данными тоже отличается от случая когда эти данные находятся плямо в голове. Если для человека это не критично, то нейросети надо заново учить работать с каждым внешним хранилищем отдельно и по каким-то признаком понимать, что у них это получается.
> Это вообще не должно даже обсуждаться. Какая-то ясельная проблема.
Я тоже так считаю, но ты упёртый как баран :)
Все, кто работает над ИИ или хотя бы интересуются, в курсе, что размер модели имеет огромное значение, но тут находится гений, который уверен, что всё это фигня и на самом деле можно всё "записывать в блокнотике".
> Тебе про первичность эмпирики
А я с этим и не спорил, я говорю что вся эмпирика должна умещаться в активной памяти, что на сегодняшний день недостижимо. Иными словами сделать ИИ, который был бы хорош во всём, трудно. Получится максимум что-то типа рена: думает что знает всё и стремится вставить везде свои пять копеек, хотя на самом деле просто где-то что-то слышал и неправильно понял.
kipar
> хочешь сказать, что если LLM дополнительно обучить шахматной литературе и дать сыграть тыщу партий, то он таки научиться в них играть?
Ну на уровне человека, который сыграл такое же количество партий, может быть даже и научится. Я хз что там за разряд с такой наигранностью - третий или второй, но точно даже не КМС. Но я ещё раз повторю для тех, до кого не доходит: нынешние ИНС сильно отстают от человека по сложности. Так что я так и не понял с чем ты споришь. Или тоже из тех, кто "я не спорю, а считаю это очевидным"?
Zefick
> я говорю что вся эмпирика должна умещаться в активной памяти, что на сегодняшний день недостижимо. Иными словами сделать ИИ, который был бы хорош во всём, трудно.
Это будет ошибочной стратегией. База знаний регулярно меняется, а модель с ультраоптимизированным «когнитомом» будет неповоротлива и фактически заморожена как те же ЛЛМ. Ни гибкости, ни увеличения детализации модели, ни переучивания. Нет. Система должна базироваться на принципе динамической адаптации, то есть она должна создавать суб-модели под конкретные задачи, обучать их, и использовать для текущей задачи. По необходимости - «архивировать», очищая пространство для новых моделей. Знания меняются (дополняются, или даже вообще оказываются ложными), необходимо чтобы архитектура не страдала от «ложки дегтя», имела возможность разрешения диссонансов, и не расходовала на всё эти адаптации безумное количество ресурсов (что понадобится для убер-ИИ, который во всех областях специалистом должен быть). А архивирование субмоделей, при обновлении - для разбора полетов.
Я думаю, смысл понятен. Идея в ИИ, который может создавать и тренировать ситуационные под-ИИ под текущие задачи. Не нужно оперативное пространство засирать мертвыми невостребованными в данный момент данными, учитывая что оперативное пространство не просто «хранит» конфигурацию, но и процессит его. Это ультранерационально было бы.
Zefick
> Ну на уровне человека, который сыграл такое же количество партий, может быть даже и научится. Я хз что там за разряд с такой наигранностью - третий или второй, но точно даже не КМС.
Ну сто тыщ партий. Да хоть все записи партий какие есть в мире.
Zefick
> Так что я так и не понял с чем ты споришь.
с тем что я процитировал, не?
LLM это просто основной подвид и пока что он имеет ровно те же недостатки, что и естественные нейросети в аналогичных условиях.
если в кодинге или там математических задачах LLM демонстрирует довольно впечатляющие результаты, то в шахматах он (судя по описанному опыту) непропорционально слабее человека. И я не уверен что файн-тюнинг исправит ситуацию.
Вот, кстати, в тему тиснули исследование. LLM/LRM натравливали на тестовые задачи с известными алгоритмами решения и регулируемой сложностью, дабы оценить график перфоманса. Внезапно оказалось, что они начинают фейлиться, начиная с некоторого порога сложности.
This is interesting as it shows that compositional reasoning failures in LLMs are not simply due to insufficient context length or inference compute, but rather reflect fundamental limitations in how models maintain algorithmic consistency across problem scales.
Говорят, интересантам движухи подпалило жопы, и наперебой кинулись делать опровергач, но тем не менее - факт налицо им на лицо.
Sbtrn. Devil
> Внезапно оказалось, что они начинают фейлиться, начиная с некоторого порога сложности.
Ну оно, скорее всего, не может быть умнее (в плане сложности задач), чем тот материал, на котором LLM тренировали... коликчества ещё недостаточно, чтобы оно перешло в новое какчество. По сложности мозгов оно ещё даже кошку не превзошло. Ну это не значит, что нельзя увеличить порог сложности.
kipar
> Ну сто тыщ партий
Чтобы не гадать ты можешь просто нагуглить на каком количестве партий обучался AlphaZero, чё ты ко мне прикопался?
> если в кодинге или там математических задачах LLM демонстрирует довольно впечатляющие результаты, то в шахматах он (судя по описанному опыту) непропорционально слабее человека.
Сюрприз: потому что шахматам его никто не обучал и скорее всего даже не пытался. Это не шахматный ИИ и быть сильнее в математике и программировании для него важнее, а если его обучать шахматам, то он будет хуже справляться с чем-то другим потому что у него ограниченная сложность и тратить её на шахматы просто посчитали лишним.
Sbtrn. Devil
> Внезапно оказалось, что они начинают фейлиться, начиная с некоторого порога сложности.
Внезапно люди демонстрируют ровно то же поведение. Одно дело написать цикл прохода по массиву, а другое провести робота по 2D лабиринту с помощью динамического программирования (много вообще кто знает, что это такое?) хотя там по сути-то ничего сложного нет, просто для этого надо сделать немного больше умственных усилий, чем считается допустимым при обычной работе. Поэтому задачи, которые переходят определённый незаметный порог, считаются сложными. Ещё, например, миллионы школьников ежегодно сдают ЕГЭ. Они имеют примеры заданий за все предыдущие годы и как минимум месяцы а то и год (кто-то может быть даже раньше) задрачивают пробники и должны знать как это делается, но почему-то стобалльников далеко не 100%. Просто иногда по какой-то причине людям либо лень, либо они физически не в состоянии составить решение из известных им шагов.
Zefick
> Сюрприз: потому что шахматам его никто не обучал и скорее всего даже не пытался
его много чему никто специально не обучал, но тем не менее он умеет. Но ключевой вопрос - сможет ли он играть если его таки зафайнтюнить (пусть не на уровне альфазеро, т.к. альфа-бета для него останется недоступна независимо от количества обучающих данных), но хотя бы сильнее людей или его архитектура принципиально для этого не подходит.
Sbtrn. Devil
> Внезапно оказалось, что они начинают фейлиться, начиная с некоторого порога сложности.
Да, у известной научной Сабрины вышел выпуск в трубе по этому поводу. Жаль конечно что она не особо шарит в теме, но скептический дух канала обязывает подкинуть. В целом это то и есть про что я говорил, архитектура ЛЛМ не может в полноценные рекурсии и интерактивности. Если с первого напрыга не смог задачу решить - начинает глючить. Жаль что в ответах этих всяких текстогенерилок никак не выставляются (тэги) по степени доверия (уверенности) в высказываниях - и для внемлющего полезно знать, и для отладки странных глупостей удобно.
Dexus
> .В целом это то и есть про что я говорил, архитектура ЛЛМ не может в полноценные рекурсии и интерактивности.
Вроде как стараются преодолеть это ограничение - https://habr.com/ru/companies/bothub/articles/881248/
0iStalker
> Вроде как стараются преодолеть это ограничение
Логично, что будут костыли какие-то придумывать для увеличения пользы. Но именно костыли и получаются, в данном случае некие оркестраторы, которые многократно запускают ЛЛМ с разными контекстами, пока галочки нужные не поставятся в чеклисте.
Это сомнительный способ. Дает временную пользу.
ИИ совершенно не понимает современных экологических и научных трендов. С такими нейросетями мы не скоро антигравитацию изобретем.
Вот какую идея я предложил на рассмотрение:
Существует проблема хранения водорода для водородных двигателей. В баллонах под давлением он опасен, крио-хранилища неудобны и т.д. Однако водород очень плотно упакован в обычной воде. Берем литиевый аккумулятор или бензиновый генератор, расщепляем постоянным током воду на водород и кислород, подаём смесь на водородную топливную ячейку и получаем экологически чистое водородное электричество которое и будет вращать движитель!
И вот что"интеллект" мне ответил:
Ваша идея интересна, но в ней есть несколько фундаментальных проблем, связанных с законами физики и экономикой энергетики. Давайте разберём их по порядку.
Дальше приводить текст я не стал. Он тупо забросал мою идею на корню своими тупыми коэффициентами и что-то плёл про КПД. А главное - то что идея работает он и не заметил.
НиКит
тут на форуме разная публика бывает, так что лучше в конце пометить что это сарказм, кто-то и всерьез может такую идею предлагать.
gmake
К 2030 году поколение зумеров рискует остаться без работы из-за ИИ, пишет NYT
Проблема решается очень просто: понижаем пенсионный возраст и рабочие места высвобождаются. А те страны которые этот возраст повысили просто не читают NYT и не понимают вектор развития.