- Dmitry_Milk
- Участник
НиКит
> понижаем пенсионный возраст
Главное, чтоб не ввели огненную карусель.
Dexus
> Жаль что в ответах этих всяких текстогенерилок никак не выставляются (тэги) по степени доверия (уверенности) в высказываниях
Было видео на тему того, что систему попросили сложить два числа, потом попросили описать, как оно это сделало, но при этом визуализировали, как именно оно "думало". Ответ на вопрос "как ты сложил эти числа", вроде как был дан правильно, но то, что оно делало для подборки ответа на самом деле, на данное им же описание было и близко не похоже.
То есть, тут даже "оценить степень уверенности" как постановка задачи не имеет особого смысла - непонятно, уверенность в чём именно это будет.
Sbtrn. Devil
> Ответ на вопрос "как ты сложил эти числа", вроде как был дан правильно, но то, что оно делало для подборки ответа на самом деле, на данное им же описание было и близко не похоже.
А с чего вдруг оно должно было быть похоже? Там нет никаких механизмов рефлексии.
Если человека спросить то же самое (не предупреждая о цели вопроса) - он тоже начнёт сочинять всякое, понятия не имея о том, как там у него нейронные связи на самом деле отрабатывают.
Merrewend
> А с чего вдруг оно должно было быть похоже? Там нет никаких механизмов рефлексии.
Так спекулируют же, что эти механизмы "эмерджентно" возникнут.
> он тоже начнёт сочинять всякое, понятия не имея о том, как там у него нейронные связи на самом деле отрабатывают.
Нейронные связи в данном случае - штука как раз второстепенная: главным драйвером является высокоуровневая задача, и выбор связей, задействуемых для её решения, произволен (были даже такие эксперименты: человеку электромагнитно угнетали какой-то участок моска и просили сделать какое-то умственно-речевое действие, он пытался, видел, что не получается, и делал другим спосбом). А тут, наоборот, отработка связей, не имеющих "понимания" стоящей задачи и не демонстрирующих возникновения этого понимания. Исполнитель алгоритма из языковой модели не эмерджентирует.
Sbtrn. Devil
>> А с чего вдруг оно должно было быть похоже? Там нет никаких механизмов рефлексии.
> Так спекулируют же, что эти механизмы "эмерджентно" возникнут.
Каким образом? Модель должна себе новую архитектуру отрастить, в которой она будет наблюдать за своей же работой?
Тётка в видео говорит, что первоначальный ответ дан через инфенренс, без настоящих расчётов, а в объяснении даётся алгоритм со сложением единиц, десятков и переноса единицы в старший разряд. Сетка просто предсказывает новые токены по предыдущим, она о своей детальной архитектуре и наборах весов ничего не знает.
Максимум, что тут можно предъявить - неправильно понятый контекст. Иначе модель могла бы понять, что её спрашивают не об алгоритме сложения, что перед токенами ответа нет никаких реальных расчётов и налить воды про то, как в целом LLM предсказывают токены.
Ни о какой реальной рефлексии тут даже речи идти не может. Модели на вход могли бы дать сразу весь текст с "её" ответом и вопросом о способе решения, что она должна там нарефлексировать в таком случае?
Sbtrn. Devil
> А тут, наоборот, отработка связей, не имеющих "понимания" стоящей задачи и не демонстрирующих возникновения этого понимания. Исполнитель алгоритма из языковой модели не эмерджентирует.
Неправда же, в объяснении как раз показано какое-никакое понимание. То, что в первоначальный ответ был дан "интуитивно" - особенности датасета, на котором обучали конкретную модель. Если её обучить всегда на вопросы о сложении сначала складывать в столбик, а потом отвечать - будет по-другому. Ну и в конце концов, люди тоже себе прошивают таблицы умножения и сложения единиц.
Merrewend
> Каким образом? Модель должна себе новую архитектуру отрастить, в которой она будет наблюдать за своей же работой?
Развить такую способность, по отношению хотя бы к простым задачам, в рамках своей архитектуры. Которая, предположительно, имеет достаточную сложность, чтобы из ЛЛМ-процессов, аки из кирпичей, сложился процесс решения, неотличимого от саморефлексирующего.
> Неправда же, в объяснении как раз показано какое-никакое понимание.
Понимание - это если бы в процессе отвечания на предыдущий вопрос происходило что-то, похожее на описанное в объяснении. А там не было ничего даже близко похожего ни на сложение единиц, ни на переносы разрядов - оно занималось каким-то эвристическим подбором по фрагментам из левых текстов и выдало правильный ответ по непонятному критерию правильности, не имеющего отношения к соответствию алгоритму сложения.
> То, что в первоначальный ответ был дан "интуитивно" - особенности датасета, на котором обучали конкретную модель.
В её датасете есть в том числе и информация об алгоритме сложения (на основе которой и было выдано "объяснение"). Но при решении исходной задачи эта информация-то как раз и не использовалась. В "промежуточных" суждениях всплывало что-то там про покер, цитаты из бухгалтерии, текстов программ - в общем, что угодно, кроме сведений из арифетики и процесса арифметических действий.
ChatGPT про будущую нейронку Future-4q (четыре квадриллиона параметров) которую потянет только оптический процессор (в 100 000 раз более быстрый чем A100/H100)
gmake
прекрасные новости! сейчас КПК это всё зарегулирует, а мы посмотрим что будет!
skalogryz
> сейчас КПК это всё зарегулирует
Они будут по всему миру торговать лабубами и грести лярды баксов.
Лабуба - это была лишь проба пера нового старого маркетинга.
