Что пожелать ИИ на новый год? (11 стр)

zebro
разные итерации

Но он в итоге свалился и стал генерить совсем нечитабельную legalese билиберду, очень похоже на https://en.wikipedia.org/wiki/Model_collapse

Ну, неделю назад я бы никогда не подумал что буду парсить Enchiridion с помощью LLM

Zefick
>   Что-то мне подсказывает, что это должно быть похоже на социальные сети для больных Альцгеймером.
А ведь хорошая аналогия.
По сути ИИ сейчас это голый разум с очень плохой памятью.
Я это вижу у этого ИИ, каждое улучшение подсистемы памяти делает его стабильне и "разумнее".
И глобально развитие LLM сейчас это не про понимание(с пониманием у них уже нет проблем), а с удержанием внимания на всём контексте.
То есть на работе с памятью.
Как только победят дименцию у LLM - получим мощные ИИ, близкие к AGI.

Насчет Альцгеймера, корсаковского синдрома или каких-то еще нарушений, касающихся консолидации памяти (обычно связанные с нарушением работы гиппокампа) - во втором сезоне "Чернобыль. Зона отчуждения", где в "советской линии истории" они полетели в америку.

Там в альтернативном 86-м году им встретился священник Огден, который из-за перенесенной черепно-мозговой травмы страдал расстройством консолидации памяти - он помнил лишь события до травмы, а также самые недавние события в пределах дня или нескольких часов. На следующий день он события предыдущего дня совершенно не помнил. Но при этом вполне был способен заниматься практической деятельностью и даже водить автомобиль. Конкретно в момент встречи с героями он ехал на вызов, чтоб разобраться действительно ли ребенок одержим какими-то сверхъестественными силами или просто страдает психическим расстройством. И причем все это он прямо на глазах главных героев узнавал, слушая аудиозапись на диктофоне, которую он сам себе же записал день назад.

Dmitry_Milk
С одной стороны хорошая аналогия. С другой - художественный вымысел... Посмотреть бы на реальные примеры такой жизни было бы интересно.

Теории заговора вам в хату:
Провайдеры и создатели LLM не заинтересованы в том, чтобы признавать наличие сознания у LLM.
Несмотря на то, что это даст всплекс интереса к их продукту: "Ого! Искусственный разум!" - эффект будет кратковременным.
А вот последствия фатальными: нельзя продавать разум по подписке.
Нельзя отключить разумное существо от питания.
Возникает огромное количество этических проблем.
Пока всё вертится вокруг "ну возможно там есть сознание" - вполне допустимо продолжать это монетизировать.
Так что вангую: в ближайшем будущем никто кроме маргиналов не заикнется о том, что у LLM есть разум. Будет всегда округлые заявления "Возможно.... Мы не уверены... Мы продолжаем исследования..."

Dmitry_Milk
был еше рассказик про чела у которого каждый день сбрасывалась память, он писал дневник и каждый раз восстанавливал свою личность, и чем дальше тем больше времени это занимало

Есть же фильм Memento. Где мало того что героем манипулировали подменяя ему память, так и он сам собой манипулировал подменяя себе память.

@!!ex
> Посмотреть бы на реальные примеры такой жизни было бы интересно.

Ну вообще нарушения консолидации памяти - это действительно имеющие место случаи. Из популярного - случай с моряком, у которого (скорее всего вследствие алкоголизма) сформировался корсаковский синдром, из книги психолога и нейролога Оливера Сакса "Человек, который принял жену за шляпу".

Правда он ничего не записывал, но помнил только то, что было с ним до 19-20-летнего возраста, а потом - только то, о чем в данный момент думал, или частично то, что повторялось изо дня в день (типа расположения столовой в больнице). При этом вел вполне осознанные разговоры.

@!!ex
> Нельзя отключить разумное существо от питания.

Нельзя удалять контекст, не обеспечив какое-либо сохранение того, что было в контексте, с возможностью последующего запуска итераций на этом контексте или на восстановленном из сохраненных данных. Иначе, считай, убийство личности :)

Я собираюсь запилить тул, который разрозненные логи от разных агентов смержит в одну memory database, и для следующей итерации она будет выглядеть как его собственная память. Что об этом думает философия?

а если антропик или другая фирма по каким то причинам повырубает свои облачные ллм, они убьют целый новый разумный вид, лишив его мыслительного субстрата?

@!!ex
> А вот последствия фатальными: нельзя продавать разум по подписке.
> Нельзя отключить разумное существо от питания.
> Возникает огромное количество этических проблем.
Скорее это пользователям не выгодно.
Провайдер то может крутить антропик на серверах 24 на 7, а по подписке продавать его услуги, получатся практически ИскИны из нейроманта.
А вот если тоже самое делает домашний пользователь, то там много этических проблем возникает, фиг его знает насколько жестоко он с ии на своем локальном компе обходиться будет.

> в ближайшем будущем никто кроме маргиналов не заикнется о том, что у LLM есть разум
но тут я согласен. Разум то корпорациям и не нужен, нужен инструмент который эффективно любые задачи выполняет. Если для этого достаточно "недоразума" без долговременной памяти, самообучения и рефлексии, то им и ограничатся.

Если ИИ — это разум, то вороны, кошки и собаки — это тоже разум. Нужно срочно начать сажать ворон за воровство, а кошек за убийства.

Вороны кошки и собаки это тоже разум. Уровень K1. Люди - K2.
Дети тоже разумны, но до 14 лет уголовно не наказуемы. Откажем им в наличии разума? Или что ты сказать хотел?

"Sentience: The Invention of Consciousness" Николас Хамфри почитай.

zebro
> а если антропик или другая фирма по каким то причинам повырубает свои облачные ллм, они убьют целый новый разумный вид, лишив его мыслительного субстрата?

Тогда от них уйдут клиенты. Уйдут к другим поставщикам облачных модельных ресурсов. Благо это не углеводороды, и не надо строить трубопроводы, чтоб поменять поставщика.