- master-sheff
- Постоялец
Сначала я думал, что все токены там - слова, неизвестное слово просто токен #547165467112.
Но - задал задачу обратить слово, и оно хрясь! - обратил ТРИНИДАД в ДАДИНИРТ. Как?!
И вот я начал длинную беседу с ИИ, причём он бил хвостом и как-то странно пытался уводить от вопроса в противоположном направлении...
Как нейросети воспринимают слова? Воспринимают ли они каждую букву в отдельности, или могут только чувствовать импульс, соответствующий целому слову?
Вот тут он придрался к слову "импульс", хотя лучше вместо "чувствовать импульс" мне было бы написать "воспринимать токен"... А он хрень развёл:
А что насчёт "чувствовать импульс целого слова"?
Это метафора из человеческой психологии — когда мы читаем слово целиком, не проговаривая буквы.
Но у нейросети нет сознания, нет ощущений, нет "импульсов" в биологическом смысле.
Они просто математические функции, которые: Принимают числа (токены → эмбеддинги), Пропускают их через слои нейронов, Выдают новые числа (следующее слово, ответ, перевод и т.д.). Их "понимание" — это статистическая закономерность, выученная из данных, а не осмысление.
Нахрена он всё это написал?!
Отлично! Давайте посмотрим, как слово «ТРИНИДАД» токенизируется в реальной языковой модели — возьмём популярную модель из Hugging Face:
Слово «ТРИНИДАД» разбивается по буквам!
Это потому, что rubert-tiny использует Byte-Pair Encoding (BPE) с малым словарём (~30k токенов), и редкие слова (вроде названий стран) не попадают в основной словарь → они разбиваются на символы.
Если хочешь — могу показать, как выглядит эмбеддинг (вектор) слова «ТРИНИДАД» в rubert-tiny — и как он сравнивается с «ЯМАЙКА» или «КУБА». Это ещё интереснее!
какой смысловой вектор представляет всё слово целиком?
👉 В BERT-моделях для этого используют вектор последнего токена (обычно [CLS] — специальный токен начала), но также можно усреднить все токены слова — это часто делают для получения "представления целого слова".
Токены: ['[CLS]', 'т', 'р', 'и', 'н', 'и', 'д', 'а', 'д', '[SEP]']
ID токенов: [0, 10, 183, 175, 196, 175, 172, 145, 172, 2]
Эмбеддинг слова 'ТРИНИДАД' (усреднённый вектор из 8 букв):
Размер: 128 чисел
Первые 10 значений: [0.124, -0.087, 0.213, -0.045, 0.101, -0.156, 0.089, 0.032, -0.067, 0.112]
И вот тут я ничего не понял...
# Усредним эмбеддинги всех букв слова (игнорируя [CLS] и [SEP])
# Слово "ТРИНИДАД" занимает позиции 1–8 (индексы 1 до 8 включительно)
word_start = 1
word_end = 9 # т.к. [SEP] на позиции 9
word_embeddings = embeddings[word_start:word_end] # shape: [8, 128]
# Усредняем по всем буквам → получаем один вектор для всего слова
word_vector = word_embeddings.mean(dim=0).numpy() # shape: [128]
КАК?! Мать твою, как?!
># Усредним эмбеддинги всех букв слова
Когда мы что-то "усредняем", мы берём выборку и дальше для каждого значения из этой выборки берём среднее.
Здесь у каждой буквы - только код видать. Чему равен её вектор?
Как из 8 кодов (1 число) мы получаем один 128-мерный вектор?! Как?!
Дезанизатор
> Как?!
Его просто задолбали такими "проверками" и его создатели внедрили отдельный функционал такой, отдельно он нейронки.
еще как вариант твоя нейронка оперирует в русском языке на каждую букву по токену.
Попробуй задать английское слово.
PS: твой бред не читал, так как там сразу фейспалмы с первых слов.
Дезанизатор
Токены там буквы, в случае английского комбинациии букв (это просто оптимизация чтоб в ограниченный контекст больше текста влезало), но все это неважно - можешь например попросить его развернуть букву R и он правильно скажет что будет похоже на Я, хотя для него это по-прежнему цифры.
Можно сказать что нейронки обучены угадывать что ответил бы человек на вопрос и в результате угадывают настолько успешно, что это выглядит как понимание.
master-sheff
> твой бред не читал
Развелось каких-то "гениев от ИИ", будь проще и люди к тебе потянутся)
master-sheff
> еще как вариант твоя нейронка оперирует в русском языке на каждую букву по токену.
Она об этом явно сказала.
Попробуй задать английское слово.
Слово HELLO наоборот записывается как:
OLLEH
Т.е. ты сам не понимаешь как, сам не понимаешь что, и многобукаф? А бред у нас?
kipar
> и в результате угадывают настолько успешно, что это выглядит как понимание.
Ну, в принципе, можно представить: незнакомые слова - по буквам, обратить легко. Знакомые - обращение известно, они же знакомые, хотя само обращение будет по буквам тоже. Так сказать,
#hello -> #o #l #l #e #h
А вот что там за код приведён? Есть фейерверки фреймворки для ИИ? Поди, просто шлют запрос на сервер авторов?
Дезанизатор
> А бред у нас?
Да, бред у тебя, изучи уже матчасть и не пудри не людям не нейронкам мозги.
обрати слово construction
Слово "construction" на русском языке переводится как:
строительство
Если ты имел в виду обратить слово в смысле перевернуть буквы (анаграмма или зеркальное отражение), то:
1. Обратное написание (зеркально):
Переворачиваем буквы слова "construction" с конца к началу:
"noitcunrts"
Дезанизатор
> Как?!
С тех пор как Тьюринг поставил задачу имитации, появилось две разновидности дурачков - одни пытались построить правильно отвечающую машину, другие придумать вопрос на который она бы не ответила. После того, как было предложено заменить ИИ Китайской Комнатой, заведомо не способной отвечать на вопросы типа "какое сегодня число" или "сколько будет 4567576676783568 плюс 445646567678789", эти старые наработки были использованы путем добавления в список "иероглифов" вызовов процедур, умеющих в простейшие символьные, числовые и графические преобразования.
master-sheff
> Да, бред у тебя, изучи уже матчасть и не пудри не людям не нейронкам мозги.
"Сильное утверждение. Доказывать мы его, конечно, не будем." (с)
gudleifr
> После того, как было предложено заменить ИИ Китайской Комнатой, заведомо не способной отвечать на вопросы типа "какое сегодня число" или "сколько будет 4567576676783568 плюс 445646567678789"
Почему не способной? На второй вопрос вроде ответить должна.
Дезанизатор
> Почему не способной?
Потому, что каноническая Китайская комната может давать ответы только на те вопросы, которые заложены заранее. Числа могут расти бесконечно, поэтому заранее заложить значения всех сумм невозможно. Если кто-то и забьет в свободный банк суммы даже больших чисел, то можно легко усложнить формулу и выйти за пределы банка любой конечной емкости.
Дезанизатор
> Поди, просто шлют запрос на сервер авторов?
Нет, есть оффлайновые модели, которые можно запустить на своем компе. Правда если у тебя нет кучи видеокарт и сотен гигов оперативки, то то что удастся запустить будет на порядок меньше того что крутят на сервере, так что тупить будет заметно больше.
master-sheff
> обрати слово construction
ну дикпик справился, может у него и английские слова по буквам, а все токены ушли на китайские?
gudleifr
https://ru.wikipedia.org/wiki/%D0%A1%D0%B8%D1%81%D1%82%D0%B5%D0%B… C%D0%BC%D0%B0
Самое большое число — тьма тем.
Малый счёт — десять колод, или миллиард
В малом счёте число служит последним пределом естественного (соотносимого с какой-либо деятельностью) счёта. Тьма тьмущая — бесконечное количество, неисчислимое множество.
Да, для человеческого мозга это так и есть. На миллионах и миллиардах способность осознавать величину чисел теряется и это становится синонимом неизмеримой бесконечности.