- ronniko
- Постоялец
Рабским трудом миллионов специальных рабов-гастарбайтеров за 2 бакса в час.
ronniko
> у современных нейроситей десятки миллиардов слоев !
10 минутный гуглинг показал что у GPT-4 всего 120 слоев, у QwQ-32B - 64, а у DeepSeek R1 - 61.
Откуда про миллиарды взято?
Имбирная Ведьмочка
> Дополнение —
Имбирная Ведьмочка
> Дополнение 2
ну ты совсем себя не уважаешь, за гпт что-то там дополнять. Я когда звездочки увидел даже читать не стал.
kipar
> ну ты совсем себя не уважаешь, за гпт что-то там дополнять. Я когда звездочки увидел даже читать не стал.
Извиняюсь, косяк. Вот исправленная версия:
Дополнение: важным элементом обучения также являются ритуальные жертвоприношения. Механическому идолу в процессе обучения приносят в жертву вагоны людей, а иногда и даже денег. Например, обучение DeepSeek R1 обошлось приблизительно в 40 миллионов китайских юаней и 250 тысяч китайских непорочных дев.
Илон Маск обещал супер-ИИ — и за 122 дня построил цифрового зверя мощнее всего, что было раньше
200 000 видеокарт.
Для питания столь мощной системы построили специальную электрическую подстанцию на 150 мегаватт.
dexus
Откуда про миллиарды взято?
Сверточные сети, которые фото обрабатывают.
На один объект может быть 10 тысяч слоёв.
А так как изображений много, то параллельно обрабатывают миллионы фото.
Потому и строят gpu фермы где десятки тысяч видеокарт.
Илон Маск сделал 200 000 gpu
Я думаю Дезанизатор легко сделает ферму в 300 000 видеокарт.
Чтобы обучить свою нейросеть типа ЧатГПТ .
Не зря же Дезанизатор такую серьёзную тему создал.
О я понял откуда ТС взял два слоя.
https://yandex.ru/q/machine-learning/10401405953/?ysclid=map0edzni2748884529
3. Теоретическая валидность. К началу 90-х выяснилось, что, оказывается, если точно подобрать количество и размер слоёв, то можно вообще любое на свете уравнение заменить нейронкой (см. теорема универсальной аппроксимации).
Вот пример: нужно компьютеру показать фотку человека, и он должен понять - это мужчина или женщина. Входные данные (x) - это все пиксели на фотке. То есть, на одной фотке, сделанной на айфоне, есть 12 миллионов пикселей. Данные, как вы видите, большие.
Вначале, нейронка очень часто ошибалась, но инженеры долго работали над ней и, в конце концов, нашли решение: нужно тупо сделать огромную нейронную сеть с сотней слоев и тысячами нодов (h). Дип Майнд/Гугл/Майкрософт потратитили очень много денег на оборудование и на разработку алгоритмов, и они оказались правы: сейчас, гугл распознаёт не только ваш пол, но и вашу личность только по лицу или по голосу.
ronniko
> Сверточные сети, которые фото обрабатывают.
Так изначально то про слои LLM речь.
Да и в сверточных тоже не больше нескольких десятков.
> На один объект может быть 10 тысяч слоёв.
Откуда этот вздор? Ссылка есть?
На один объект может быть 10 тысяч слоёв.
https://yandex.ru/q/question/chto_takoe_diplioning_deep_learning_… -78d6a3fec8ae
Суть в том что разные есть подходы к обучению нейронки.
Потому слоев может быть очень много, всё зависит от задачи.
Например на видео 2560 x 1440 распознать трех человек и их голоса.
Выйдет под несколько тысяч слоёв на это всё.
Вот сверточные сети много юзают слоев. В результате выходит миллиарды нейронов задействуют.
Да извеняюсь,я неверно сказал. Миллиарды нейронов и весов, а не слоёв.
Что под капотом у ChatGPT и других чатов с большими языковыми моделями.
https://thecode.media/wolfram-gpt/
ronniko
> Теоретическая валидность. К началу 90-х выяснилось, что, оказывается, если точно подобрать количество и размер слоёв, то можно вообще любое на свете уравнение заменить нейронкой (см. теорема универсальной аппроксимации).
Ну это ещё из теоремы Фурье следовало, когда любая функция заменялась бесконечным рядом приближения к ее значению.
Дезанизатор
> А что является аналогом описанного алгоритма обучения для чатгпт?!
Ну вероятно что-то типа поисковика Яндекса или Гугла. Потому что картинки и тексты она генерирует по заранее известным изображениям и описаниям.
ronniko
> https://yandex.ru/q/question/chto_takoe_diplioning_deep_learning_… -78d6a3fec8ae
>Так вот, deep learning - это нейронка с огромным количеством слоев.
>Вот примерно как на этой фотке, но ещё больше
там на картинке целых 5 слоев в нейронке
>На один объект может быть 10 тысяч слоёв.
ни слова про это нету по ссылке
ответ написал экономист в 21м году
крутые у тебя пруфы вобщем
там на картинке целых 5 слоев в нейронке
Такой простой пример, чтобы даже зебрам были понятны принципы работы.
Но есть еще параллельные вычесления.
Когда 1000 тредов одновременно работают со слоями.
1000*5 слоёв = 5000 одновременно слоев.
А дата центры считают сотни тысяч слоёв параллельно.
Потому что в чатГПТ заходит не два и не три человека, а сотни тысяч и даже миллионы.
zebro так ты чего заходил-то ?
Как в анекдоте
ronniko
> Но есть еще параллельные вычесления.
> Когда 1000 тредов одновременно работают со слоями.
>
> 1000*5 слоёв = 5000 одновременно слоев.
> А дата центры считают сотни тысяч слоёв параллельно.
ох нихера, так чо, можно было?
так у твоего проца не 8 ядер получается а миллиарды, ведь на планете очень много процов одновременно работают.
а член у тебя не хх см, а дохреллион
