- 0iStalker
- Модератор
=A=L=X=
> ей нужно гиг 30 озу чтобы шевелится приемлемо и не уходить в вечный своп даже в
> варианте XL.
Чуваки даже не пытались оптимизировать потребление RAM и работу на системах с малым объемом ОЗУ?
0iStalker
> Чуваки даже не пытались оптимизировать потребление RAM и работу на системах с
> малым объемом ОЗУ?
Просто миллиард параметров это сразу же 4Гб float-ов, а надо еще через них прокачивать результаты.
Если же там еще вовлечена стадия похожая на обучение, то там идёт жёсткий прессинг динамических вычислений по типу того как выводит (именно выводит) формулы MatLab, т.е. символьное вычисление работающее с видами формул. Это для алгоритма обратного распространения ошибки на котором всё современное DeepAI обучение построено, т.к. нужно посчитать производную и для этого нужен формульный вид. Что там под капотом получается я плохо себе представляю, но мои 16Гб простые модели отношения картинки к классу на Keras исчерпывали уже миллионов 10 параметров, если память не изменяет.
Короче всеми этими вещами что в Keras/TensorFlow/NumPy что в вот в этом DALLE/PyTorch/Torch на деле занимается код на Си или плюсах - скрипты используются только как фасад для математиков.
К примеру тензоры TensorFlow при попытке работать с ними из Python как с массивами (например залить единицами в цикле) просадят производительность на порядка два по сравнению с библиотечными функциями заливки которые уйдут в бэкенд Си.
0iStalker
> Ну будет тормознее, чем Си не в 500 раз
насколько помню, обычный Python в 10 раз медленней С
p.s. как пригорает у олдскулов :)
0iStalker
> Мёртвое невозможно оживить, даже статической типизацией. Ну будет тормознее,
> чем Си не в 500 раз, а в 50... это что-то радикально изменит?
С чего это? У тебя, видимо, неправильное представление о том, как работает дата саенс на питоне - основную работу выполняет библиотека, написанная на сях, или вообще компьют-шейдеры, тогда как код на питоне - это только управляющие команды, которые задают, откуда брать данные и куда писать результат.
Если угодно, можешь считать, что tensorflow - это аналог OpenGL для нейросеток. Если твоя программа GPU-bound - то от перехода на кресты ты не поимеешь ничего, кроме лишнего геморроя на аллокациях и никому не нужного веселья с пострелушками.
0iStalker
> Чуваки даже не пытались оптимизировать потребление RAM и работу на системах с
> малым объемом ОЗУ?
Нищебродопроблемы. У всех, кому надо, есть выделенные сервера со 128 гигабайт как минимум.
Но если тебе прямо необходима оптимизация - попробуй заплатить программистам ещё среднего размера денежку или выдели время из своего собственного рабочего дня на переписывание.
Имбирная Ведьмочка
> Нищебродопроблемы. У всех, кому надо, есть выделенные сервера со 128 гигабайт
> как минимум.
А, ну да,... просто посмотреть наличие ресурсов для запуска и послать лесом, не барское дело. 640Gb хватит всем.
Имбирная Ведьмочка
> тогда как код на питоне - это только управляющие команды, которые задают,
> откуда брать данные и куда писать результат.
Это называется скрипт, и к программированию отношения никакого не имеет.
0iStalker
> Это называется скрипт, и к программированию отношения никакого не имеет.
позор на твою седую голову
Имбирная Ведьмочка
> попробуй заплатить программистам ещё среднего размера денежку или выдели время
> из своего собственного рабочего дня на переписывание.
он тебе сейчас расскажет как быстро и качественно писать на С++ можно
innuendo
> насколько помню, обычный Python в 10 раз медленней С
Да, память рыболова или охотника уникальна, она помнит даже то, чего не было на самом деле. Нет обычный питон медленнее в 400 раз, в среднем. Загугли.
innuendo
> он тебе сейчас расскажет как быстро и качественно писать на С++ можно
Имбирная Ведьмочка
> У всех, кому надо, есть выделенные сервера со 128 гигабайт как минимум.
У каждого быдлокодера, несомненно... среди сайнтистов таких 100%, никогда не сомневался, ибо кривые руки ничем не поправить.
0iStalker
> У каждого быдлокодера, несомненно... среди сайнтистов таких 100%, никогда не
> сомневался, ибо кривые руки ничем не поправить.
я даже не сомневался в твоём ответе - ты типа крутой и пишешь код без багов
0iStalker
> У каждого быдлокодера, несомненно... среди сайнтистов таких 100%, никогда не
> сомневался, ибо кривые руки ничем не поправить.
Запускают на корпоративной машине через ssh, очевидно же.
Ну типа, можно же конечно потратить ещё пару недель и утрамбовать футпринт до 8 гигабайт - но зачем? Сбербанк от этого дополнительной прибыли не получит. Программисты - тоже.
innuendo
> я даже не сомневался в твоём ответе - ты типа крутой и пишешь код без багов
Когда программа тупо жрёт 128Гб оперативы и даже не проверяет есть ли столько в системе, хотя ей столько наверняка не нужно, - это не баг, - это что-то в консерватории нужно поправлять. Вот ведь прикол, питонщику-скриптовику даже в голову не пришло проверить, запуститься ли его говноподелка - он даже в душе не знает из каких компонентов состоит ПК, - с таким же успехом эти типы пишут программы на бумаге и у них всё правильно, быдлокодеры - одно слово.
0iStalker
> Вот ведь прикол, питонщику-скриптовику даже в голову не пришло проверить,
> запуститься ли его говноподелка
У заказчика запускается - контракт выполнен - деньги получены. Всё остальное - это работа забесплатно. Ты любишь работать забесплатно?
Имбирная Ведьмочка
> У заказчика запускается - контракт выполнен - деньги получены. Всё остальное -
> это работа забесплатно. Ты любишь работать забесплатно?
Это не работа, - это халтура (в смысле плохо сделаной работы), и демонстрирует планку разработчика у крупнейшей корпорации страны... ниже плинтуса. У них и остальные продукты такое же УГ, не сомневаюсь.
0iStalker
> Нет обычный питон медленнее в 400 раз, в среднем. Загугли.
Это если на нем делать числодробилки так, как на Си. Потому что почти любая в лоб написанная математическая операция в питоне - это создание в куче нового числового объекта и освобождение объектов, ставших ненужными.
Но если делать числодробилки так, как это надо делать на Питоне, избегая прямого исполнения одиночных математических операций в питоновском цикле, а используя различные векторизованные либы - то становится все не так уж и плохо.
Тема в архиве.