Какие есть нейронки типа GPT, только локально на компе, оффлайн и на русском ? (2 стр)

endeavour_pr
> А какой GUI под LLaMA лучше ?

koboldcpp_cu12  если есть карточка от Nvidia и koboldcpp, для запуска на cpu  https://github.com/LostRuins/koboldcpp/releases

0iStalker
а чего к нему не подходят выкачанные в ollama модели ?
Теперь заново всё качать ?

endeavour_pr
> а чего к нему не подходят выкачанные в ollama модели ?

Я же сразу сказал про gguf. Остальные упражнения через Jupyter Notebook, Python, TensorFlow...

0iStalker
> Я же сразу сказал про gguf.
Ты сказал, но не сказал как её выкачать.
В ollama она выкачивается сама как в линуксе, только саму прогу надо сконфигурировать что бы она системый диск не засирала.
А вот хранится она там не одним файлом gguf, а разбросана по разным папкам.

Скачал gguf и она не запускается, чёрное окошко тупа висит

Но блин ворнинг - это не Error. Не понятно ждать пока прогрузится, и сколько ждать ? Память видяхи не загружается знач оно тупа чего то ждёт
мб не та модель(Qwen2.5.1-Coder-7B-Instruct-Q8_0.gguf) ? ну ок ща попробую другую https://habr.com/ru/news/822503/

endeavour_pr
> Скачал gguf и она не запускается, чёрное окошко тупа висит

Процесс загрузки может быть немного продолжительным

0iStalker
> Процесс загрузки может быть немного продолжительным
Как долго ?
Upd Дождался !

Только он мне шейдер не дописал и настроек там куча.
А эта моделька не загружается https://huggingface.co/LoneStriker/DeepSeek-Coder-V2-Instruct-GGU… of-00004.gguf , консольное окно тупа закрывается
Окошко чатика не удобное с каким то автоформатированием, теперь уже даже не знаю что лучше с этим вот разбираться или консольное использовать из коробки так как оно есть

Вот ещё нашёл
https://github.com/oobabooga/text-generation-webui

А чем плох LM Studio ?

endeavour_pr
> А чем плох LM Studio ?
ничем не плох.

Super_inoy
он данные какие то сливает налево? Если для сценариев и т.п. то это критично.
Для кодинга походу он подойдёт

Как поставить его на не системный диск ?

0iStalker
> Процесс загрузки может быть немного
> продолжительным
Интерфейс открывается практически сразу. Модель (~7 Гб) грузится секунд 15 (SSD).
Подозреваю, что у ендевора что-то с железом, например не установлен драйвер нвидии или файл подкачки маленький.

endeavour_pr
> он данные какие то сливает налево?
В брандмауэре виндовс добавьте с блокированием доступа в интернет.
И то, что сливает - не факт.

iw4nna.rock
> Интерфейс открывается практически сразу.
да, чот в системе просралось и она стала быстрее грузиться.После того как я трогал питон для тулзы из соседней темы.
подкачки нет вообще, драйвер установлен.
А эта студия чот крашится частенько, мб так и должно быть что бы она бред не писала ? типа костыль ?
The model has crashed without additional information. (Exit code: 0)
Пока что только на этой модели тестил

Установку на другой диск решил тупым копированием