ChatGPT (131 стр)

DeepSeek выкручивается :)

Но в целом модель действительно неплохая. Жаль только API не поддерживает tools и structured output.

macondos
> DeepSeek выкручивается
По сравнению с гапотой, этот вообще без цензуры почти.
Гапоту чуть не то спросишь, он отвечает: я просто языковая модель и не хочу нагнетать.

> этот вообще без цензуры почти
Хотя Масковский АИ наверное самый без цензуры, по крайне мере по моим ощущениям.

master-sheff
> Масковский АИ
Слов о игрища

macondos
> DeepSeek выкручивается :)
Ему пора бы уже отвечать
"на как вы надоели с этим вопросом"

master-sheff
> Гапоту чуть не то спросишь, он отвечает: я просто языковая модель и не хочу нагнетать.
А этот так и отвечал пол года назад, я одно из первых что спросил у него было про площадь:) Видимо по "просьбам" общественности раскрутили гайки.

Mistral выкатили модель 24B, дающую ответы не намного хуже (и гораздо шустрее), чем Llama 3.3 70B.  Такое можно  запускать на одной видеокарте с 32Gb оперативки, или даже на мак-мини/мак-буке  с общей оперативкой для проца/gpu

https://huggingface.co/Triangle104/Mistral-Small-24B-Instruct-250… GUF/tree/main

пс.
На ЦПУ, к слову, довольно печально работает, на 16-ядерном CPU выдает всего 1.5 токена в секунду.

какой смыссл вообще что либо ставить на ПК, ясно же что там такие обьемы и размеры что ни один ПК или даже сервер не выдержит.
Новые уже выходят  в инет и постоянно "учатся" на пк это невозможно там целые здания нужны :)

вот наше будущее

sun2sun
> какой смыссл вообще что либо ставить на ПК

Конфедициальность,  гарантия что сервис вдруг не станет (временно) недоступным (по любым причинам).  Достаточно?

sun2sun
> Новые уже выходят  в инет и постоянно "учатся" на пк это невозможно там целые здания нужны :)

Никто же не мешает скачать модель поновее

sun2sun
> вот наше будущее

Да уже всё описано давно в соответствующей литературе:

Четыре будет сервака с ИИ планетарных, а 24 мозга в банках на контроле - по шесть мозгов на сервак с ИИ.
P.S.
"Море стеклянное подобное кристаллу" - как же древнему пастуху объяснить что такое LCD? Лол.

0iStalker
> Конфедициальность, гарантия что сервис вдруг не станет (временно) недоступным (по любым причинам). Достаточно?
и как часто ты отключаешь для этого инет? Иначе какая может быть конфиденциальность? А то что сервис станет временно недоступным, нужно просто специализированные серваки плодить и не в одной стране и чтобы каждый был независим от других. Специализированное железо (и это точно не должно быть видеокартой) всегда лучше чем универсальная железка для массового пользователя.

Aroch

Ну не делай вид, что не понял о чём речь.  Вероятность, что у тебя стоит троянец с кейлогером намного-намного  меньше, чем утечка при передаче данных для обработки на стороннем сервере в интернете. Там-то уж точно поставят логгер на все запросы.

Aroch
> нужно просто специализированные серваки плодить и не в одной стране и чтобы каждый был независим от других.

Да, да, да, конечно. Полез уточнить очередной вопрос, а сервис аут оф сервис... на двое суток.  Ну зачем рассказывать сказки про светлое будущее?

0iStalker
> Ну не делай вид, что не понял о чём речь. Вероятность, что у тебя стоит троянец с кейлогером намного-намного меньше, чем утечка при передаче данных для обработки на стороннем сервере в интернете.
твоя ОС уже такой троянец. Твой телефон также такой же троянец.
> Там-то уж точно поставят логгер на все запросы.
переживаешь что не выдержишь и спросишь чего не следует спрашивать?
> Ну зачем рассказывать сказки про светлое будущее?
не знаю где у тебя сказки, если услуга будет востребована, то это самый оптимальный для бизнеса путь.

Aroch

Офигеваю от теоретиков,... они с таким же упоением докажут и обоснуют что то, что мне нужно, мне не нужно,... ну например, что в пакете должно быть не 1000мл молока, а 925.  К чему все сказки, я написал в чём смысл запускать ллм локально. Зачем это опровергать, какой в этом смысл?....

0iStalker
про конкретно тебя речь не шла, конкретно ты можешь "страдать" как хочешь, очевидно же что речь идет о массах, а не о тебе конкретном (обращение к тебе как к носителю данной позиции в этом вопросе). Таких как ты будут единицы, и даже эти единицы посмотрев что большинство тупо платит условных 5$ в месяц и не парятся имея сервис на любом корыте с экраном который работает и быстрее и точнее, со временем также присоединятся к ним и в итоге останутся исключения подтверждающие правило.
> Офигеваю от теоретиков,... они с таким же упоением докажут и обоснуют что то, что мне нужно, мне не нужно,... ну например, что в пакете должно быть не 1000мл молока, а 925.
так они наоборот практики, а теоретик ты в этой позиции, так как твоя хотелка не учитывается и остается лишь хотелкой.

Aroch
> большинство тупо платит условных 5$ в месяц и не парятся имея сервис на любом корыте с экраном который работает и быстрее и точнее

Или не работает, как раз в тот момент, когда он нужен. Из-за того, что не справляется с нагрузкой или кто-то кого-то, вдруг, решил отменить.  Или запрещено к использованию внутренними правилами организаций.

0iStalker
> Или не работает, как раз в тот момент, когда он нужен. Из-за того, что не справляется с нагрузкой или кто-то кого-то, вдруг, решил отменить. Или запрещено к использованию внутренними правилами организаций.
с таким же успехом у тебя свет могут отключить и воду, если это в порядке вещей то да, будешь обзаводится генераторами, рыть колодцы и ставить бойлеры. А у большинства если услуга и не будет предоставляться в редкие моменты, переживут подобные неудобства.
> вдруг, решил отменить. Или запрещено к использованию внутренними правилами организаций.
так поэтому и нужны независимые серверы, условный специализированный кластер на каждые условные 10млн человек в округе.