- nes
- Постоялец
aliskda
Не слабо )
Ванятка
Тогда вот моё решение для TOP 300 по количеству сообщений:
aliskda
> мегаиконосканворд
прикольно, что можно очень легко менять сложность сгенерённого сканворда, просто составляя его из менее активных пользователей. сейчас слишком просто, я 95% с ходу могу заполнить, но идея мне нравится. но вообще классный тред, спасибо всем собравшимся датасаентистам за датасаенс!
вашу бы энергию да в мирных целях
Так это и есть мирные цели.
Один из самых приятных тредов за долгое время.
Suslik
> у иннуэндо в 2 раза больше постов, чем у следующего за ним в "коде"
Да, 30399 сообщений это сильно. Сколько, интересно останется, если выкинуть из них все сообщения, состоящие из одного предложения со знаком вопроса.
Оказалось, ts_vector почему-то чувствителен к регистру, и "эт"/"Эт" посчитались разными лексемами.
Подумал, проще тогда уж вообще заново перепарсить. Заодно и знаки препинания выпилить.
Проверяем:
gd=> SELECT * FROM messages WHERE message_id = 5203255; message_id|user_id|thread_id|reply_id|message_body 5203255|Delfigamer|252997|0| читаю такой гайд по хаскелу и вдруг пустой кортеж э то перечислимый тип перечислимые типы характеризуются тем что к их значениям мож но подобрать предыдущее и следующее однако же пустой кортеж это значение типа пу стой кортеж у типа пустой кортеж есть только одно возможное значение это пустой кортеж (1 строка)
О, я нашёл прикольный показатель.
Собираем весь словесный корпус с гд.ру, считаем число использований для каждого слова - "индекс лексемы", делим на число слов всего - получаем "частоту лексемы".
Затем для пользователя, рассчитаем "предполагаемый индекс лексемы" - число слов, которые написал пользователь, умножаем на глобальную "частоту лексемы" - получаем число раз, которое это слово должно было бы быть употреблено, если бы пользователь был средним. Считаем, сколько раз это слово встретилось у юзера на самом деле - "фактический индекс лексемы". Находим их разность - "аномалию индекса", вот по ней и будем считать индивидуальный словарь человека.
котор, кажд, счита, врод, вообщ, достаточн, алгоритм, случа, точк, например, имен, метод, обычн, поэт, нормальн, скорост, тред, горазд, контакт, решен, слишк, вовс, примерн, совершен, физик, точн, образ, систем, перв, смысл, разумеет, импульс, вектор, выгляд, трен, использ, равн, солвер, количеств, рендер
земл, купилк, жизн, планет, продукт, купилок, нормальн, услов, получ, народ, улыбк, рунет, рубл, получа, форум, цивилизац, пепеладз, правильн, прав, реальност, смертн, развит, глогол, батрач, вариац, факт, обществ, никт, фактор, всем, вариант, жела, окружа, скил, понят, дорог, сутк, фильм, матер, вполн
Итак, топ 10 спамеров 2020 года. Для каждого - топ 40 лексем с самыми позитивными аномалиями.
врод, нужн, котор, дела, сдела, наверн, интересн, вообщ, говн, кстат, автор, будут, всяк, ассет, ютуб, юнит, деньг, комп, нафиг, скор, норм, могут, гугл, кажет, дума, обычн, помн, похож, сайт, бесплатн, покупа, стим, прода, дофиг, подобн, реальн, поход, виде, интернет, блин
пример, шейдер, работа, дела, точн, скольк, знаеш, расскаж, depth, нужн, buffer, кстат, разн, покаж, дава, тесселяц, демк, stencil, сказа, конкретн, вендор, понима, smalltalk, сдела, помн, конзол, драйвер, слов, посмотр, лайт, uniform, ссылочк, убог, имел, использ, сабж, крайзис, registri, видел, оптимизац
программ, программирован, форум, язык, очевидн, решен, задач, машин, современ, обычн, способ, например, строк, forth, имен, смысл, компьютер, может, программирова, быдл, писа, ответ, игра, книг, втор, прощ, наоборот, горазд, придума, изначальн, структурн, бизнес, компьютерн, автор, геймдизайнер, настоя, полезн, избыточн, отношен, чист
функц, объект, случа, вмест, значен, язык, программ, компилятор, аргумент, перемен, прям, кажд, точк, явля, получ, конечн, состоян, результат, котор, координат, определен, вектор, оператор, например, отдельн, тред, смысл, указател, образ, специальн, переда, сраз, элемент, обратн, систем, операц, поскольк, поток, метод, конкретн
дела, девушк, шейдер, виде, текстур, модел, watch, fasm, пример, window, рендер, сдела, быстр, mantl, видеокарт, проц, писа, сказа, юнит, тоест, вобщ, буфер, квантов, микрософт, рубл, жизн, сетк, buffer, вершин, матриц, комп, вулка, дает, програмин, мантл, создател, фотон, картинк, прог, планк
штал, поня, нормальн, говн, понятн, наверн, ноутбук, watch, штол, сказа, нафиг, ноут, гитар, спрос, покупа, прич, нифиг, стал, видеокарт, юнит, пипец, прошл, монитор, нахр, ютуб, взял, блин, стесня, знач, патамушт, самолет, видел, page, дума, банк, вида, скок, звук, смысл, знает
catalog, норм, прит, кстат, проблем, tarasb, реальн, вполн, citilink, говн, плох, пофиг, вообщ, случа, меньш, нафиг, нормальн, проц, процент, можеш, нужн, shop, разниц, говор, прям, дешев, видях, монитор, обществ, довольн, комп, факт, материнк, вероятн, качеств, хват, моник, средн, естествен, дешевл
нужн, класс, врод, рисуеш, объект, говн, метод, вершин, tarasb, функц, сообщен, обычн, крест, дума, видим, написа, формат, строк, писа, буфер, кажет, файл, курсор, хран, приложен, прощ, автор, вмест, кадр, очища, текстур, попроб, змейк, пыта, glutswapbuff, window, указател, ввид, фрукт, размер
никак, вообщ, нужн, насчет, никт, прич, всяк, автомобил, факт, плат, производств, проч, дорог, ссср, магазин, населен, район, wiki, tarasb, бред, wikipedia, качеств, советск, мест, покупа, вполн, метр, разниц, завод, москв, книжк, отсутств, процессор, росс, кром, дешев, вовс, государств, закон, минут
поэт, имен, действительн, перв, реальн, вообщ, указател, прям, битн, инструкц, происход, принцип, сперв, регистр, давн, собствен, образ, сущност, последн, смысл, консол, бесконечн, памят, момент, ощущен, поня, прич, метод, байт, никак, однак, довольн, явля, сраз, пространств, конц, адрес, вселен, факт, делегат
Delfigamer
> + бонус статистика
А тональность можешь посчитать?
Delfigamer
гмм, вот по тегам я точно мог угадать личность, а по этим отклонениям трудненько. возможно, если из них тоже картинку сделать, где размер будет обозначать частоту, было бы более понятно. пока что я могу только по forth однозначно установить автора.
меня с бондерсаном тоже можно отличить, но это слишком легко.
Suslik
> пока что я могу только по forth однозначно установить автора.
ну иннуендо тоже очевиден, "покаж пример ссылочк конзол убог"
Suslik
> пока что я могу только по forth однозначно установить автора.
Да ладно. Вот еще.
> smalltalk, пример, покаж, убог
Тут трудно ошибиться.
Разум улья, лол.
aliskda
> А тональность можешь посчитать?
Сложна, для такого в БД встроенных функций не предусмотрено.
Suslik
> возможно, если из них тоже картинку сделать, где размер будет обозначать
> частоту, было бы более понятно
Было бы неплохо найти программу, которая бы сгенерировала картинку из заранее заданных частот.
Ну, я поискал маленько, там все самые умные и сами считают что хотят, а вот чтобы чисто подсчитать размеры и упаковать - там надо разбираться, а для этого ещё целый питон ставить, уф.
Если просто поставить freq_ratio, как я изначально хотел - то в топ вылезают слова-однодневки, которые всего на форуме встречаются 10 раз и все от одного юзера. Могу попробовать другую статистику - nentry * freq_ratio, там вроде тоже что-то получается.
В том же порядке, что и на прошлой странице:
солвер, джойнт, котор, трен, импульс, вообщ, алгоритм, кажд, счита, спелл, достаточн, врод, коллижн, тред, вовс, контакт, случа, точк, псевдоимпульс, пейпер, вормстартинг, итерац, существен, уравнен, разностн, например, имен, метод, горазд, разумеет, warmstart, обычн, поэт, перв, бэграунд, нормальн, скорост, совершен, unarm, интегрирован
купилк, купилок, пепеладз, глогол, батрач, рунет, улыбк, батрачк, землянк, точилк, лопатник, смертн, зверьк, кердык, перец, земл, вариац, купилкимэн, перц, златоглав, влив, планет, казябрик, эдок, цивилизац, продукт, землян, edium, сотов, земля, спмд, скил, биссетар, хммм, батрак, вакцинац, никотинойд, геймдевр, колобашк, вакцин
тиррейн, дебильц, содержанк, миксам, бомжива, дегрод, фитч, анрил, ютубер, врод, лайвхак, нерж, тянк, нужн, ронник, ассет, ютуб, бабораб, онлин, котор, рыгаловк, видос, дела, autocatalog, логитеч, говн, блупринт, cgtrader, сабстанс, сдела, магаз, дофиг, voteban, вруба, automata, адалт, херовин, биоробот, наверн, nier
конзол, smalltalk, тесселяц, eyespac, clos, npatch, конзольн, fresnel, сипип, dxdebug, stencil, brdf, transluc, cbuffer, tessel, обхект, registri, вендор, blinn, franz, msaa, objc, кузяв, depth, пупизн, зашип, openinventor, шейдер, scissor, atoc, mssdk, лайт, depthtextur, артовик, расскаж, vkbool, glprogramuniform, мемлик, крайзис, пример
forth, маркетоид, крестопроблемц, пиндосовск, крестопроблемн, обезьянник, ниосилятор, обфускац, фортер, дейкстр, rlink, фуфловтюх, структурн, программирован, быдлокодинг, миллз, окром, дьюдн, крестопроблем, оживляж, программ, брукс, doer, амосов, форум, кибернетик, бомонд, скиннер, ходоровск, крестопробл, заметок, избыточн, очевидн, системщик, спич, голим, быдлокодер, язык, фигульк, абзац
жисон, пайтон, ньютайп, signextend, борро, гудлейфр, хронометр, ковектор, функц, несмещен, span, tbox, ансейф, wolfram, адвекц, ychebotaev, setbit, subset, аргумент, гудифир, соединител, интегра, объект, производн, коллбек, котор, значен, фасетк, иннуэнд, случа, питух, сэмпл, оператор, вмест, конечн, маятников, регекс, addi, barri, компилятор
fasm, mantl, projtexc, dailytechinfo, мантл, програмин, gshadowsam, gshadowmap, dtid, infotech, девушк, swapchain, cstextur, fasma, watch, кронос, setwindowparam, pimmediatecontext, девченк, mmat, createcommittedresourc, vrtxdatabuff, shadowdata, микрософт, ryzen, programin, rdna, animationkey, vershina, heropo, commandalloc, дела, инуенд, vsin, квантов, виде, вулка, проц, подержива, шейдер
штал, бутуз, отэт, чойт, штол, такоэ, патамушт, видев, денг, даладн, ассимп, панимаш, низз, додик, кубомап, ничос, ноутбук, трусел, фиксед, гитар, macbook, пипец, watch, нормул, кошмарец, assimp, стесня, шляп, metro, ящита, поня, гриф, ноут, мизантроп, нормальн, otec, говн, фигас, вообщ, скок
citilink, catalog, фуллхд, прит, shop, modelid, линкнул, материнк, линка, нистра, samara, моник, aliexpress, сервачн, труъ, фэйл, норм, onlinetrad, кинц, видях, naushniki, офкорс, ксонар, вплод, market, tarasb, прон, пофиг, peripher, noutbuk, periferiya, ложитех, atlon, рыночек, powersuppli, sankakucomplex, пффф, модэ, нужн, aivia
уиндоуз, glutswapbuff, варзис, сучност, прожыхт, предет, роник, движох, рисуеш, кодяр, ифейс, моррувинд, ляйн, кодерин, эрпагэ, жостик, архтик, ябывдул, гадлейфр, погромин, шодевр, епифа, жыпег, ухах, очища, нужн, змейк, крест, класс, утуб, прилаг, креатин, фрукт, мелкософт, цэпэпэ, говн, clipcursor, врод, сусел, xaudio
никак, нужн, вообщ, есич, преймуществ, котор, автомобил, цивиллизац, лепестричеств, nplus, вдобавок, насчет, наврод, район, никт, нижегородск, производств, говор, всяк, dnew, прич, ретикулярн, мест, населен, работа, ссср, магазин, вибратор, факт, проч, плат, дорог, wiki, промышлен, предприят, wikipedia, советск, телик, обычн, качеств
theguardian, arstechnica, первоп, котор, битн, сперв, вообщ, поэт, делегат, имен, действительн, инструкц, перв, регистр, реальн, указател, сущност, meth, прям, говор, nvkz, adav, стелз, поня, происход, никак, неис, принцип, трамп, врем, видеочип, собствен, смысл, давн, консол, последн, сраз, бесконечн, сказа, famicom
Возможно ещё, что просто спамеры нынче некрасочные стали и не выделяются по словам.
Тема в архиве.
