Любопытная статистика форума (47 стр)

Топ юзеров по годам регистрации (только раздел "Проекты"):

О, наконец себя нашёл, всё было не зря гг

aliskda
Вай, я оказывается вошёл в топ 3 по Проектам.

Incvisitor
>Вай, я оказывается вошёл в топ 3 по Проектам.
И все в TrashTeam? )

nes
Не, скорее в конкурсных темах. Трештим в Проэктах.

Incvisitor
> Вай, я оказывается вошёл в топ 3 по Проектам.
Ты, должно быть пропустил эту табличку:
https://gamedev.ru/flame/forum/?id=259018&page=18&m=5354836#m266

Incvisitor
> Ты, должно быть пропустил эту табличку:
Абсолютно верно, не заметил ее.

Нас посчитали.....

Шикарно!

Отличная работа!!

Bondersan
Спасибо)

Чтобы всё было красиво, выкатил целый парсер - чтобы брал сообщения, убирал цитаты, формулы, код и прочий мусор.
Для отладки, на случай если вдруг начнёт пропускать сообщения, поставил проверку - все сообщения в треде должны иметь последовательные replyId от нуля и дальше.
А это ещё что за хрень?

UPD там ещё и messageId одинаковые, что у моей собственной бд возникает "duplicate key value violates unique constraint \"messages_pkey\"", ну и wtf.

А в этом треде сообщения #12458 вообще не существует. Но зато есть два #12459, но на этот раз с разными первичными айди и разным содержанием. Кто-то поймал дата рейс, окей.

Delfigamer, вот вариант от entryway:
https://gamedev.ru/flame/forum/?id=259018&page=45&m=5364221#m672

И я свой пишу пока ещё.

Ashmedi
Да ладно, я уже из своего эту проверку просто убрал, что распарсится, то и будет.
_

Окей, вроде что-то завелось:

gd=> SELECT * FROM words ORDER BY nentry DESC LIMIT 20;
 word  |  ndoc   | nentry
-------+---------+---------
 эт    | 1020220 | 1566664
 А     |  571765 |  689260
 котор |  444368 |  624886
 игр   |  339720 |  598391
 так   |  458778 |  561198
 прост |  360694 |  435136
 Я     |  365505 |  432481
 В     |  337312 |  416215
 дела  |  322017 |  395525
 И     |  302065 |  373657
 сво   |  290073 |  366414
 сам   |  301745 |  366226
 сдела |  295074 |  360000
 нужн  |  289302 |  358809
 одн   |  258647 |  311841
 друг  |  239101 |  311301
 1     |  205150 |  303608
 2     |  226116 |  303603
 Если  |  250727 |  295497
 Но    |  244496 |  287637
(20 строк)

Delfigamer
> А это ещё что за хрень?
В своё время тоже прошёлся по этим граблям. В итоге убрал уникальность со всех полей кроме номера пользователя и темы.

> Окей, вроде что-то завелось
Уже неплохо. Теперь можно убрать стопслова с помощь, например: https://github.com/stopwords-iso/stopwords-ru