Skip to content

Commit

Permalink
feat: #80 Added csv files provided by Pereborych. Started a readme fi…
Browse files Browse the repository at this point in the history
…le describing these data.
  • Loading branch information
dmitry-weirdo committed Nov 26, 2024
1 parent 5ee1ce9 commit f08f61a
Show file tree
Hide file tree
Showing 13 changed files with 1,590,707 additions and 0 deletions.
63,691 changes: 63,691 additions & 0 deletions kgstatsSrv/src/test/resources/ru/klavogonki/data/blocked20240416.csv

Large diffs are not rendered by default.

Binary file not shown.
501 changes: 501 additions & 0 deletions kgstatsSrv/src/test/resources/ru/klavogonki/data/cars20241101.csv

Large diffs are not rendered by default.

Binary file not shown.
31 changes: 31 additions & 0 deletions kgstatsSrv/src/test/resources/ru/klavogonki/data/readme.md
Original file line number Diff line number Diff line change
@@ -0,0 +1,31 @@
# Получение данных через CSV-файлы

Данные в формате CSV выгружены Переборычем запросами напрямую из базы Клавогонок в 2024 году.

Плюс такого подхода в том, что не нужно делать долгие и нестабильные запросы к API.

В идеале было бы использовать полный read-only дамп базы (можно скрывать поля вроде хэшей пароля, данных об оплате итд),
чтобы избегать промежуточных преобразований.

Но пока пробуем распарсить CSV и преобразовать в формат аналогичный тому, что мы получали из API-запросов.

Заметная разница по текущим данным — отсутствую джойны между таблицами, как для API.

Например, названия словарей находятся в отдельной таблице `vocs`, а в таблице `userinfo` есть только `id` словаря.


:exclamation: Возможны проблемы с кодировкой в CSV-файлах — похоже, что они выгружены в кириллической кодировке
`Windows-1251`, а не в `UTF-8`.

# userinfo20240416.zip

```sql
select * from klavogonki.userinfo where (num_races > 49);
```

Результаты юзеров по словарям. Названия словаря нет, оно находится в таблице 'vocs'.

Выборка только для тех словарных результатов, где у игрока хотя бы 50 заездов.

Это, в принципе, ок. Таким образом, количество записей будет разумным, не в несколько миллионов.

Loading

0 comments on commit f08f61a

Please sign in to comment.