Bypass OSMF Redactions

[deevroman]

There are CC-BY-SA-2.0 dumps-planets that weigh only 22 gigabytes. https://planet.openstreetmap.org/cc-by-sa/

Was a lot of data lost after the license change? I think there are not many, and they can be hosted, for example, directly on GitHub, in order to have a fallback when the extension cannot load old data

[deevroman]

Что ж...

1. Не все версии объектов отображаются как redacted. Часть из них отображается как удалённые (и это даже для первой версии!)
2. Т.е. чтобы понять, что линия повреждена исправлениями, нужно обязательно запрашивать информацию обо всех удалённых версиях. Как? либо проверяйте список пользователей не согласившихся с переходом на ODbl (файл с айдишниками весит 4 мегабайта, неприкольно upd: вру, всего 4килобайта) Либо обращайтесь в репозиторий за удалёнными версиями
3. Удалённые данные за 2005-2007 года весят 170 мб если хранить каждую удалённую версию отдельным xml файлом. И проблема больше не суммарном размере, а в количестве файлов которых уже 600к => нужно группировать в файлы
4. Как выфильтровывать затёртые данные отдельный прикол, потому что в старых диффах иногда нет автора правки. Однако он есть в дампе всех пакетов правок. Т.е. нужно сначала отфильтровать правки несогласившихся, а потом потом по них находить нужные объекты
5. Выфильтровать xmlины диффов на питоне боль

[deevroman]

Окей, данные выгружены https://github.com/osm-cc-by-sa/data

upd: ан, нет. Не всё выгружено. Например https://github.com/osm-cc-by-sa/data/blob/main/versions_affected_by_disagreed_users/node/0.osm должно содержать больше данных https://www.openstreetmap.org/node/2

[deevroman]

Данные до 2012 + redaction period выгружены. Остаётся допилить в расширении подгрузку геометрии