ARTE: handle Collections in CategoryFilmList

[pidoubleyou]

fixes #828

[andreygursky]

Ich habe gerade ausprobiert, alle verfügbaren Sendungen über "https://api.arte.tv/api/opa/v3/videos?channel=DE&limit=100&page=1" zu ermitteln, wobei page von 1 bis 186 laufen soll ("totalCount": 18514). Die ersten 100 "Seiten" schaffte wget (also seriell mit nur einer Verbindung)

--2022-05-25 20:43:57--  https://api.arte.tv/api/opa/v3/videos?channel=DE&limit=100&page=1
...
--2022-05-25 20:46:44--  https://api.arte.tv/api/opa/v3/videos?channel=DE&limit=100&page=100

in nur knapp 3 Minuten herunterzuladen. Dann kam aber eine böse Überraschung:

--2022-05-25 20:46:46--  https://api.arte.tv/api/opa/v3/videos?channel=DE&limit=100&page=101
Reusing existing connection to [api.arte.tv]:443.
HTTP request sent, awaiting response... 400 Bad Request
2022-05-25 20:46:46 ERROR 400: Bad Request.
...
u.s.w.

Und das obwohl in der letzten JSON-Datei angegeben ist, dass die nächste Seite 101 lautet:

{
  "meta": {
    "videos": {
      "totalCount": 18514,
      "limit": 100,
      "href": "https://api.arte.tv/api/opa/v3/videos?channel=DE&limit=100&page=100",
      "pages": 186,
      "page": 100,
      "links": {
        "first": {
          "href": "https://api.arte.tv/api/opa/v3/videos?channel=DE&limit=100&page=1"
        },
        "next": {
          "href": "https://api.arte.tv/api/opa/v3/videos?channel=DE&limit=100&page=101"
        },
        "previous": {
          "href": "https://api.arte.tv/api/opa/v3/videos?channel=DE&limit=100&page=99"
        }
      }
    }
...

Obwohl sich von 18514 Sendungen so schnell "nur" 10000 ermitteln ließen, waren die zur Zeit fehlenden Beiträge wie z.B. "Stadt Land Kunst - Inspirationen" (106215-061-A .. 106215-092-A) und "Mafia Queens" da.

$ for page in {1..100}; do echo $page; jq .videos[].url "arte-videos-channel-de-limit-100-page-${page}.json" | grep '106215'; done
1
"https://www.arte.tv/de/videos/106215-108-A/stadt-land-kunst-inspirationen/"
2
"https://www.arte.tv/de/videos/106215-107-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-106-A/stadt-land-kunst-inspirationen/"
3
4
"https://www.arte.tv/de/videos/106215-105-A/stadt-land-kunst-inspirationen/"
5
"https://www.arte.tv/de/videos/106215-104-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-103-A/stadt-land-kunst-inspirationen/"
6
"https://www.arte.tv/de/videos/106215-102-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-110-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-101-A/stadt-land-kunst-inspirationen/"
7
"https://www.arte.tv/de/videos/106215-109-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-100-A/stadt-land-kunst-inspirationen/"
8
"https://www.arte.tv/de/videos/106215-108-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-099-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-107-A/stadt-land-kunst-inspirationen/"
9
"https://www.arte.tv/de/videos/106215-098-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-106-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-097-A/stadt-land-kunst-inspirationen/"
10
"https://www.arte.tv/de/videos/106215-105-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-096-A/stadt-land-kunst-inspirationen/"
11
"https://www.arte.tv/de/videos/106215-104-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-095-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-103-A/stadt-land-kunst-inspirationen/"
12
"https://www.arte.tv/de/videos/106215-094-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-102-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-093-A/stadt-land-kunst-inspirationen/"
13
"https://www.arte.tv/de/videos/106215-101-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-092-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-100-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-091-A/stadt-land-kunst-inspirationen/"
14
15
"https://www.arte.tv/de/videos/106215-099-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-090-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-098-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-089-A/stadt-land-kunst-inspirationen/"
16
"https://www.arte.tv/de/videos/106215-088-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-087-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-086-A/stadt-land-kunst-inspirationen/"
17
"https://www.arte.tv/de/videos/106215-085-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-084-A/stadt-land-kunst-inspirationen/"
18
"https://www.arte.tv/de/videos/106215-083-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-082-A/stadt-land-kunst-inspirationen/"
19
"https://www.arte.tv/de/videos/106215-081-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-080-A/stadt-land-kunst-inspirationen/"
20
"https://www.arte.tv/de/videos/106215-079-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-078-A/stadt-land-kunst-inspirationen/"
21
"https://www.arte.tv/de/videos/106215-077-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-076-A/stadt-land-kunst-inspirationen/"
22
"https://www.arte.tv/de/videos/106215-075-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-074-A/stadt-land-kunst-inspirationen/"
23
"https://www.arte.tv/de/videos/106215-073-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-072-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-071-A/stadt-land-kunst-inspirationen/"
24
"https://www.arte.tv/de/videos/106215-070-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-069-A/stadt-land-kunst-inspirationen/"
25
"https://www.arte.tv/de/videos/106215-068-A/stadt-land-kunst-inspirationen/"
26
"https://www.arte.tv/de/videos/106215-067-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-066-A/stadt-land-kunst-inspirationen/"
27
"https://www.arte.tv/de/videos/106215-065-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-064-A/stadt-land-kunst-inspirationen/"
28
"https://www.arte.tv/de/videos/106215-063-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-062-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-061-A/stadt-land-kunst-inspirationen/"
29
...

Wäre da nicht die seltsame (irgendwann gesetzte? aber inzwischen veraltete) Einschränkung von 100 Seiten, hätte man seriell über eine einzige Verbindung in etwa 5 Minuten eine Übersicht über alle Sendungen erhalten können. Aber auch so, wenn man nur ein Suchkriterium finden würde, das die Menge halbieren würde, dann könnte man mit nur 2 Anläufen alle Daten bekommen. Oder mit ein wenig mehr Einschränkungen, dann mit ein paar mehr Anläufen.

Update:
Na klar, einmal mit &sort=creationDate und dann mit &sort=-creationDate.

[sonarcloud]

SonarCloud Quality Gate failed.   

0 Bugs
0 Vulnerabilities
0 Security Hotspots
2 Code Smells

0.0% Coverage
0.0% Duplication