Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

ARTE: handle Collections in CategoryFilmList #832

Merged
merged 2 commits into from
May 28, 2022
Merged

ARTE: handle Collections in CategoryFilmList #832

merged 2 commits into from
May 28, 2022

Conversation

pidoubleyou
Copy link
Contributor

fixes #828

@andreygursky
Copy link

andreygursky commented May 25, 2022 •
edited
Loading

Ich habe gerade ausprobiert, alle verfügbaren Sendungen über "https://api.arte.tv/api/opa/v3/videos?channel=DE&limit=100&page=1" zu ermitteln, wobei page von 1 bis 186 laufen soll ("totalCount": 18514). Die ersten 100 "Seiten" schaffte wget (also seriell mit nur einer Verbindung)

--2022-05-25 20:43:57--  https://api.arte.tv/api/opa/v3/videos?channel=DE&limit=100&page=1
...
--2022-05-25 20:46:44--  https://api.arte.tv/api/opa/v3/videos?channel=DE&limit=100&page=100

in nur knapp 3 Minuten herunterzuladen. Dann kam aber eine böse Überraschung:

--2022-05-25 20:46:46--  https://api.arte.tv/api/opa/v3/videos?channel=DE&limit=100&page=101
Reusing existing connection to [api.arte.tv]:443.
HTTP request sent, awaiting response... 400 Bad Request
2022-05-25 20:46:46 ERROR 400: Bad Request.
...
u.s.w.

Und das obwohl in der letzten JSON-Datei angegeben ist, dass die nächste Seite 101 lautet:

{
  "meta": {
    "videos": {
      "totalCount": 18514,
      "limit": 100,
      "href": "https://api.arte.tv/api/opa/v3/videos?channel=DE&limit=100&page=100",
      "pages": 186,
      "page": 100,
      "links": {
        "first": {
          "href": "https://api.arte.tv/api/opa/v3/videos?channel=DE&limit=100&page=1"
        },
        "next": {
          "href": "https://api.arte.tv/api/opa/v3/videos?channel=DE&limit=100&page=101"
        },
        "previous": {
          "href": "https://api.arte.tv/api/opa/v3/videos?channel=DE&limit=100&page=99"
        }
      }
    }
...

Obwohl sich von 18514 Sendungen so schnell "nur" 10000 ermitteln ließen, waren die zur Zeit fehlenden Beiträge wie z.B. "Stadt Land Kunst - Inspirationen" (106215-061-A .. 106215-092-A) und "Mafia Queens" da.

$ for page in {1..100}; do echo $page; jq .videos[].url "arte-videos-channel-de-limit-100-page-${page}.json" | grep '106215'; done
1
"https://www.arte.tv/de/videos/106215-108-A/stadt-land-kunst-inspirationen/"
2
"https://www.arte.tv/de/videos/106215-107-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-106-A/stadt-land-kunst-inspirationen/"
3
4
"https://www.arte.tv/de/videos/106215-105-A/stadt-land-kunst-inspirationen/"
5
"https://www.arte.tv/de/videos/106215-104-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-103-A/stadt-land-kunst-inspirationen/"
6
"https://www.arte.tv/de/videos/106215-102-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-110-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-101-A/stadt-land-kunst-inspirationen/"
7
"https://www.arte.tv/de/videos/106215-109-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-100-A/stadt-land-kunst-inspirationen/"
8
"https://www.arte.tv/de/videos/106215-108-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-099-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-107-A/stadt-land-kunst-inspirationen/"
9
"https://www.arte.tv/de/videos/106215-098-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-106-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-097-A/stadt-land-kunst-inspirationen/"
10
"https://www.arte.tv/de/videos/106215-105-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-096-A/stadt-land-kunst-inspirationen/"
11
"https://www.arte.tv/de/videos/106215-104-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-095-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-103-A/stadt-land-kunst-inspirationen/"
12
"https://www.arte.tv/de/videos/106215-094-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-102-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-093-A/stadt-land-kunst-inspirationen/"
13
"https://www.arte.tv/de/videos/106215-101-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-092-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-100-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-091-A/stadt-land-kunst-inspirationen/"
14
15
"https://www.arte.tv/de/videos/106215-099-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-090-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-098-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-089-A/stadt-land-kunst-inspirationen/"
16
"https://www.arte.tv/de/videos/106215-088-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-087-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-086-A/stadt-land-kunst-inspirationen/"
17
"https://www.arte.tv/de/videos/106215-085-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-084-A/stadt-land-kunst-inspirationen/"
18
"https://www.arte.tv/de/videos/106215-083-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-082-A/stadt-land-kunst-inspirationen/"
19
"https://www.arte.tv/de/videos/106215-081-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-080-A/stadt-land-kunst-inspirationen/"
20
"https://www.arte.tv/de/videos/106215-079-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-078-A/stadt-land-kunst-inspirationen/"
21
"https://www.arte.tv/de/videos/106215-077-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-076-A/stadt-land-kunst-inspirationen/"
22
"https://www.arte.tv/de/videos/106215-075-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-074-A/stadt-land-kunst-inspirationen/"
23
"https://www.arte.tv/de/videos/106215-073-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-072-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-071-A/stadt-land-kunst-inspirationen/"
24
"https://www.arte.tv/de/videos/106215-070-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-069-A/stadt-land-kunst-inspirationen/"
25
"https://www.arte.tv/de/videos/106215-068-A/stadt-land-kunst-inspirationen/"
26
"https://www.arte.tv/de/videos/106215-067-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-066-A/stadt-land-kunst-inspirationen/"
27
"https://www.arte.tv/de/videos/106215-065-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-064-A/stadt-land-kunst-inspirationen/"
28
"https://www.arte.tv/de/videos/106215-063-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-062-A/stadt-land-kunst-inspirationen/"
"https://www.arte.tv/de/videos/106215-061-A/stadt-land-kunst-inspirationen/"
29
...

Wäre da nicht die seltsame (irgendwann gesetzte? aber inzwischen veraltete) Einschränkung von 100 Seiten, hätte man seriell über eine einzige Verbindung in etwa 5 Minuten eine Übersicht über alle Sendungen erhalten können. Aber auch so, wenn man nur ein Suchkriterium finden würde, das die Menge halbieren würde, dann könnte man mit nur 2 Anläufen alle Daten bekommen. Oder mit ein wenig mehr Einschränkungen, dann mit ein paar mehr Anläufen.

Update:
Na klar, einmal mit &sort=creationDate und dann mit &sort=-creationDate.

@alex1702 alex1702 merged commit e230651 into master May 28, 2022
@alex1702 alex1702 deleted the hotfix/828 branch May 28, 2022 09:15
@sonarcloud
Copy link

sonarcloud bot commented May 28, 2022

SonarCloud Quality Gate failed.    Quality Gate failed

Bug A 0 Bugs
Vulnerability A 0 Vulnerabilities
Security Hotspot A 0 Security Hotspots
Code Smell A 2 Code Smells

0.0% 0.0% Coverage
0.0% 0.0% Duplication

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Reviewers
No reviews
Assignees

@alex1702 alex1702

Labels
None yet
Projects
None yet
Milestone
No milestone
Development

Successfully merging this pull request may close these issues.

ARTE: Collections verarbeiten
3 participants
@pidoubleyou @andreygursky @alex1702