Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Mise-à-jour des fixtures Validata en préparation de changements cassants #4141

Draft
wants to merge 7 commits into
base: master
Choose a base branch
from

Conversation

pierrecamilleri
Copy link

@pierrecamilleri pierrecamilleri commented Aug 23, 2024

En lien avec l'issue #4060

Voici les fichiers de test mis à jour avec le nouveau format simplifié qui devrait remplacer l'ancien.

J'ai légèrement modifié la sortie par rapport à ce que je vous avais communiqué (reporté dans l'issue), mais ce sont bien ces exemples qui font foi. Ces retours en arrière sont essentiellement pour limiter l'écart entre frictionless et validata.

À votre dispo pour toute question !

squash! update fixtures with new simplified report format

squash! update fixtures with new simplified report format
@pierrecamilleri pierrecamilleri changed the title Update Validata fixtures with new simplified report format Mise-à-jour des fixtures Validata en préparation de changements cassants Aug 23, 2024
@AntoineAugusti AntoineAugusti self-assigned this Aug 23, 2024
@AntoineAugusti
Copy link
Member

Merci @pierrecamilleri pour la PR, je prendrai la suite pour réparer les tests en cas d'erreur.

On doit attendre la mise en production pour merger. Tu connais le 📆 ?

@pierrecamilleri
Copy link
Author

Pour l'instant les mises en production sont bloquées par des bugs upstream dans frictionless v5, mais ça devrait être réglé dans le courant de la semaine prochaine !

Le code est prêt, donc une fois ce problème résolu ça peut aller assez vite.

@AntoineAugusti
Copy link
Member

@pierrecamilleri J'ai fait les changements nécessaires, merci beaucoup 🙏

J'ai ouvert cette issue concernant une erreur type = check-error qui pourrait être amélioré.

@pierrecamilleri
Copy link
Author

Trop bien merci, et merci pour l'issue.
Je te fais signe quand on met la maj du rapport en pré-production !

@validata_web_url URI.parse("https://validata.fr/table-schema")
@validata_api_url URI.parse("https://api.validata.etalab.studio/validate")
# https://git.opendatafrance.net/validata/validata-core/-/blob/75ee5258010fc43b6a164122eff2579c2adc01a7/validata_core/helpers.py#L152
@structure_tags ["#head", "#structure"]
Copy link
Author

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

J'ai fusionné les tags "#head" et "#header", et conservé uniquement "#header" qui est déjà présent dans frictionless

@@ -1 +1 @@
{"_meta":{"args":{"schema":"https:\/\/schema.data.gouv.fr\/schemas\/etalab\/schema-irve\/latest\/schema.json","url":"https:\/\/www.data.gouv.fr\/fr\/datasets\/r\/099eb6ff-bcf4-42be-bda7-61dfe1ca4c9f"},"validata-table-version":"0.6.1","validata-core-version":"0.8.3"},"error":{"message":"impossible de lire le contenu","name":"source-error"}}
{"schema":"https://schema.data.gouv.fr/schemas/etalab/schema-irve/latest/schema.json","url":"https://www.data.gouv.fr/fr/datasets/r/099eb6ff-bcf4-42be-bda7-61dfe1ca4c9f","options":{"ignore_header_case":"false"},"error":{"message":"JSON non valide ; Expecting value: line 1 column 1 (char 0)","type":"json-format-error"}}
Copy link
Author

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Je réalise qu'il manque ici "version" et "date" comme j'avais l'intention de les ajouter. Ca sera le premier patch pour la v0.12.1 !

"La colonne obligatoire `restriction_gabarit` est manquante",
"La colonne obligatoire `station_deux_roues` est manquante",
"La date doit être écrite sous la forme `aaaa-mm-jj` Colonne `date_maj`, ligne 2.",
"La date doit être écrite sous la forme `aaaa-mm-jj` Colonne `date_maj`, ligne 3."
Copy link
Author

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Il y avait un peu deux écoles pour la ponctuation des messages, avec . et sans . à la fin des messages d'erreur.

J'ai plutôt choisi sans le . à la fin, qui peut permettre des choses peut-être plus fluides si les messages sont présentées sous forme de liste à puces, mais tu constateras que tout n'est pas encore parfaitement harmonisé. En tout cas ça peut créer des petites anomalies de ponctuation comme ici, désolé !

@AntoineAugusti
Copy link
Member

@pierrecamilleri Merci beaucoup d'avoir mis à jour les fixtures et surtout d'avoir changé le code Elixir correspondant 🙏 C'est très apprécié !

Tu aurais une payload pour une 404 sur le fichier que l'on cherche à valider ? #4170 (comment)

@pierrecamilleri
Copy link
Author

@pierrecamilleri Merci beaucoup d'avoir mis à jour les fixtures et surtout d'avoir changé le code Elixir correspondant 🙏 C'est très apprécié !

Tu aurais une payload pour une 404 sur le fichier que l'on cherche à valider ? #4170 (comment)

Oui pardon, j'ai eu le temps d'oublier entre le matin et la soirée... J'ai mis à jour directement dans le commentaire.
Même remarque que ci-dessus, l'absence de version et date sera corrigée dans la v0.12.1

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Projects
None yet
Development

Successfully merging this pull request may close these issues.

2 participants