Suite de doremifasol ?

[ddotta]

Hello @pierre-lamarche et @py-b ,

Cela fait un petit moment maintenant que je ne suis pas venu voir ce dépôt mais je me rends compte que doremifasol ne propose plus les données les plus récentes d'insee.fr.
Comment voyez-vous son évolution ? Faudrait-il continuer à mettre à jour les données disponibles afin qu'il soit le plus up-to-date possible ?
Il me semble qu'à une époque il avait été évoqué l'idée d'une refonte technique du package ? (mais peut-être que je me trompe).

Et surtout quelle est selon vous l'articulation de doremifasol avec pynsee et le projet melodi ?

Je me dis que doremifasol est un beau package - très utile - et qu'il mériterait une seconde chance 🥲

[pierre-lamarche]

Hello @ddotta !
Merci beaucoup pour ta question, c'est effectivement des choses sur lesquelles personnellement je ne suis pas encore au clair. Mon idée, c'est qu'au lieu de rajouter de manière fastidieuse les sources de données une à une, on modifie le package pour se baser sur l'API Melodi (tout en conservant une partie legacy pour préserver le fonctionnement des codes existants basés sur doremifasol).
Pour autant je ne suis pas au clair du fonctionnement de l'API pour le moment, l'idéal étant qu'on dispose d'un endpoint permettant d'accéder directement à la liste des datasets disponibles. Si d'ailleurs tu es au clair sur le fonctionnement de l'API, je serais preneur de tes lumières à l'occasion.
S'agissant de pynsee, l'articulation me semble relativement clair dans la mesure où les deux sont portés sur des langages différents ; il n'y a donc a priori pas de souci si elles ont des fonctionnalités similaires. Il me semble d'ailleurs qu'Hadrien envisage lui aussi de passer sur Melodi (peut-être y est-il arrivé d'ailleurs, je n'ai pas suivi attentivement les évolutions du module).

[ddotta]

Oui je suis clairement d'accord avec toi qu'il désormais s'appuyer autant que possible sur melodi 👍
Ce serait plus robuste et surtout beaucoup moins fastidieux à maintenir les sources à jour...
Je ne l'ai pas encore trop utilisé mais c'est ma TO DO pour les prochaines semaines 😃
J'essaierai de voir comment récupérer les datasets disponibles, si c'est possible via l'API

Sur pynsee, je crois qu'Hadrien est confronté à la même problématique...

[pierre-lamarche]

En cours de réponse dans cette branche. Le catalogue de Melodi est disponible d'après le swagger de l'API, je fais le choix d'importer à ce stade les JSON recupérés sur l'API (et non les csv ou xls décrits dans le catalogue). À voir s'il faut changer le fusil d'épaule à terme.

[pierre-lamarche]

Melodi est désormais intégré suite à ce commit. Au final, je fais le choix de recourir à l'API uniquement pour le catalogue et c'est un robot sur le SSP Cloud qui génère de manière quotidienne ce fichier de façon à intégrer sans apporter de modification majeure au package actuel les nouvelles sources, avec du coup une actualisation en continu du catalogue disponible.