Validateur NeTEx : polling des résultats

[ptitfred]

Description

Cela permet de ne plus bloquer la queue de validation (que ce soit les ressources historisées ou on demand).

La première implémentation faisait le polling en Elixir, rendant un job bloquant le temps que la validation termine (ou timeout). Ceci créait de la congestion dans les queues de validation historisées ou on demand (surtout problématique pour l'historisé).

La nouvelle implémentation délégue le polling à 2 jobs

• 1 pour la validation historisée
• 1 pour la validation on demand

Checklist

• code non bloquant via des jobs
• adaptation de /backoffice/jobs pour afficher les jobs en attente
• tests unitaires
• tests manuels de OnDemand
• tests manuels de validation d'une ressource historisée
• tests manuels de validation concurrente de beaucoup de ressources historisées

Script de test manuel concurrent :

require Logger

Logger.info("Starting...")

import Ecto.Query

defmodule Script do
  # for each active dataset, grab all resources with a resource history.
  def query() do
    DB.Dataset.base_query()
    |> DB.Resource.join_dataset_with_resource()
    |> DB.ResourceHistory.join_resource_with_latest_resource_history()
    |> where([resource: r], r.format == "NeTEx")
    |> select([resource_history: rh], rh)
  end

  def validate_resource_history(resource_history_id) do
    %{
      "force_validation" => true,
      "validator" => Atom.to_string(Transport.Validators.NeTEx),
      "resource_history_id" => resource_history_id
    }
    |> Transport.Jobs.ResourceHistoryValidationJob.new()
  end
end

Script.query()
|> DB.Repo.all()
|> Enum.take(20)
|> Enum.map(&(&1.id |> Script.validate_resource_history()))
|> Oban.insert_all()
|> Logger.info()

---

Voir #4153