Add Eudonet Paris import GitHub Action

.github/workflows/eudonet_paris_import.yml

@@ -0,0 +1,85 @@
+name: Eudonet Paris Import
+
+# on:
+#   schedule:
+#     - cron: '0 17 * * 1' # Tous les lundis à 17h00
+
+# Temporary
+on:
+  push:
+    branches:
+      - feat/eudonet-auto
+
+jobs:
+  eudonet_paris_import:
+    runs-on: ubuntu-latest
+
+    steps:
+      - uses: actions/checkout@v1
+
+      - name: Setup PHP with PECL extension
+        uses: shivammathur/setup-php@v2
+        with:
+          php-version: '8.2'
+
+      - name: Get Composer Cache Directory
+        id: composer-cache
+        run: |
+          echo "dir=$(composer config cache-files-dir)" >> $GITHUB_OUTPUT
+
+      - uses: actions/cache@v3
+        with:
+          path: ${{ steps.composer-cache.outputs.dir }}
+          key: ${{ runner.os }}-composer-${{ hashFiles('**/composer.lock') }}
+          restore-keys: |
+            ${{ runner.os }}-composer-
+
+      - name: Install Scalingo CLI
+        run: curl -O https://cli-dl.scalingo.com/install && bash install
+
+      - name: Install SSH key
+        # Credit: https://stackoverflow.com/a/69234389
+        run: |
+          install -m 600 -D /dev/null ~/.ssh/id_rsa
+          echo "${{ secrets.GH_SCALINGO_SSH_PRIVATE_KEY }}" > ~/.ssh/id_rsa
+
+      - name: Init environment variables
+        run: |
+          echo "DATABASE_URL=${{ secrets.EUDONET_PARIS_IMPORT_DATABASE_URL_PR }}" >> .env.local
+          # Deal with JSON quotes
+          printf "APP_EUDONET_PARIS_CREDENTIALS='%s'\n" '${{ secrets.APP_EUDONET_PARIS_CREDENTIALS }}' >> .env.local
+          echo "APP_EUDONET_PARIS_ORG_ID=${{ secrets.APP_EUDONET_PARIS_ORG_ID_PR }}" >> .env.local
+          # echo "API_ADRESSE_BASE_URL=http://addok:7878" >> .env.local
+
+      - uses: actions/cache@v3
+        id: addok-bundle-cache
+        with:
+          path: docker/addok/addok-data
+          key: ${{ runner.os }}-addok-bundle-${{ hashFiles('docker/addok/addok-data/**') }}
+          restore-keys: |
+            ${{ runner.os }}-addok-bundle-
+
+      - name: Download Addok bundle
+        if: steps.addok-bundle-cache.outputs.cache-hit != 'true'
+        run: |
+          curl -G -H "Authorization: Bearer ${{ secrets.KDRIVE_API_TOKEN }}" -H "Content-Type: application/json" \ https://api.infomaniak.com/2/app/184671/share/0193c893-8b54-48a4-aa4d-5cdf1fbe88a8/files/27855/download > docker/addok/addok-dialog-bundle.zip
+          unzip -d docker/addok/addok-data docker/addok/addok-dialog-bundle.zip
+
+      - name: Start Addok
+        run: make addok_start
+
+      - name: Run import
+        run: make eudonet_paris_import_ci BIN_PHP="php" BIN_CONSOLE="php bin/console" BIN_COMPOSER="composer"
+
+      - name: Get log file path
+        id: logfile
+        if: ${{ !cancelled() }}
+        run:
+          echo "path=$(find log/eudonet_paris -type f -name '*.log' | head -n 1)" >> $GITHUB_OUTPUT
+
+      - uses: actions/upload-artifact@v3
+        if: ${{ !cancelled() }}
+        with:
+          name: eudonet_paris_logfile
+          path:  ${{ steps.logfile.outputs.path }}
+          retention-days: 21

Makefile

@@ -268,3 +268,10 @@ scalingo-node-postbuild:
 scalingo-postdeploy:
 	@echo 'Executing migrations...'
 	${BIN_CONSOLE} doctrine:migrations:migrate --no-interaction
+
+eudonet_paris_import_ci:
+	make composer CMD="install -n --prefer-dist"
+	scalingo login --ssh --ssh-identity ~/.ssh/id_rsa
+	scalingo --app dialog-staging-pr634 db-tunnel -p 10000 DATABASE_URL &
+	sleep 3s
+	make console CMD="app:eudonet_paris:import"

docs/tools/eudonet_paris.md

@@ -62,3 +62,25 @@ Notes :
 5. Après l'exécution :
   * Vérifiez l'exécution en inspectant le fichier `import.prod-*.log` alimenté pendant l'import.
   * Commentez les variables dans `.env.prod.local` pour éviter de les réutiliser par mégarde jusqu'au prochain import.
+
+## Déploiement périodique automatique
+
+Les données Eudonet Paris sont automatiquement intégrées en production tous les lundis à 17h00.
+
+Cette automatisation est réalisée au moyen de GitHub Actions (voir [`eudonet_paris_import.yml`](../../workflows/eudonet_paris_import.yml)).
+
+Pour tourner, cette GitHub Action a besoin d'un accès SSH à Scalingo.
+
+Pour cela des clés SSH ont été générées comme suit :
+
+```bash
+ssh-keygen -t ed25519 -q -N "" -f ~/.ssh/id_dialog_gh_scalingo
+```
+
+La clé publique `~/.ssh/id_dialog_gh_scalingo.pub` ainsi générée a été enregistrée sur Scalingo dans la section [Mes clés SSH](https://dashboard.scalingo.com/account/keys) du compte Scalingo professionnel de @florimondmanca.
+
+> 💡 Pour renouveler les clés, ou en cas de perte, de nouvelles clés peuvent être régénérées en utilisant la méthode ci-dessus, puis rattachées au compte de toute personne ayant un accès "Collaborator" sur l'app Scalingo `dialog`.
+
+La clé privée a été ajoutée comme secret `$GH_SCALINGO_SSH_PRIVATE_KEY` au dépôt GitHub et est utilisée par la GitHub Action.
+
+L'accès à la base de données de prod lors de l'import se fait via un [tunnel chiffré Scalingo](https://doc.scalingo.com/platform/databases/access#encrypted-tunnel). L'URL de base de données résultant a été ajouté comme secret `$EUDONET_PARIS_IMPORT_DATABASE_URL`. La valeur de ce secret doit être la `DATABASE_URL` de production où l'on remplace le `host:port` par `127.0.0.1:10000` afin de pointer sur le DB tunnel Scalingo (le port `10000` est hardcodé dans la GitHub Action).