diff --git a/.github/workflows/eudonet_paris_import.yml b/.github/workflows/eudonet_paris_import.yml new file mode 100644 index 000000000..01695eea9 --- /dev/null +++ b/.github/workflows/eudonet_paris_import.yml @@ -0,0 +1,85 @@ +name: Eudonet Paris Import + +# on: +# schedule: +# - cron: '0 17 * * 1' # Tous les lundis à 17h00 + +# Temporary +on: + push: + branches: + - feat/eudonet-auto + +jobs: + eudonet_paris_import: + runs-on: ubuntu-latest + + steps: + - uses: actions/checkout@v1 + + - name: Setup PHP with PECL extension + uses: shivammathur/setup-php@v2 + with: + php-version: '8.2' + + - name: Get Composer Cache Directory + id: composer-cache + run: | + echo "dir=$(composer config cache-files-dir)" >> $GITHUB_OUTPUT + + - uses: actions/cache@v3 + with: + path: ${{ steps.composer-cache.outputs.dir }} + key: ${{ runner.os }}-composer-${{ hashFiles('**/composer.lock') }} + restore-keys: | + ${{ runner.os }}-composer- + + - name: Install Scalingo CLI + run: curl -O https://cli-dl.scalingo.com/install && bash install + + - name: Install SSH key + # Credit: https://stackoverflow.com/a/69234389 + run: | + install -m 600 -D /dev/null ~/.ssh/id_rsa + echo "${{ secrets.GH_SCALINGO_SSH_PRIVATE_KEY }}" > ~/.ssh/id_rsa + + - name: Init environment variables + run: | + echo "DATABASE_URL=${{ secrets.EUDONET_PARIS_IMPORT_DATABASE_URL_PR }}" >> .env.local + # Deal with JSON quotes + printf "APP_EUDONET_PARIS_CREDENTIALS='%s'\n" '${{ secrets.APP_EUDONET_PARIS_CREDENTIALS }}' >> .env.local + echo "APP_EUDONET_PARIS_ORG_ID=${{ secrets.APP_EUDONET_PARIS_ORG_ID_PR }}" >> .env.local + # echo "API_ADRESSE_BASE_URL=http://addok:7878" >> .env.local + + - uses: actions/cache@v3 + id: addok-bundle-cache + with: + path: docker/addok/addok-data + key: ${{ runner.os }}-addok-bundle-${{ hashFiles('docker/addok/addok-data/**') }} + restore-keys: | + ${{ runner.os }}-addok-bundle- + + - name: Download Addok bundle + if: steps.addok-bundle-cache.outputs.cache-hit != 'true' + run: | + curl -G -H "Authorization: Bearer ${{ secrets.KDRIVE_API_TOKEN }}" -H "Content-Type: application/json" \ https://api.infomaniak.com/2/app/184671/share/0193c893-8b54-48a4-aa4d-5cdf1fbe88a8/files/27855/download > docker/addok/addok-dialog-bundle.zip + unzip -d docker/addok/addok-data docker/addok/addok-dialog-bundle.zip + + - name: Start Addok + run: make addok_start + + - name: Run import + run: make eudonet_paris_import_ci BIN_PHP="php" BIN_CONSOLE="php bin/console" BIN_COMPOSER="composer" + + - name: Get log file path + id: logfile + if: ${{ !cancelled() }} + run: + echo "path=$(find log/eudonet_paris -type f -name '*.log' | head -n 1)" >> $GITHUB_OUTPUT + + - uses: actions/upload-artifact@v3 + if: ${{ !cancelled() }} + with: + name: eudonet_paris_logfile + path: ${{ steps.logfile.outputs.path }} + retention-days: 21 diff --git a/Makefile b/Makefile index 411cbf1a5..f81429fbd 100644 --- a/Makefile +++ b/Makefile @@ -268,3 +268,10 @@ scalingo-node-postbuild: scalingo-postdeploy: @echo 'Executing migrations...' ${BIN_CONSOLE} doctrine:migrations:migrate --no-interaction + +eudonet_paris_import_ci: + make composer CMD="install -n --prefer-dist" + scalingo login --ssh --ssh-identity ~/.ssh/id_rsa + scalingo --app dialog-staging-pr634 db-tunnel -p 10000 DATABASE_URL & + sleep 3s + make console CMD="app:eudonet_paris:import" diff --git a/docs/tools/eudonet_paris.md b/docs/tools/eudonet_paris.md index 6e5944b17..42f74b61c 100644 --- a/docs/tools/eudonet_paris.md +++ b/docs/tools/eudonet_paris.md @@ -62,3 +62,25 @@ Notes : 5. Après l'exécution : * Vérifiez l'exécution en inspectant le fichier `import.prod-*.log` alimenté pendant l'import. * Commentez les variables dans `.env.prod.local` pour éviter de les réutiliser par mégarde jusqu'au prochain import. + +## Déploiement périodique automatique + +Les données Eudonet Paris sont automatiquement intégrées en production tous les lundis à 17h00. + +Cette automatisation est réalisée au moyen de GitHub Actions (voir [`eudonet_paris_import.yml`](../../workflows/eudonet_paris_import.yml)). + +Pour tourner, cette GitHub Action a besoin d'un accès SSH à Scalingo. + +Pour cela des clés SSH ont été générées comme suit : + +```bash +ssh-keygen -t ed25519 -q -N "" -f ~/.ssh/id_dialog_gh_scalingo +``` + +La clé publique `~/.ssh/id_dialog_gh_scalingo.pub` ainsi générée a été enregistrée sur Scalingo dans la section [Mes clés SSH](https://dashboard.scalingo.com/account/keys) du compte Scalingo professionnel de @florimondmanca. + +> 💡 Pour renouveler les clés, ou en cas de perte, de nouvelles clés peuvent être régénérées en utilisant la méthode ci-dessus, puis rattachées au compte de toute personne ayant un accès "Collaborator" sur l'app Scalingo `dialog`. + +La clé privée a été ajoutée comme secret `$GH_SCALINGO_SSH_PRIVATE_KEY` au dépôt GitHub et est utilisée par la GitHub Action. + +L'accès à la base de données de prod lors de l'import se fait via un [tunnel chiffré Scalingo](https://doc.scalingo.com/platform/databases/access#encrypted-tunnel). L'URL de base de données résultant a été ajouté comme secret `$EUDONET_PARIS_IMPORT_DATABASE_URL`. La valeur de ce secret doit être la `DATABASE_URL` de production où l'on remplace le `host:port` par `127.0.0.1:10000` afin de pointer sur le DB tunnel Scalingo (le port `10000` est hardcodé dans la GitHub Action).