Skip to content

Commit

Permalink
Add Eudonet Paris import GitHub Action
Browse files Browse the repository at this point in the history
  • Loading branch information
florimondmanca committed Feb 8, 2024
1 parent 8ee785d commit f0c09dd
Show file tree
Hide file tree
Showing 3 changed files with 98 additions and 0 deletions.
69 changes: 69 additions & 0 deletions .github/workflows/eudonet_paris_import.yml
Original file line number Diff line number Diff line change
@@ -0,0 +1,69 @@
name: Eudonet Paris Import

# on:
# schedule:
# - cron: '0 17 * * 1' # Tous les lundis à 17h00

# Temporary
on:
push:
branches:
- feat/eudonet-auto

jobs:
eudonet_paris_import:
runs-on: ubuntu-latest

steps:
- uses: actions/checkout@v1

- name: Setup PHP with PECL extension
uses: shivammathur/setup-php@v2
with:
php-version: '8.2'

- name: Get Composer Cache Directory
id: composer-cache
run: |
echo "dir=$(composer config cache-files-dir)" >> $GITHUB_OUTPUT
- uses: actions/cache@v3
with:
path: ${{ steps.composer-cache.outputs.dir }}
key: ${{ runner.os }}-composer-${{ hashFiles('**/composer.lock') }}
restore-keys: |
${{ runner.os }}-composer-
- name: Install Scalingo CLI
run: curl -O https://cli-dl.scalingo.com/install && bash install

- name: Install SSH key
# Credit: https://stackoverflow.com/a/69234389
run: |
install -m 600 -D /dev/null ~/.ssh/id_rsa
echo "${{ secrets.GH_SCALINGO_SSH_PRIVATE_KEY }}" > ~/.ssh/id_rsa
- name: Init environment variables
run: |
echo "DATABASE_URL=${{ secrets.EUDONET_PARIS_IMPORT_DATABASE_URL_PR }}" >> .env
echo "APP_EUDONET_PARIS_CREDENTIALS='${{ secrets.APP_EUDONET_PARIS_CREDENTIALS }}'" >> .env
echo "APP_EUDONET_PARIS_ORG_ID='${{ secrets.APP_EUDONET_PARIS_ORG_ID_PR }}'" >> .env
# echo "API_ADRESSE_BASE_URL=http://addok:7878" >> .env
# - name: Start Addok
# run: make addok_start

- name: Run import
run: make eudonet_paris_import_ci BIN_PHP="php" BIN_CONSOLE="php bin/console" BIN_COMPOSER="composer"

- name: Get log file path
id: logfile
run:
echo "path=$(ls log/eudonet_paris)" >> $GITHUB_OUTPUT

- uses: actions/upload-artifact@v3
if: always()
with:
name: eudonet_paris_logfile
path: ${{ steps.logfile.outputs.path }}
retention-days: 7
7 changes: 7 additions & 0 deletions Makefile
Original file line number Diff line number Diff line change
Expand Up @@ -268,3 +268,10 @@ scalingo-node-postbuild:
scalingo-postdeploy:
@echo 'Executing migrations...'
${BIN_CONSOLE} doctrine:migrations:migrate --no-interaction

eudonet_paris_import_ci:
make composer CMD="install -n --prefer-dist"
scalingo login --ssh --ssh-identity ~/.ssh/id_rsa
scalingo --app dialog-staging-pr634 db-tunnel -p 10000 DATABASE_URL &
sleep 3s
make console CMD="app:eudonet_paris:import"
22 changes: 22 additions & 0 deletions docs/tools/eudonet_paris.md
Original file line number Diff line number Diff line change
Expand Up @@ -62,3 +62,25 @@ Notes :
5. Après l'exécution :
* Vérifiez l'exécution en inspectant le fichier `import.prod-*.log` alimenté pendant l'import.
* Commentez les variables dans `.env.prod.local` pour éviter de les réutiliser par mégarde jusqu'au prochain import.
## Déploiement périodique automatique
Les données Eudonet Paris sont automatiquement intégrées en production tous les lundis à 17h00.
Cette automatisation est réalisée au moyen de GitHub Actions (voir [`eudonet_paris_import.yml`](../../workflows/eudonet_paris_import.yml)).
Pour tourner, cette GitHub Action a besoin d'un accès SSH à Scalingo.

Pour cela des clés SSH ont été générées comme suit :

```bash
ssh-keygen -t ed25519 -q -N "" -f ~/.ssh/id_dialog_gh_scalingo
```

La clé publique `~/.ssh/id_dialog_gh_scalingo.pub` ainsi générée a été enregistrée sur Scalingo dans la section [Mes clés SSH](https://dashboard.scalingo.com/account/keys) du compte Scalingo professionnel de @florimondmanca.

> 💡 Pour renouveler les clés, ou en cas de perte, de nouvelles clés peuvent être régénérées en utilisant la méthode ci-dessus, puis rattachées au compte de toute personne ayant un accès "Collaborator" sur l'app Scalingo `dialog`.
La clé privée a été ajoutée comme secret `$GH_SCALINGO_SSH_PRIVATE_KEY` au dépôt GitHub et est utilisée par la GitHub Action.
L'accès à la base de données de prod lors de l'import se fait via un [tunnel chiffré Scalingo](https://doc.scalingo.com/platform/databases/access#encrypted-tunnel). L'URL de base de données résultant a été ajouté comme secret `$EUDONET_PARIS_IMPORT_DATABASE_URL`. La valeur de ce secret doit être la `DATABASE_URL` de production où l'on remplace le `host:port` par `127.0.0.1:10000` afin de pointer sur le DB tunnel Scalingo (le port `10000` est hardcodé dans la GitHub Action).

0 comments on commit f0c09dd

Please sign in to comment.