Event detail endpoint is obsolete #486

fhewitt · 2024-10-24T18:42:07Z

Hi dear community,

Context

Today, we (the Hilo team) added the deprecation header on the event details endpoints : /GDService/v1/api/locations/{locationId}/events/{eventId}.

This endpoint is not used anymore inside the Hilo application, but we kept it up and functional for Home Assistant.

That being said, it's not tested so much anymore and it will, at some point, be removed or just stop working properly.

New Approach

You should be able to achieve the same result through websocket/signalR :
https://api.hiloenergie.com/ChallengeHub

Request Message: SubscribeToChallenge with a { eventId: long, locationId: long } payload

Which will trigger these 2 events in response

ChallengeDetailsInitialValuesReceived

      {
        "required": [
          "progress",
          "isParticipating",
          "isConfigurable",
          "id",
          "period",
          "phases"
        ],
        "type": "object",
        "properties": {
          "progress": {
            "enum": [
              "none",
              "scheduled",
              "inProgress",
              "completed"
            ],
            "type": "string",
            "default": "none"
          },
          "isParticipating": {
            "type": "boolean"
          },
          "isConfigurable": {
            "type": "boolean"
          },
          "currentPhase": {
            "enum": [
              "none",
              "preheat",
              "reduction",
              "recovery"
            ],
            "type": "string",
            "default": "none",
            "nullable": true
          },
          "id": {
            "type": "integer",
            "format": "int64"
          },
          "period": {
            "enum": [
              "none",
              "am",
              "pm"
            ],
            "type": "string",
            "default": "none"
          },
          "phases": {
            "$ref": "#/components/schemas/eventPhases"
          }
        }
      },

ChallengeConsumptionUpdatedValuesReceived

     {
        "required": [
          "generatedTimeUTC"
        ],
        "type": "object",
        "properties": {
          "currentWh": {
            "type": "number",
            "format": "double",
            "nullable": true
          },
          "baselineWh": {
            "type": "number",
            "format": "double",
            "nullable": true
          },
          "estimatedReward": {
            "type": "number",
            "format": "double",
            "nullable": true
          },
          "generatedTimeUTC": {
            "minLength": 1,
            "type": "string",
            "format": "date-time"
          },
          "cumulativeBaselinePoints": {
            "type": "array",
            "items": {
              "$ref": "#/components/schemas/cumulativeConsumptionPoints"
            }
          },
          "cumulativeConsumptionPoints": {
            "type": "array",
            "items": {
              "$ref": "#/components/schemas/cumulativeConsumptionPoints"
            }
          }
        }
      },

"cumulativeConsumptionPoints": {
        "required": [
          "timeUTC",
          "wh"
        ],
        "type": "object",
        "properties": {
          "timeUTC": {
            "minLength": 1,
            "type": "string",
            "format": "date-time"
          },
          "wh": {
            "type": "number",
            "format": "double"
          }
        }
      },

Obviously, these format could change in the future (probably not for this season).

Sorry that I can't be a lot more helpful, especially in this time of the year.

The text was updated successfully, but these errors were encountered:

ic-dev21 · 2024-10-25T01:02:29Z

@fhewitt un gars s'essaye, y a-t-il un espoir de pull request de ta part?

fhewitt · 2024-10-25T16:17:16Z

Non, je ne connais pas le projet du tout, ni Python d'ailleurs. Je ne peux pas m'avancer concernant mes collègues, mais là tout de suite, ça ne sera pas priorisé.

Par contre, je m'engage à repasser ici si on s'apprête à l'arracher et que le ticket est toujours ouvert, pour te dire que tu n'a plus le choix. Et ça ne sera certainement pas avant Q1 2025. D'ici là, l'espoir reste permis.

ic-dev21 · 2024-10-26T00:33:25Z

@fhewitt je suis pas une brute (c'est pas mon code, je l'apprends sur le tas), je vois que l'on utilise cet endpoint dans cette fonction-là:

hilo/custom_components/hilo/sensor.py

Line 780 in 63fe855

events = await self._hilo._api.get_gd_events(self._hilo.devices.location_id)

Qui par la suite appelle celle-ci:

https://github.com/dvd-dev/python-hilo/blob/99c73b76b74b8539672e68bbdd8942f63ba347e7/pyhilo/api.py#L531-L600

Je comprends vite quand on m'explique longtemps.

Est-ce que l'on souhaite obtenir que l'URL passe de:

/GDService/v1/api/locations/{locationId}/events/{eventId}

À

/ChallengeHub/v1/api/locations/{locationId}/events/{eventId}

Ou bien j'ai mal saisi l'information? Si j'ai bien saisi, ça me retourne une erreur 404 ici dans mon test en local.

J'ai pas nécessairement besoin d'aide côté Python en tant que tel, plus ma compréhension de ce qui doit changer.

valleedelisle · 2024-10-26T13:25:39Z

Ce code ne marchera plus. Il va falloir passer par le websocket et subscribe à ce nouvel url. Je suis aussi un noob avec tout ce qui est async et websocket.

Je crois qu'on va avoir besoin de deux instances de WebsocketClient. Faut faire de quoi avec ce hack la qui hardcode le DeviceHub dans la methode de connexion. À moins qu'on puisse subscribe à plusieurs endpoints avec la même instance?

Donc cette instance est créée dans le _post_init, je crois qu'on pourrait en créé une deuxième à cet endroit à moins qu'on puisse utilisé la même pour les deux endpoint, je ne suis pas assez familier avec tout ça.

Ensuite, tout dépendemment si on utilise une ou deux instances de websocket client, on va devoir adapter tout le code ici pour supporter ces deux connexions. Tant qu'à le faire pour deux, on s'arrange pour que ça soit dynamique et pouvoir subscribe à une liste de websocket. Faudrait aussi ajuster le callback pour qui soit dynamique tant qu'à ça.

C'est une pas pire job tout ça, surtout pour des noobs comme nous qui ont codé ça instinctivement en snoopant le traffic de l'app. Q1 2025 arrive très vite. C'est vraiment sympathique d'Hilo d'avoir supporté le REST API pour les events pour nous aussi longtemps mais ça serait aussi bien que Hilo puisse engagé un consultant afin de migrer vers la nouvelle infra. Un professionnel python devrait pouvoir comprendre et coder ça en pas trop long à mon avis.

Leicas · 2024-11-12T03:06:27Z

@fhewitt , en essayant d’implémenter je me frotte à une erreur 401 sur la négociation avec https://api.hiloenergie.com/ChallengeHub, est-ce que le bearer token ne serrait pas un token général ?

En utilisant le token obtenu par Oauth ça veut vraiment pas, alors je me demandais si ce n'était pas un token générique ou à obtenir via une autre méthode.
Merci :)

ic-dev21 · 2024-11-16T15:38:15Z

Salut gang,

@Leicas @valleedelisle @elafontaine
J'ai eu un peu de temps pour discuter avec @nlz242 car j'avais pas mal de trouble à établir un POST pour obtenir mon URL Websocket de mon côté en dev.

Au final, le token qui doit être utilisé pour la connexion initiale au websocket du ChallengeHub est ici:

https://github.com/dvd-dev/python-hilo/blob/39cc8e28bbf9bbac9636f052f78b1045eda3e7b2/pyhilo/api.py#L130-L135

Pour fins de connexion avec POSTMAN j'ai modifié le code ainsi pour obtenir mon token et confirmer que j'avais la bonne affaire:

    async def async_get_access_token(self) -> str:
        """Return a valid access token."""
        if not self._oauth_session.valid_token:
            await self._oauth_session.async_ensure_token_valid()

        access_token = str(self._oauth_session.token["access_token"])
        LOG.debug(f"ic-dev21 {access_token}")
        return str(self._oauth_session.token["access_token"])

Résultat:

Donc il est possible d'obtenir notre WSS URL à partir de là!

Je suis pas allé plus loin encore car je suis pas mal moins à l'aise avec cette portion là du code mais je voulais informer n'importe qui qui veut s'essayer de son côté comment obtenir le bon chemin!

Leicas · 2024-11-16T19:34:09Z

Un peu de progrès, j’ai partagé ça sur dvd-dev/python-hilo#223 pour aider les autres qui travaille dessus, c’est pas très loin encore, mais la partie négo du WS avec les tokens fonctionne chez moi maintenant.

La partie qui voulait vraiment pas et qui m’a tourné le crane c’est https://github.com/dvd-dev/python-hilo/pull/223/files#diff-9ee2958872aa7ec04a975bc72c01bd591c0babd6cdabed3344be35f80fff180dR234 .

valleedelisle · 2024-11-20T15:54:38Z

Nice job! Merci pour ta contribution. Idéalement, il faudrait que ça soit dynamique au lieu de faire un websocket2. Peut-être un autre classe pour englober le tout? Je manque énormément de temps ces temps-ci, si Hilo pouvait faire des journées de 32h ça m'aiderait. Mais bon, si ça fonctionne comme ça, j'ai pas de problème à merger ce code et j'essaierai d'optimiser éventuellement.

…ndling challenge events.

ic-dev21 · 2024-12-18T15:31:03Z

Manager class est faite dans pyhilo, voir dvd-dev/python-hilo#224, c'est pas mergé encore d'un coup que j'me sois planté mais ici en test c'est fonctionnel.

#505 est un bon premier pas, merci beaucoup à @Leicas, je vais continuer à jouer avec pendant le temps des fêtes.

Toute contribution ou essai de contribution sera apprécié

sm-Fifteen · 2024-12-21T21:04:09Z

@fhewitt: Les structures de données JSON Schema, c'est copié d'une source de données publiquement accessible ou est-ce que c'est juste un cadeau? C'est généralement assez commode d'avoir les définitions d'API pour pouvoir mock ce que l'API renverrait ou même juste pour être certain que les modèles de données sont bons.

ic-dev21 · 2024-12-21T21:10:51Z

@fhewitt: Les structures de données JSON Schema, c'est copié d'une source de données publiquement accessible ou est-ce que c'est juste un cadeau? C'est généralement assez commode d'avoir les définitions d'API pour pouvoir mock ce que l'API renverrait ou même juste pour être certain que les modèles de données sont bons.

@sm-Fifteen passes nous voir sur discord quand tu auras un moment, je peux au moins te faire un topo d’où c’est rendu

https://discord.gg/d94yGKnz

ic-dev21 · 2024-12-26T14:50:05Z

J'ai commencé à me réessayer en cuvant ma dinde d'hier, j'arrive à poster au challengehub via postman sans problèmes mais on dirait que je n'arrive pas à me servir de Postman pour subscribe au URL.

Du côté HA, avec dvd-dev/python-hilo#224 et #505 qui virent en parallèle, j'ai les messages suivants dans le log... pas super aidant.

ic-dev21 · 2024-12-26T15:30:39Z

Info supplémentaire:

SubscribeToChallengeList({long LocationId})

retourne la liste des défi en cours/prévu

UnsubscribeFromChallengeList({long LocationId})

SubscribeToChallenge({long LocationId, long EventId})

UnsubscribeFromChallenge({long LocationId, long EventId})

RequestChallengeConsumptionUpdate({long LocationId, long EventId})

ic-dev21 · 2024-12-27T17:54:14Z

Ajouts dans #505, si on le roule avec dvd-dev/python-hilo#224 on a quelque chose de fonctionnel

ic-dev21 · 2024-12-30T01:57:11Z

Plus d'info:
Le data de tous nos websockets ouverts nous reviens ici:
https://github.com/dvd-dev/python-hilo/blob/0c9fca95f7fa7cfff5ee966d57699230fc36f89b/pyhilo/api.py#L246-L259

Il va falloir remodeler
https://github.com/dvd-dev/python-hilo/blob/0c9fca95f7fa7cfff5ee966d57699230fc36f89b/pyhilo/api.py#L543-L637

Pour digérer l'info des défis je pense... Je ne sais pas si on va pas avoir besoin d'une méthode ou autre pour envoyer l'info aux bonnes places...

ic-dev21 · 2024-12-30T02:02:57Z

Ce qui revient par le /Challengehub:

{
    "type": 1,
    "target": "ChallengeDetailsInitialValuesReceived",
    "arguments": [
        {
            "currentPhase": null,
            "parameters": {
                "mode": "extreme",
                "devices": [
                    {
                        "id": 454741,
                        "deviceUid": "BC33ACFFFE2BABDD",
                        "name": "Thermostat Cuisine",
                        "roomName": "Salon/Cuisine",
                        "optOut": false,
                        "preheat": true,
                        "deviceType": "Thermostat"
                    },
                    {
                        "id": 454744,
                        "deviceUid": "BC33ACFFFE21C79A",
                        "name": "Thermostat chambre des maîtres",
                        "roomName": "Chambre des maîtres",
                        "optOut": false,
                        "preheat": true,
                        "deviceType": "Thermostat"
                    },
                    {
                        "id": 454747,
                        "deviceUid": "5C0272FFFE823394",
                        "name": "Thermostat salle de bain",
                        "roomName": "Salle de bain en haut",
                        "optOut": true,
                        "preheat": false,
                        "deviceType": "Thermostat"
                    },
                    {
                        "id": 454750,
                        "deviceUid": "BC33ACFFFE296648",
                        "name": "Thermostat chambre XXX",
                        "roomName": "Chambre XXX",
                        "optOut": false,
                        "preheat": true,
                        "deviceType": "Thermostat"
                    },
                    {
                        "id": 454756,
                        "deviceUid": "BC33ACFFFE2BAD65",
                        "name": "Thermostat salle de jeux",
                        "roomName": "Salle de jeux",
                        "optOut": false,
                        "preheat": true,
                        "deviceType": "Thermostat"
                    },
                    {
                        "id": 454761,
                        "deviceUid": "5C0272FFFE8233C9",
                        "name": "Thermostat salle de bain en bas",
                        "roomName": "Salle de bain en bas",
                        "optOut": false,
                        "preheat": true,
                        "deviceType": "Thermostat"
                    },
                    {
                        "id": 454764,
                        "deviceUid": "BC33ACFFFE295E81",
                        "name": "Thermostat bureau",
                        "roomName": "Bureau",
                        "optOut": true,
                        "preheat": false,
                        "deviceType": "Thermostat"
                    },
                    {
                        "id": 454766,
                        "deviceUid": "BC33ACFFFE2B042D",
                        "name": "Thermostat chambre invité",
                        "roomName": "Chambre d'invités",
                        "optOut": true,
                        "preheat": false,
                        "deviceType": "Thermostat"
                    }
                ]
            },
            "consumption": {
                "currentWh": 4312.33349609375,
                "baselineWh": 44751.55859375,
                "estimatedReward": null,
                "generatedTimeUTC": "2024-12-30T01:53:09.1207802+00:00",
                "cumulativeBaselinePoints": [
                    {
                        "timeUTC": "2024-12-23T11:00:00+00:00",
                        "wh": 0.0
                    },
                    {
                        "timeUTC": "2024-12-23T12:00:00+00:00",
                        "wh": 14398.015625
                    },
                    {
                        "timeUTC": "2024-12-23T13:00:00+00:00",
                        "wh": 24935.7646484375
                    },
                    {
                        "timeUTC": "2024-12-23T14:00:00+00:00",
                        "wh": 34843.7255859375
                    },
                    {
                        "timeUTC": "2024-12-23T15:00:00+00:00",
                        "wh": 44751.5576171875
                    }
                ],
                "cumulativeConsumptionPoints": []
            },
            "isPreSeason": false,
            "report": {
                "status": "Success",
                "reward": 22.24,
                "energySavingsWh": 40439.22509765625,
                "calculatedReward": 22.24,
                "isMissingBaseline": false,
                "isMissingConsumption": false,
                "adjustments": []
            },
            "generatedTimeUTC": "2024-12-30T01:53:09.1207802Z",
            "optOutDevices": [
                {
                    "id": 454741,
                    "eventDateUtc": "2024-12-23T11:00:00.6549104Z",
                    "triggerTypeId": 3,
                    "triggerApplicationId": 1
                },
                {
                    "id": 454744,
                    "eventDateUtc": "2024-12-23T11:00:00.6593181Z",
                    "triggerTypeId": 3,
                    "triggerApplicationId": 1
                },
                {
                    "id": 454750,
                    "eventDateUtc": "2024-12-23T11:00:00.6460736Z",
                    "triggerTypeId": 3,
                    "triggerApplicationId": 1
                },
                {
                    "id": 454756,
                    "eventDateUtc": "2024-12-23T11:00:00.650514Z",
                    "triggerTypeId": 3,
                    "triggerApplicationId": 1
                },
                {
                    "id": 454761,
                    "eventDateUtc": "2024-12-23T11:00:00.6612074Z",
                    "triggerTypeId": 3,
                    "triggerApplicationId": 1
                }
            ],
            "isEligibleForReward": true,
            "progress": "completed",
            "isParticipating": true,
            "isConfigurable": false,
            "id": 273,
            "period": "am",
            "phases": {
                "settingsDeadlineUtc": "2024-12-23T05:00:00Z",
                "preheatStartDateUTC": "2024-12-23T09:00:00Z",
                "preheatEndDateUTC": "2024-12-23T11:00:00Z",
                "reductionStartDateUTC": "2024-12-23T11:00:00Z",
                "reductionEndDateUTC": "2024-12-23T15:00:00Z",
                "recoveryStartDateUTC": "2024-12-23T15:00:00Z",
                "recoveryEndDateUTC": "2024-12-23T16:00:00Z"
            }
        }
    ]
}

ic-dev21 · 2024-12-30T02:20:48Z

Le reste des messages arrivent d'ici:

https://github.com/dvd-dev/python-hilo/blob/0c9fca95f7fa7cfff5ee966d57699230fc36f89b/pyhilo/websocket.py#L223-L240

ic-dev21 · 2025-01-05T13:01:43Z

@sm-Fifteen @Leicas @valleedelisle

#505 est à jour avec tous les messages qui sont rentrés à date dans le websocket du /ChallengeHub.

Nécessite dvd-dev/python-hilo#224 pour rouler.

ic-dev21 · 2025-01-06T17:39:56Z

@sm-Fifteen @Leicas @valleedelisle

Voici un debug log file épuré des premières phrases du défi de ce matin.
Défi 2025-01-05.log

ic-dev21 · 2025-01-07T14:31:38Z

@sm-Fifteen @Leicas @valleedelisle

Log épuré de sur un autre host, mais j'ai tous les messages websocket du 4 janvier au 6 au soir dedans
Synology.log

fhewitt changed the title ~~Event detail endpoint is deprecated~~ Event detail endpoint is obsolete Oct 24, 2024

ic-dev21 added breaking Breaking Changes deprecation labels Oct 31, 2024

Leicas added a commit to Leicas/hilo that referenced this issue Nov 26, 2024

first step to fix dvd-dev#486 by making room to a second websocket ha…

f4b24ef

…ndling challenge events.

ic-dev21 mentioned this issue Dec 21, 2024

"Update for sensor.meter00_power fails" si la météo est non-accessible #513

Closed

ic-dev21 mentioned this issue Jan 9, 2025

sensor.defi_hilo devient brièvement off pendant la phase de réduction #537

Open

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Event detail endpoint is obsolete #486

Event detail endpoint is obsolete #486

fhewitt commented Oct 24, 2024

ic-dev21 commented Oct 25, 2024

fhewitt commented Oct 25, 2024

ic-dev21 commented Oct 26, 2024 •

edited

Loading

valleedelisle commented Oct 26, 2024

Leicas commented Nov 12, 2024

ic-dev21 commented Nov 16, 2024

Leicas commented Nov 16, 2024

valleedelisle commented Nov 20, 2024

ic-dev21 commented Dec 18, 2024 •

edited

Loading

sm-Fifteen commented Dec 21, 2024

ic-dev21 commented Dec 21, 2024

ic-dev21 commented Dec 26, 2024

ic-dev21 commented Dec 26, 2024

ic-dev21 commented Dec 27, 2024

ic-dev21 commented Dec 30, 2024

ic-dev21 commented Dec 30, 2024

ic-dev21 commented Dec 30, 2024

ic-dev21 commented Jan 5, 2025

ic-dev21 commented Jan 6, 2025

ic-dev21 commented Jan 7, 2025

Event detail endpoint is obsolete #486

Event detail endpoint is obsolete #486

Comments

fhewitt commented Oct 24, 2024

Context

New Approach

ChallengeDetailsInitialValuesReceived

ChallengeConsumptionUpdatedValuesReceived

ic-dev21 commented Oct 25, 2024

fhewitt commented Oct 25, 2024

ic-dev21 commented Oct 26, 2024 • edited Loading

valleedelisle commented Oct 26, 2024

Leicas commented Nov 12, 2024

ic-dev21 commented Nov 16, 2024

Leicas commented Nov 16, 2024

valleedelisle commented Nov 20, 2024

ic-dev21 commented Dec 18, 2024 • edited Loading

sm-Fifteen commented Dec 21, 2024

ic-dev21 commented Dec 21, 2024

ic-dev21 commented Dec 26, 2024

ic-dev21 commented Dec 26, 2024

ic-dev21 commented Dec 27, 2024

ic-dev21 commented Dec 30, 2024

ic-dev21 commented Dec 30, 2024

ic-dev21 commented Dec 30, 2024

ic-dev21 commented Jan 5, 2025

ic-dev21 commented Jan 6, 2025

ic-dev21 commented Jan 7, 2025

ic-dev21 commented Oct 26, 2024 •

edited

Loading

ic-dev21 commented Dec 18, 2024 •

edited

Loading