Lire et Analyser les fichiers MyCitroen

L'application MyCitroen peut exporter les données "historique des trajets" sous la forme d'un fichier Excel (fichier .csv) ou d'un fichier spécifique MyCitroen (fichier .myc).

Les analyses statistiques disponibles dans MyCitroen sont très pauvres.

J'ai donc entrepris de programmer une application pour lire et analyser les fichiers MyCitroen, que je mets à disposition de tous;

• Tranférer sur votre PC soit le(s) fichier(s) .csv, soit le(s) fichier(s) .myc
  
• Exécuter l'application "http://mobile.nfm.free.fr/voitures/voiture.html"
  
• "Parcourir" pour sélectionner et ouvrir votre fichier
  

Il n'y a rien a télécharger; c'est un programme qui tourne dans votre navigateur Internet.

note: le fichier csv contient peu d'informations, seul le fichier myc permet de faire une analyse de consommation

J'ai donc entrepris de programmer une application pour lire et analyser les fichiers MyCitroen

Oh, un développeur!!!

Denrée rare dans ce club

Concernant l'accès à CitroenService, j'ai déjà fait pas mal de dev (en cours d'expérimentation).

J'ai créé une organisation sous Github où j'ai mis mes devs. N'hésite pas à y rajouter ton code si tu le souhaites.

Pour info, il existe une autre appli mais faite sous excel:

https://www.forum-peugeot.com/Forum/threads/fichier-excel-macros-pour-importer-les-trajets-de-lapplication-mypeugeot-citro%C3%ABn-ds-export.119785/

Autonomie et "Taux de consommation"

L'autonomie est une prédiction faite par le véhicule selon le volume de la charge électrique disponible:

Autonomie (en km) = 100 * Volume disponible (en kWh) / Taux de consommation (en kWh/100 km)

On appelle "taux de consommation" ou "indice de consommation" la valeur moyenne de la consommation mesurée par l'ordinateur du véhicule durant un passé récent.

Le fichier historique des trajets contient le "niveau batterie" et "l'autonomie batterie" à l'arrivée de chaque trajet

Ce graphique confirme la relation linéaire entre le niveau et l'autonomie.

Si on ne connait pas la méthode utilisée par le véhicule pour déterminer le "taux moyen de consommation", il est néanmoins inintéressant de faire le calcul inverse car le taux de consommation déterminé par l'ordinateur de bord est basé sur la consommation réelle; il contient donc tous les effets qui ont une influence sur la consommation: température ambiante, vitesse élevé, conduite dynamique, relief accidenté, utilisation de la climatisation, etc.

En supposant que niveau 100 correspond à 11 kWh, on peut calculer le taux de consommation qui a été pris en compte:

Taux de consommation (en kWh/100 km) = 11 (en kWh) * Niveau batterie (de 0 à 100) / Autonomie (en km)

Pour une batterie chargée à 100%

autonomie taux de consommation

60km 18 kWh/100 km

55 km 20 kWh/100 km

45 km 24 kWh/100 km

35 km 31 kWh/100 km

Graphique n° id du trajet - taux de consommation

Dans ce graphique, on remarque particulièrement la forte bosse pour les trajets entre id=200 et id=300.

Si on reprend les dates pour ces trajets, la température ambiante au moment du pic était basse (0°C à 5°C), et il y a eu des épisodes de conduite plus dynamique.

Les autres pics de consommation sont plus difficile à identifier.

Est-ce que l'autonomie prévue correspond au trajet réalisé ?

Graphique n° Id du trajet - consommation moyenne en batterie seule (=sans consommation essence pour ce trajet)

La consommation observée, trajet par trajet, correspond globalement au taux de consommation prévu.

Le points calculés sont très dispersés car il s'agit majoritairement de trajets courts et les chiffres dans le fichier sont arrondis assez grossièrement; il y a une grosse incertitude purement mathématique dans le calcul (niveau Départ - niveau Arrivé)/(distance parcourue).

Profil d'utilisation du véhicule

Le véhicule est un C5 Aircross Hybride, utilisé principalement pour des court trajets peri-urbain, permettant de rouler en purement électrique. Les trajets plus longs empruntent des voies expresses et autoroutes et utilisent donc le purement thermique après avoir vidé la batterie. Le véhicule est utilisé en mode de conduite calme. La région (Bourgogne) présente un relief localement accidenté: les montées à 10% sur quelques centaines de mètres sont fréquentes.

Une nouvelle version de l'application LireFichiersMyCitroen a été mise sur le site.

Dans cette nouvelle version, il y a quelques améliorations internes sur le calcul des consommations et la prise en compte des données manquantes.

Il y a aussi de nouvelles fonctions sur le dessin:

- réglages des axes (xmin, xmax, ymin, ymax) pour recadrer/zoomer le dessin; ce réglage est volatil - il est réinitialisé à chaque dessin

- lissage des valeurs: moyenne des Y, droite moyenne, dessin de la moyenne mobile; ce réglage est persistant d'un dessin au suivant

Correctif anomalie sur l'autonomie batterie

Certains utilisateurs ont constaté une anomalie sur les valeur d'autonomie batterie: les valeurs sont beaucoup trop grandes.

Cette anomalie n'est pas due à l'application LireFichiersMyCitroen. C'est dans le fichier .myc que le chiffre sur l'autonomie batterie est le double de la valeur réelle sans aucune indication permettant de détecter ce changement de donnée. Il semble que l'anomalie se produit après la mise à jour de firmware 44.02.16.52.

Étant donné qu'il n'y a dans le fichier aucune indication qui permet de repérer cette modification, j'ai programmé un correctif simpliste: si, durant la lecture, on rencontre une valeur d'autonomie au dessus de 75 km, on divise par 2 la valeur lue pour ce trajet et pour tous les trajets suivants. La valeur seuil 75km est paramétrable dans les réglages.

Cela marche pour moi. Espérons que cela conviendra à tout le monde, jusqu'au prochain bug de MyCitroen !

Ce graphique confirme la relation linéaire entre le niveau et l'autonomie.

Pour mieux comprendre cette phrase...

Tel que formulé, j'ai l'impression que tu dis que ton constates que l'autonomie est bien une fonction linéaire de du niveau de la batterie.

Mais les valeurs d'autonomies sont elles-mêmes calculées par le prédicateur embarqué dans le véhicule,. Du coup, est-ce que tu ne constates pas tout simplement que le prédicateur embarqué en prédicateur linéaire?

Bonjour

Certains utilisateurs ont constaté une anomalie sur les valeur d'autonomie batterie: les valeurs sont beaucoup trop grandes.

Cette anomalie n'est pas due à l'application LireFichiersMyCitroen. C'est dans le fichier .myc que le chiffre sur l'autonomie batterie est le double de la valeur réelle sans aucune indication permettant de détecter ce changement de donnée. Il semble que l'anomalie se produit après la mise à jour de firmware 44.02.16.52

Oui c'est mon cas comme expliqué dans un autre FIL, je ne sais pas si cela est lié à la dernière mise à jour du firmware, pour ma part, j'ai constaté l'erreur de cette donnée brute le 15/04/2022.

Concernant la correction, en tant qu'ancien développeur (plus de 30 ans dans le développement), je ne suis pas partisan de toucher à une donnée brute, c'est un principe, je préfère générer une autre colonne avec la version "corrigée" de la valeur brute et attendre une correction de la part de Citroën si elle vient un jour.

A+

Pour mieux comprendre cette phrase...

 

Tel que formulé, j'ai l'impression que tu dis que ton constates que l'autonomie est bien une fonction linéaire de du niveau de la batterie.

 

Mais les valeurs d'autonomies sont elles-mêmes calculées par le prédicateur embarqué dans le véhicule,. Du coup, est-ce que tu ne constates pas tout simplement que le prédicateur embarqué en prédicateur linéaire?

C'est bien ce que j'ai voulu dire car le prédicateur d'autonomie pourrait ne pas être une fonction linéaire du volume disponible

C'est d'ailleurs ce que je constate lorsque je fais la même analyse sur l'autonomie essence.

La prédiction autonomie essence devrait être Autonomie(en km) = Niveau(0 à 100) * 6,4

L'analyse des données de mon véhicule donne la formule Autonomie(en km) = Niveau(0 à 100) * 7.5 - 110

c'est étrange, mais il n'y a pas suffisamment de points de mesure pour en tirer une conclusion sur la vraie formule utilisée par le prédicateur d'autonomie essence

Bonjour

 

 

Oui c'est mon cas comme expliqué dans un autre FIL, je ne sais pas si cela est lié à la dernière mise à jour du firmware, pour ma part, j'ai constaté l'erreur de cette donnée brute le 15/04/2022.

 

Concernant la correction, en tant qu'ancien développeur (plus de 30 ans dans le développement), je ne suis pas partisan de toucher à une donnée brute, c'est un principe, je préfère générer une autre colonne avec la version "corrigée" de la valeur brute et attendre une correction de la part de Citroën si elle vient un jour.

 

A+

OK, mais pratiquement toutes les données affichées dans le tableau sont des données reformatées pour permettre les calculs et les dessins.

Dans certains cas, je présente plusieurs versions des données dans l'affichage "vérification"; dans le cas de l'anomalie "autonomie batterie", j'ai fait au plus vite. Je suis conscient que mon correctif est assez foireux.

Pour voir les données brutes contenues dans le fichier, il faut cocher la case "brute" ; ensuite la plupart des calculs et dessins sont impossibles. Pour revenir aux données formatées, il suffit de décocher la case "brute".

En ce qui concerne le manque de fiabilité de l'application MyCitroen et des échanges de données associés en amont et en aval, je suis un peu surpris de l'amateurisme qui semble régner ! n'importe quel développeur expérimenté pourrait proposer les améliorations indispensables pour avoir un transfert de données robuste.

PS. je ne suis pas un professionnel du développement informatique, mais j'ai commencé à faire de la programmation scientifique en 1967 et je n'ai pratiquement jamais arrêté depuis.

BUG et RE-BUG Autonomie sur Batterie

J'avais constaté en août 2022 une anomalie sur la valeur d'autonomie lue dans le fichier; cette anomalie avait été observée par d'autres utilisateurs à d'autre dates.

En l'absence de marqueur permettant de signaler l'apparition de cette anomalie, j'ai bricolé un correctif empirique qui permettait de travailler avec des valeurs d'autonomie correctes.

Catastrophe: dans les dernier fichiers téléchargés, je constate que sur mon véhicule l'anomalie a disparue à partir du 11 novembre. Mon correctif du mois de septembre devient donc nuisible.

Comme d'habitude, rien ne signale dans le fichier que la définition d'une donnée a changée.

En attendant que je programme une rectification de mon correctif, vous pouvez neutraliser son action en fixant dans les "réglages" le seuil à une valeur très grande (à faire avant de déclencher la lecture du fichier)

Voilà ce que je voulais dire quand je disais "je préfère générer une autre colonne avec la version "corrigée" de la valeur brute et attendre une correction de la part de Citroën si elle vient un jour."

Bon courage à toi en tout cas.

A+

Merci pour tes commentaires.

C'est vrai qu'il est utile d’avoir cote à cote la valeur lue brute et la valeur corrigée des éventuelles anomalies. Mais il y a déjà un grand nombre de valeurs lues dans le fichiers, auxquelles il faut ajouter les valeurs combinées nécessaires aux analyses; de plus, la plupart valeurs lues sont reformatées parce qu'elle sont inutilisables en l'état. J'ai donc choisi de charger dans les tableaux de travail, soit la lecture des valeurs brutes (peu utilisables), soit la lecture des valeurs reformatées et corrigées des bugs.

J'ai mis en ligne ce jour la dernière version de mon application.

A+

En fait mon "principe" en tant que développeur était de créer une routine qui ajoutait la valeur corrigée, l'intérêt étant que lorsque la correction était faite par le fournisseur de données, pour modifier le code, il suffisait de supprimer l'appel à la routine.

Après chacun sa méthode.

A+

Situation des bugs de MyCitroen à ce jour (janvier 2023)

Trajets manquants: environ 8% des trajets sont manquants de façon aléatoire. Aucune améliorations sur ce sujet.

Trajets doublon: ce bug apparu en septembre a disparu en décembre, avec effet rétroactif; les doublons présents dans les fichiers récupérés en septembre, octobre et novembre 2022 n'existent plus dans le fichier de début janvier 2023.

Trajets permutés: nouveau bug en janvier 2023, des trajets dans le fichiers ne sont pas classés dans l'ordre normal.

Valeur de l'autonomie: ce bug est apparu sur mon véhicule le 10 août 2022 a disparu le 6 novembre 2022, sans effet rétroactif; les valeurs fausses sur cette plage de date restent fausses dans les derniers fichiers récupérés.

Les bugs trajets permutés, trajets doublon et autonomie fausse font l'objet de correctifs dans la dernière version mise en service le 12 janvier 2023.

Tous ces correctifs sont ajustable dans l'onglet réglages.

En pratique, c'est exactement ce qui est programmé: chaque correctif est une petite fonction insérée dans la lecture de la valeur sur fichier brut, et cette fonction est désactivable à partir de l'onglet réglage.

La seule chose que je ne fait pas est d'afficher côte à cote la valeur avant correction et la valeur après correction.

Le correctif sur l'autonomie est plus complexe car pour piloter ce correctif, il faut trouver une stratégie pour détecter l'apparition puis détecter la disparition du bug; je n'ai pas de certitudes sur le comportement des autres véhicules par rapport au mien; j'ai donc choisi de placer dans les réglages les paramètres qui pilotent ce correctif

A+

Nouvelle Version de LireFichiersMyCitroen

Une nouvelle version (mars 2023) a été mise en place sur le site "http://mobile.nfm.free.fr/voitures/voiture.html"

Principale nouveauté:

- un nouveau panneau de Statistiques Globales sur les trajets et les sessions de recharges, et une estimation de la répartition des trajets parcourus entre batterie et essence

- amélioration de nombreux détails des calculs internes pour tenir compte des trajets manquants, des données absentes et des bugs constatés dans le fichier

Bonjour,

Je n'arrive pas, à faire fonctionner ce lien sur Mac, que ce soit sous Safari ou Firefox.

J'ai raté quelque chose ?

Bonjour

C'est une adresse en http (et pas en https) donc non sécurisée, il faut donc que le navigateur l'accepte, donc à vérifier dans la configuration du navigateur utilisé.

A+

Je dois rater une étape …

Je sélectionne mon fichier Myd (c’est une DS, pas une Citroën)

Il me dit qu’il a lu 301 trajets. Et puis c’est tout ….

Dans le chapitre analyse et sélections des données tu fais une sélection dans l'affichage et cela devrait fonctionner.

A+

Même en renommant le fichier .myd en .myc, cela ne fonctionne pas.

et avec le CSV, je vois bien un compteur qui indique 301 trajets, mais je ne peux rien afficher ...

L'application LireFichierMyCitroen n'a pas été testée avec un fichier venant d'une DS; Je ai fait l'hypothèse que les fichiers Citroen, DS et Peugeot ont le même format: il y a peut-être un piège.

Si tu me transmets ton fichier en MP, je pourrais vérifier la compatibilité avec mon application.

L'extension myd ou myc ne devrait pas avoir d'influence.

Le fichier csv au format Excel contient très peu de données et ne permet pas d'analyser les consommations.

L'application LireFichierMyCitroen est développée avec Firefox sur PC; je ne dispose pas d'un MAC pour vérifier la compatibilité

Merci.

Je viens de te l'envoyer ...