Quand une entreprise met à jour le modèle derrière un nom familier sans changer le nom, un score de banc d'essai ou un audit de sécurité du mois dernier peut ne plus décrire ce que vous utilisez réellement. Un commentaire dans Nature Machine Intelligence soutient qu'il s'agit d'un vrai problème, non d'un désagrément, et appelle à un versionnage d'IA pertinent conçu autour des besoins des régulateurs et des chercheurs.
Le point des auteurs est que les fournisseurs d'IA changent souvent leurs modèles et les systèmes autour en gardant le même identifiant public. Un modèle accessible aujourd'hui sous une étiquette peut se comporter différemment la semaine prochaine après une mise à jour silencieuse, et rien dans le nom ne vous le dit. Cela sape deux choses à la fois. La surveillance réglementaire s'affaiblit, car une règle ou une approbation attachée à un modèle nommé perd son sens si le modèle derrière le nom ne cesse de bouger. Et la reproductibilité scientifique souffre, car une étude qui rapporte des résultats pour un modèle donné ne peut être rejouée ni jugée fiable si nul ne peut fixer quelle version les a produits.
La plainte est juste et attendue de longue date. Quiconque a vu une invite qui marchait la semaine dernière commencer à échouer après qu'un fournisseur a poussé une mise à jour connaît la frustration de première main, et le problème est plus aigu pour tout ce qui dépend d'une référence stable : un audit, un résultat publié, un feu vert de conformité. Un score ne veut dire quelque chose que si l'on sait exactement quel modèle il décrit, et la nomenclature d'aujourd'hui le cache souvent. Le logiciel a résolu une version de cela depuis des décennies avec de vrais numéros de version ; les auteurs veulent que le domaine de l'IA adopte un schéma conçu pour ses propres besoins réglementaires et de recherche, et non pour le marketing.
L'honnêteté ici est que nous n'avons lu que le résumé, qui se trouve derrière un mur payant. Le commentaire complet expose sans doute à quoi un schéma de versionnage devrait ressembler et à quel point il devrait être détaillé, mais à partir du seul résumé nous ne pouvons juger du degré de concrétude de la proposition.
La question plus difficile que le résumé ne peut trancher est l'application. Des numéros de version clairs aideraient manifestement régulateurs et chercheurs, mais les fournisseurs ont peu d'intérêt commercial à exposer chaque changement, et un schéma que nul n'est tenu de suivre peut ne pas s'imposer. Que cela devienne une norme ou un vœu bien argumenté dépend de quelque chose d'extérieur à l'article : que des régulateurs ou de grands clients fassent du versionnage stable une condition pour faire affaire. Pour l'instant, la valeur est de nommer le problème avec précision, première étape nécessaire même si la solution n'est pas encore en vue.