Sept étapes pour assurer la visibilité de la chaîne d’approvisionnement de l’IA – avant qu’une violation ne force le problème

Quatre applications d’entreprise sur dix comporteront agents d’IA spécifiques à des tâches cette année. Pourtant, les recherches menées dans le cadre du rapport sur l’indice 2025 de l’université de Stanford montrent qu’un simple 6% des organisations avoir une stratégie avancée de sécurité de l’IA en place.

Palo Alto Networks prédit que 2026 apportera les premiers procès majeurs tenant les dirigeants personnellement responsables des actions malveillantes de l’IA. De nombreuses organisations se demandent comment contenir la nature accélérée et imprévisible des menaces liées à l’IA. La gouvernance ne répond pas aux solutions rapides comme des budgets plus importants ou une augmentation des effectifs.

Il existe un manque de visibilité quant à la façon dont, où, quand et par quels flux de travail et outils les LLM sont utilisés ou modifiés. Un RSSI a déclaré à VentureBeat que les SBOM modèles constituent aujourd’hui le Far West de la gouvernance. Sans visibilité sur les modèles qui s’exécutent et à quel endroit, la sécurité de l’IA se réduit à des conjectures et la réponse aux incidents devient impossible.

Au cours des dernières années, le gouvernement américain a poursuivi une politique consistant à rendre obligatoires les SBOM pour tous les logiciels acquis en vue de leur utilisation. Les modèles d’IA en ont davantage besoin, et le manque d’amélioration constante dans ce domaine constitue l’un des risques les plus importants de l’IA.

Le manque de visibilité est la vulnérabilité

Harness a interrogé 500 professionnels de la sécurité aux États-Unis, au Royaume-Uni, en France et en Allemagne. Les résultats devraient alarmer tous les RSSI : 62 % de leurs pairs n’ont aucun moyen de savoir où les LLM sont utilisés dans leur organisation. Il est nécessaire de faire preuve de plus de rigueur et de transparence au niveau du SBOM pour améliorer la traçabilité des modèles, l’utilisation des données, les points d’intégration et les modèles d’utilisation par département.

Les entreprises continuent de connaître des niveaux croissants de injection rapide (76 %), code LLM vulnérable (66 %) et jailbreak (65 %). Il s’agit là des risques et des méthodes d’attaque les plus mortels que les adversaires utilisent pour exfiltrer tout ce qu’ils peuvent des efforts de modélisation d’IA et de LLM d’une organisation. Malgré des millions dépensés en logiciels de cybersécurité, de nombreuses organisations ne voient pas les efforts d’intrusion de ces adversaires, car ils se cachent dans des techniques de survie et des attaques comparables non traçables par les systèmes de périmètre existants.

« Shadow AI est devenu le nouvel angle mort des entreprises », a déclaré Adam Arellano, Field CTO chez Harnais. « Les outils de sécurité traditionnels ont été conçus pour du code statique et des systèmes prévisibles, et non pour des modèles d’apprentissage adaptatifs qui évoluent quotidiennement. »

Rapport IBM sur le coût d’une violation de données pour 2025 quantifie le coût, constatant que 13 % des organisations ont signalé des violations de modèles ou d’applications d’IA l’année dernière. Parmi les violations, 97 % ne disposaient pas de contrôles d’accès par l’IA. Une violation signalée sur cinq était due à IA de l’ombre ou une utilisation non autorisée de l’IA. Les incidents Shadow AI coûtent 670 000 $ de plus que leurs homologues d’intrusion de base comparables. Lorsque personne ne sait quels modèles s’exécutent et où, la réponse aux incidents ne peut pas en évaluer l’impact.

Pourquoi les SBOM s’arrêtent au fichier modèle

Décret exécutif 14028 (2021) et le mémorandum OMB M-22-18 (2022) exigent des SBOM logiciels pour les fournisseurs fédéraux. Cadre de gestion des risques liés à l’IA du NISTpublié en 2023, appelle explicitement aux AI-BOM dans le cadre de sa fonction « Map », reconnaissant que les SBOM logiciels traditionnels ne capturent pas les risques spécifiques au modèle. Mais les dépendances logicielles sont résolues au moment de la construction et restent fixes.

À l’inverse, les dépendances du modèle se résolvent au moment de l’exécution, récupérant souvent les poids des points de terminaison HTTP lors de l’initialisation, et mutent continuellement grâce au recyclage, à la correction de dérive et aux boucles de rétroaction. Adaptateurs LoRA modifier les poids sans contrôle de version, ce qui rend impossible le suivi de la version du modèle réellement utilisée en production.

Voici pourquoi cela est important pour les équipes de sécurité : Lorsque les modèles d’IA sont enregistrés dans format cornichonles charger revient à ouvrir une pièce jointe à un e-mail qui exécute du code sur votre ordinateur, sauf que ces fichiers, agissant comme des pièces jointes, sont approuvés par défaut dans les systèmes de production.

Un modèle PyTorch enregistré de cette manière est un bytecode Python sérialisé qui doit être désérialisé et exécuté pour charger. Lorsque torch.load() s’exécute, les opcodes pickle s’exécutent séquentiellement. Tout appelable intégré dans le flux se déclenche. Ceux-ci incluent généralement os.system(), les connexions réseau et les shells inversés.

Tenseurs sûrsun format alternatif qui stocke uniquement les données de tenseur numérique sans code exécutableaborde les risques inhérents au cornichon. Néanmoins, la migration signifie réécrire les fonctions de chargement, revalider la précision du modèle et potentiellement perdre l’accès aux modèles existants là où le code de formation d’origine n’existe plus. C’est l’un des principaux facteurs qui freinent l’adoption. Dans de nombreuses organisations, il ne s’agit pas seulement d’une politique, mais d’un effort d’ingénierie.

Les fichiers de modèles ne sont pas des artefacts inertes : ce sont des points d’entrée exécutables dans la chaîne d’approvisionnement.

Des normes existent et sont en place depuis des années, mais leur adoption continue de prendre du retard. CycloneDX 1.6 ajouté ML-BOM prise en charge en avril 2024. SPDX 3.0, sorti en avril 2024, incluait des profils IA. Les ML-BOM complètent mais ne remplacent pas les cadres de documentation tels que les cartes modèles et les fiches techniques pour les ensembles de données, qui se concentrent sur les attributs de performance et la formation à l’éthique des données plutôt que de faire de la provenance de la chaîne d’approvisionnement une priorité. VentureBeat continue de constater un retard d’adoption à mesure que ce domaine devient une menace existentielle pour les modèles et les LLM.

Une enquête Lineaje de juin 2025 ont constaté que 48 % des professionnels de la sécurité admettent que leur organisation est en retard par rapport aux exigences SBOM. L’adoption du ML-BOM est nettement inférieure.

Conclusion: L’outillage existe. Ce qui manque, c’est l’urgence opérationnelle.

Les AI-BOM permettent la réponse, pas la prévention

Les AI-BOM sont des analyses médico-légales, pas des pare-feu. Lorsque ReversingLabs a découvert des modèles compromis par nullifAI, la provenance documentée aurait immédiatement identifié les organisations qui les avaient téléchargés. C’est une information inestimable pour la réponse aux incidents, mais pratiquement inutile pour la prévention. La budgétisation de la protection des AI-BOM doit prendre en compte ce facteur.

L’écosystème d’outils ML-BOM évolue rapidement, mais les SBOM logiciels n’en sont pas encore là. Des outils comme Syft et Trivy génèrent des inventaires logiciels complets en quelques minutes. Les outils ML-BOM sont plus précoces dans cette courbe. Les fournisseurs proposent des solutions, mais l’intégration et l’automatisation nécessitent encore des étapes supplémentaires et davantage d’efforts. Les organisations qui débutent aujourd’hui peuvent avoir besoin de processus manuels pour combler les lacunes.

Les AI-BOM n’arrêteront pas l’empoisonnement du modèle, car cela se produit pendant la formation, souvent avant qu’une organisation ne télécharge le modèle. Ils ne bloqueront pas non plus l’injection rapide, car cette attaque exploite ce que fait le modèle, et non son origine. La prévention nécessite des défenses d’exécution qui incluent la validation des entrées, des pare-feu d’invite, le filtrage des sorties et la validation des appels d’outils pour les systèmes agents. Les AI-BOM sont des outils de visibilité et de conformité. Précieux, mais ne remplace pas la sécurité d’exécution. Les RSSI et les responsables de la sécurité s’appuient de plus en plus sur les deux.

La surface d’attaque ne cesse de s’étendre

Rapport 2025 sur la chaîne d’approvisionnement logicielle de JFrog a documenté plus d’un million de nouveaux modèles sur Hugging Face rien qu’en 2024, avec un Les modèles malveillants ont été multipliés par 6,5. D’ici avril 2025, les analyses de Protect AI 4,47 millions de versions de modèles a détecté 352 000 problèmes dangereux ou suspects sur 51 700 modèles. La surface d’attaque s’est étendue plus rapidement que la capacité de quiconque de la surveiller.

Début 2025, ReversingLabs a découvert des modèles malveillants en utilisant "nullifAI" techniques d’évasion qui ont contourné la détection de Picklescan. Hugging Face a répondu dans les 24 heures, supprimant les modèles et mettant à jour Picklescan pour détecter des techniques d’évasion similaires, démontrant que la sécurité de la plateforme s’améliore, même si la sophistication des attaquants augmente.

« De nombreuses organisations adoptent avec enthousiasme les modèles publics de ML pour favoriser une innovation rapide. » dit Yoav Landman, CTO et co-fondateur de JFrog. “Cependant, plus d’un tiers s’appuient encore sur des efforts manuels pour gérer l’accès à des modèles sécurisés et approuvés, ce qui peut conduire à des oublis potentiels.”

Sept étapes pour la visibilité de la chaîne d’approvisionnement de l’IA

L’écart entre les heures et les semaines dans la réponse aux incidents de la chaîne d’approvisionnement de l’IA se résume à la préparation. Les organisations disposant d’une visibilité intégrée avant la violation disposent des informations nécessaires pour réagir avec plus de précision et de rapidité. Ceux qui ne se bousculent pas. Aucun des éléments suivants ne nécessite un nouveau budget – seulement la décision de traiter la gouvernance des modèles d’IA avec autant de sérieux que la sécurité de la chaîne d’approvisionnement logicielle.

1. Engagez-vous à créer un inventaire modèle et à définir des processus pour le maintenir à jour. Sondez les équipes de la plateforme ML. Analysez les dépenses cloud pour SageMaker, Sommet AI, et substrat rocheux usage. Revoir Visage câlin téléchargements dans les journaux réseau. Une feuille de calcul fonctionne : nom du modèle, propriétaire, classification des données, emplacement de déploiement, source et date de la dernière vérification. Vous ne pouvez pas sécuriser ce que vous ne pouvez pas voir.

2. Utilisez à fond des techniques avancées pour gérer et rediriger IA de l’ombre utilisez des applications, des outils et des plates-formes sécurisées. Sondez chaque département. Vérifiez les clés API dans les variables d’environnement. Réalisez que les équipes de comptabilité, de finance et de conseil peuvent disposer d’applications d’IA sophistiquées avec plusieurs API reliées directement aux données propriétaires de l’entreprise et les utilisant. L’écart de visibilité de 62 % existe parce que personne ne l’a demandé.

3. Exigez l’approbation humaine pour les modèles de production et concevez toujours des flux de travail avec une intervention humaine. Chaque modèle touchant aux données client nécessite un propriétaire nommé, un objectif documenté et une piste d’audit indiquant qui a approuvé le déploiement. Tout comme le font les équipes rouges d’Anthropic, d’OpenAI et d’autres sociétés d’IA, concevez des processus d’approbation de type humain pour chaque version de modèle.

4. Envisagez de rendre obligatoire SafeTensors pour les nouveaux déploiements. Les changements de politique ne coûtent rien. Tenseurs sûrs stocke uniquement les données de tenseur numériquespas d’exécution de code au chargement. Grand-père existant saumure modèles avec une acceptation des risques documentée et des délais d’expiration.

5. Envisagez de piloter ML-BOM pour les 20 % de modèles de risque les plus élevés en premier. Choisissez ceux qui touchent aux données clients ou prennent des décisions commerciales. Architecture du document, sources de données de formation, lignée du modèle de base, dépendances du framework. Utiliser CycloneDX 1.6 ou SPDX3.0. Commencez immédiatement, si ce n’est déjà fait, en réalisant qu’une provenance incomplète ne vaut rien lorsque des incidents surviennent.

6. Traitez chaque modèle comme une décision de chaîne d’approvisionnement, afin qu’il fasse partie de la mémoire musculaire de votre organisation. Vérifiez les hachages cryptographiques avant le chargement. Cacher les modèles en interne. Bloquez l’accès au réseau d’exécution pour les environnements d’exécution de modèles. Appliquez la même rigueur que celle apprise avec leftpad, event-stream et colours.js.

7. Ajoutez la gouvernance de l’IA aux contrats des fournisseurs lors du prochain cycle de renouvellement. Exigez des SBOM, la provenance des données de formation, la gestion des versions du modèle et les SLA de notification d’incident. Demandez si vos données entraînent les futurs modèles. Ne coûte rien à demander.

2026 sera une année de comptes pour les SBOM IA

La sécurisation des modèles d’IA devient une priorité des conseils d’administration. Le J’AI Acte des interdictions sont déjà en vigueur, avec des amendes atteignant 35 millions d’euros, soit 7 % du chiffre d’affaires mondial. Les exigences SBOM de la loi européenne sur la cyber-résilience commencent cette année. La conformité complète à la loi sur l’IA est requise d’ici le 2 août 2027.

Les compagnies d’assurance cyber surveillent. Compte tenu de la prime de 670 000 $ pour les violations de l’IA fantôme et l’exposition émergente à la responsabilité des dirigeants, on peut s’attendre à ce que la documentation sur la gouvernance de l’IA devienne une exigence politique cette année, tout comme la préparation aux ransomwares est devenue un enjeu de table après 2021.

Le Plugfest d’harmonisation SEI Carnegie Mellon SBOM a analysé 243 SBOM provenant de 21 fournisseurs d’outils pour des logiciels identiques et a trouvé des écarts significatifs dans le nombre de composants. Pour les modèles d’IA avec dépendances intégrées et charges utiles exécutables, les enjeux sont plus importants.

Le premier incident de modèle empoisonné qui coûte sept chiffres en réponse et en amendes démontrera des arguments qui auraient déjà dû être évidents.

Les SBOM logiciels sont devenus obligatoires après que les attaquants ont prouvé que la chaîne d’approvisionnement était la cible la plus facile. Les chaînes d’approvisionnement de l’IA sont plus dynamiques, moins visibles et plus difficiles à contenir. Les seules organisations qui feront évoluer l’IA en toute sécurité sont celles qui créent une visibilité dès maintenant, avant d’en avoir besoin.

Source link