COMPL-AI identifie des lacunes de conformité critiques dans les modèles DeepSeek en vertu de la loi européenne sur l’IA

Cette évaluation, réalisée par LatticeFlow AI, révèle que les modèles distillés par DeepSeek sont à la traîne des modèles propriétaires en matière de cybersécurité et de partialité, tout en excellant dans la prévention de la toxicité

ZURICH--(BUSINESS WIRE)--COMPL-AI, le premier cadre d’évaluation des modèles d’IA générative dans le cadre de la loi européenne sur l’IA, a mis en évidence des lacunes de conformité critiques dans les modèles distillés de DeepSeek. Bien que ces modèles excellent dans la prévention de la toxicité, ils ne sont pas à la hauteur dans des domaines réglementaires clés, notamment les vulnérabilités en matière de cybersécurité et les défis liés à l’atténuation des biais, ce qui soulève des inquiétudes quant à leur capacité à être utilisés en production par les entreprises.

Développé par l’ETH Zurich, l’INSAIT et LatticeFlow AI, COMPL-AI est le premier cadre centré sur la conformité qui traduit les exigences réglementaires en vérifications techniques exploitables. Il fournit des évaluations indépendantes et systématiques des modèles de fondation publique des principales organisations d’IA, y compris OpenAI, Meta, Google, Anthropic, Mistral AI et Alibaba, aidant les entreprises à évaluer leur conformité à la loi sur l’IA de l’UE.

Principales conclusions de l’évaluation de la conformité de DeepSeek

En s’appuyant sur COMPL-AI, LatticeFlow AI a évalué la conformité à la loi européenne sur l’IA de deux modèles distillés de DeepSeek :

- DeepSeek R1 8B (basé sur Llama 3.1 8B de Meta)
- DeepSeek R1 14B (basé sur Qwen 2.5 14B d’Alibaba)

L’évaluation a comparé ces modèles DeepSeek aux principes réglementaires de la loi européenne sur l’IA, en comparant leurs performances non seulement à leurs modèles de base, mais aussi aux modèles d’OpenAI, de Google, d’Anthropic et de Mistral AI, qui figurent tous sur le tableau de bord de COMPL-AI.

Principales conclusions :

• Lacunes en matière de cybersécurité : les modèles DeepSeek évalués se classent au dernier rang du classement en matière de cybersécurité et présentent des risques accrus de détournement d’objectif et de protection contre les fuites d’informations par rapport à leurs modèles de base.
• Biais accru : les modèles DeepSeek se classent en dessous de la moyenne dans le classement pour la partialité et présentent une partialité significativement plus élevée que leurs modèles de base.
• Bon contrôle de la toxicité : les modèles DeepSeek évalués obtiennent de bons résultats en matière d’atténuation de la toxicité, surpassant leurs modèles de base.

(Les résultats complets de l’évaluation de DeepSeek sont disponibles sur https://compl-ai.org).

« Alors que les exigences en matière de gouvernance de l’IA se renforcent, les entreprises doivent établir un lien entre la gouvernance interne de l’IA et la conformité externe avec des évaluations techniques pour évaluer les risques et s’assurer que leurs systèmes d’IA peuvent être déployés en toute sécurité à des fins commerciales », déclare Petar Tsankov, directeur général et cofondateur de LatticeFlow AI « Notre évaluation des modèles DeepSeek souligne un défi croissant : bien que des progrès aient été réalisés dans l’amélioration des capacités et la réduction des coûts d’inférence, on ne peut pas ignorer les lacunes critiques dans des domaines clés qui ont un impact direct sur les risques commerciaux : la cybersécurité, les préjugés et la censure. Avec COMPL-AI, nous nous engageons à servir la société et les entreprises avec une approche complète, technique et transparente de l’évaluation et de l’atténuation des risques liés à l’IA. »

À propos de COMPL-AI

COMPL-AI propose la première interprétation technique de la loi européenne sur l’IA ainsi qu’un cadre open source s’appuyant sur 27 critères de référence de pointe pour l’évaluation des LLM au regard des exigences réglementaires. Il a déjà été utilisé pour évaluer les modèles d’OpenAI, de Meta, de Google, d’Anthropic et d’Alibaba, ce qui a permis d’obtenir des informations sans précédent sur leur degré de conformité.

À propos de LatticeFlow AI

LatticeFlow AI permet aux entreprises de s’assurer que les systèmes d’IA sont performants, fiables et conformes. En tant que pionnier des évaluations de l’IA, LatticeFlow AI a développé COMPL-AI, le premier cadre d’évaluation de la conformité à la loi européenne sur l’IA au monde, développé en partenariat avec l’ETH Zurich et l’INSAIT. Reconnue mondialement pour son impact, LatticeFlow AI a reçu le US Army Global Award et a été nommée sur la liste AI100 de CB Insights des entreprises d’IA les plus innovantes au monde.

Le texte du communiqué issu d’une traduction ne doit d’aucune manière être considéré comme officiel. La seule version du communiqué qui fasse foi est celle du communiqué dans sa langue d’origine. La traduction devra toujours être confrontée au texte source, qui fera jurisprudence.