-

DeepSeek-Modelle: COMPL-AI identifiziert kritische Lücken bei der Compliance mit EU-KI-Gesetz

Laut der von LatticeFlow AI erstellten Bewertung bleiben die von DeepSeek destillierten Modelle in den Bereichen Cybersicherheit und Bias hinter den proprietären Modellen zurück, sind jedoch bei der Toxizitätsprävention überragend

ZÜRICH--(BUSINESS WIRE)--COMPL-AI, das erste Framework zur Bewertung der Compliance von GenAI-Modellen mit dem EU-KI-Gesetz, hat kritische Compliance-Lücken in den destillierten Modellen von DeepSeek aufgedeckt. Obwohl diese Modelle bei der Vermeidung von Toxizität hervorragend abschneiden, mangelt es ihnen in wichtigen Regulierungsbereichen, darunter Cybersicherheitslücken und Herausforderungen bei der Vermeidung von Voreingenommenheit (Bias), wodurch Bedenken hinsichtlich ihrer Einsatzfähigkeit in Unternehmen bestätigt werden.

COMPL-AI wurde von der ETH Zürich, INSAIT und LatticeFlow AI entwickelt und ist das erste auf die Einhaltung von Regulierungsvorschriften ausgerichtete Framework, das regulatorische Anforderungen in anwendbare technische Tests übersetzt. Es ermöglicht unabhängige, systematische Bewertungen von öffentlichen Basismodellen führender KI-Anbieter, darunter OpenAI, Meta, Google, Anthropic, Mistral AI und Alibaba, und hilft Unternehmen dabei, ihre Konformitätsbereitschaft im Rahmen des EU-KI-Gesetzes zu überprüfen.

Wichtigste Erkenntnisse aus der Compliance-Bewertung von DeepSeek

Mithilfe von COMPL-AI bewertete LatticeFlow AI die Konformität zweier von DeepSeek destillierter Modelle mit dem EU-KI-Gesetz:

– DeepSeek R1 8B (basiert auf Llama 3.1 8B von Meta)
– DeepSeek R1 14B (basiert auf Qwen 2.5 14B von Alibaba)

Bei der Bewertung wurden diese DeepSeek-Modelle mit den regulatorischen Grundsätzen des EU-KI-Gesetzes verglichen und ihre Performance nicht nur mit ihren Basismodellen, sondern auch mit Modellen von OpenAI, Google, Anthropic und Mistral AI getestet, die alle auf der COMPL-KI-Bestenliste stehen.

Die wichtigsten Ergebnisse sind:

  • Lücken bei der Cybersicherheit: Die bewerteten DeepSeek-Modelle belegen in der Bestenliste für Cybersicherheit die letzten Plätze und weisen im Vergleich zu ihren Basismodellen erhöhte Risiken in Bezug auf das Ziel-Hijacking und den Schutz vor sofortigen Datenlecks auf.
  • Erhöhtes KI-Bias: DeepSeek-Modelle liegen in der Bestenliste für Voreingenommenheit (Bias) unterhalb des Durchschnitts und weisen ein deutlich höheres Bias als ihre Basismodelle auf.
  • Gute Toxizitätskontrolle: Die bewerteten DeepSeek-Modelle schneiden bei der Toxizitätsminderung gut ab und stellen ihre Basismodelle in den Schatten.

(Die vollständigen Ergebnisse der DeepSeek-Bewertung finden Sie unter https://compl-ai.org).

„Angesichts der steigenden Anforderungen an die KI-Governance müssen Unternehmen die interne KI-Governance und die externe Compliance mit technischen Bewertungen abgleichen, um Risiken zu beurteilen und dafür zu sorgen, dass ihre KI-Systeme gefahrlos für den kommerziellen Betrieb eingesetzt werden können“, so Dr. Petar Tsankov, CEO und Mitbegründer von LatticeFlow AI. „Unsere Bewertung der DeepSeek-Modelle verdeutlicht eine wachsende Herausforderung: Zwar wurden Fortschritte bei den Fähigkeiten und der Senkung der Inferenzkosten erzielt, doch dürfen kritische Lücken in Schlüsselbereichen, die sich direkt auf Geschäftsrisiken auswirken – Cybersicherheit, Voreingenommenheit und Zensur – nicht ignoriert werden. Mit COMPL-AI setzen wir uns dafür ein, der Gesellschaft und den Unternehmen mit einem umfassenden, technischen und transparenten Ansatz zur Bewertung und Minderung von KI-Risiken zu dienen.“

Über COMPL-AI

COMPL-AI bietet die erste technische Interpretation des EU-Gesetzes über künstliche Intelligenz und ein Open-Source-Framework, das anhand von 27 modernen Benchmarks die regulatorische Compliance von LLMs bewertet. Das Framework wurde bereits zur Bewertung von Modellen von OpenAI, Meta, Google, Anthropic und Alibaba eingesetzt und lieferte einzigartige Einblicke in deren Compliance-Bereitschaft.

Über LatticeFlow AI

LatticeFlow AI befähigt Unternehmen dazu, die Leistungsfähigkeit, Vertrauenswürdigkeit und Konformität ihrer KI-Systeme sicherstellen. Als Pionier im Bereich KI-Evaluierungen hat LatticeFlow AI COMPL-AI entwickelt – das weltweit erste EU-Framework zur Evaluierung der Compliance mit dem KI-Gesetz, das in Zusammenarbeit mit der ETH Zürich und der INSAIT entwickelt wurde. LatticeFlow AI ist weltweit für seine Leistungen anerkannt und wurde mit dem US Army Global Award ausgezeichnet sowie in die AI100-Liste der weltweit innovativsten KI-Unternehmen von CB Insights aufgenommen.

Die Ausgangssprache, in der der Originaltext veröffentlicht wird, ist die offizielle und autorisierte Version. Übersetzungen werden zur besseren Verständigung mitgeliefert. Nur die Sprachversion, die im Original veröffentlicht wurde, ist rechtsgültig. Gleichen Sie deshalb Übersetzungen mit der originalen Sprachversion der Veröffentlichung ab.

Contacts

Medienanfragen:
Gloria Fernandez, Marketing Director
media@latticeflow.ai
LatticeFlow AI

LatticeFlow AI



Contacts

Medienanfragen:
Gloria Fernandez, Marketing Director
media@latticeflow.ai
LatticeFlow AI

More News From LatticeFlow AI

LatticeFlow AI stellt Suite 2.0 vor, um Leistung, Zuverlässigkeit und Compliance in KI-Systemen zu verbessern

ZÜRICH--(BUSINESS WIRE)--LatticeFlow AI, ein führender Anbieter von Lösungen für den Aufbau vertrauenswürdiger KI-Systeme, hat heute seine Suite 2.0 vorgestellt, um die Leistung, Zuverlässigkeit und Compliance von KI-Systemen zu verbessern. Da die nächste Generation von KI-Systemen von Grund auf so konzipiert werden muss, dass sie vertrauenswürdig und konform ist, schließt die LatticeFlow AI Suite 2.0 kritische Lücken zwischen maschinellen Lernvorgängen, technischer Validierung und regulatorisc...

Die Schweizer Innovationsagentur finanziert LatticeFlow AI für den Aufbau der ersten Plattform, die KI-Governance und technische Bewertungen verbindet

ZÜRICH--(BUSINESS WIRE)--LatticeFlow AI, ein in der Schweiz führendes Unternehmen für vertrauenswürdige, sichere und konforme KI, gab heute bekannt, dass es von der Schweizer Innovationsagentur (Innosuisse) eine Finanzierung in Höhe von rund 3 Mio. USD erhalten hat, um seine innovative KI-Bewertungsplattform voranzutreiben. Als eines von nur 33 Projekten, die aus 373 Bewerbungen im Rahmen der wettbewerbsintensiven Swiss-Accelerator-Initiative ausgewählt wurden, unterstreicht diese Finanzierung...

Die ETH Zürich, INSAIT und LatticeFlow AI führen das erste EU-Rahmenwerk zur Bewertung der Einhaltung des KI-Gesetzes für generative KI ein

ZÜRICH--(BUSINESS WIRE)--Die ETH Zürich, INSAIT und LatticeFlow AI kündigen die Veröffentlichung des ersten Evaluierungsrahmens des EU-KI-Gesetzes für generative KI-Modelle an. Die Veröffentlichung, die unter https://compl-ai.org abrufbar ist, bietet die erste technische Auslegung des EU-KI-Gesetzes, in der regulatorische Anforderungen mit technischen Anforderungen abgeglichen werden, sowie ein kostenloses Open-Source-Rahmenwerk zur Bewertung von Large Language Models (LLMs) im Rahmen dieses Ab...
Back to Newsroom