Axelera AI onthult Titania-architectuur: AI-reactiesnelheid van HPC-klasse zonder vloeistofgekoelde racks, gericht op een onderbediende markt van $110 miljard

Architectuur van de derde generatie, ontworpen om de prestaties te leveren van een server van datacenterniveau voor een kostprijs en vermogenbudget lager dan een RTX6000-server, die past in de racks waarover bedrijven en labo's al beschikken

EINDHOVEN, Nederland--(BUSINESS WIRE)--Axelera AI, de toonaangevende aanbieder van specifiek ontwikkelde technologie om AI-hardware te versnellen, onthulde de details achter Titania, de derde generatie siliciumarchitectuur van het bedrijf in een chiplet-ontwerp. Titania is sterk programmeerbaar en zeer energie-efficiënt, en zal hoogwaardige prestaties op interactieve snelheid leveren, allemaal binnen de vermogen- en koelingslimieten van bestaande datacenters, in plaats van de 100-kilowatt-plus vloeistofgekoelde racks die de GPU-systemen van de hoogste densiteit van vandaag vereisen.

De verwachtingen op het vlak van prestaties voor Titania lopen op tot 7x de doorvoer per watt in vergelijking met de beste servers van datacenterniveau die momenteel beschikbaar zijn, en tot 20x betere TCO. Elke op Titania gebaseerde SiP (system-in-package) zal twee Titania chiplets bevatten die dan verpakt zijn in een reeks vormfactoren, waaronder standaard PCIe-kaarten en OCP-conforme UBB baseboards met acht Titania OAM-modules verbonden in een scale-upnetwerk. Ter ondersteuning van meer dan $300 miljoen aan bevestigde Titania-toezeggingen, zullen deze vormfactoren via OEM-partners beschikbaar zijn in een inferentieserverconfiguratie, zowel in luchtgekoelde als in vloeistofgekoelde configuraties.

Titania is gestoeld op de programmeerbaarheid, prestaties en efficiëntie van zijn voorgangers, Metis en Europa, en breidt de productlijn van geïntegreerde, edge en Enterprise AI naar grootschalige datacenterinferentie verder uit. Ontworpen voor interactieve en zeer variabele AI-workloads van ondernemingen, soevereine clouds, gedecentraliseerde en modulaire datacenters, telecommunicatiebedrijven en AI factory's, combineert Titania Axelera AI's sterk presterende, energie-efficiënte D-IMC-architectuur (Digital In-Memory Computing) met een nieuw, op chiplets gebaseerd ontwerp, LPDDR6-geheugen met grote capaciteit, scale-upconnectiviteit met grote bandbreedte en programmeerbare RISC-V compute in één enkele package. Titania is beschikbaar in verschillende vormfactoren, waaronder sectorstandaard PCIe-kaarten maar ook OCP-conforme boards, waarmee het klanten de flexibiliteit biedt om aan hun inferentiebehoeften te voldoen. Ondersteund via de Voyager toolchain, zullen de Titania-implementaties tensor-, expert- en pijplijnparallellisme ondersteunen, evenals speculatieve decodering, KV cache offloading en kant-en-klare desaggregatie. In de praktijk betekent dit dat grote modellen elke kaart in de servers gebruiken, elke gebruiker krijgt sneller tokens en operatoren krijgen nuttiger werk per kilowatt van de rack die zij al bezitten.

“De grootste uitdaging waarmee organisaties geconfronteerd worden nu inferentie de dominante AI-workload wordt, is de tokenomics van hun infrastructuur,” verklaart Fabrizio Del Maffeo, medeoprichter en CEO van Axelera AI. “Voor ondernemingen wordt het bijna onmogelijk om hun eigen AI-infrastructuur te bezitten wegens hoge investeringsuitgaven, onder andere voor het heruitbouwen van hun datacentervoetafdruk. Daarom maken ze een keuze tussen een server die enkel kleine of middelgrote modellen kan berekenen ofwel meer dan een miljoen dollar betalen voor een datacenterserver die gespecialiseerde infrastructuur vereist. Titania lost dit probleem op en geeft ondernemingen, neoclouds, telecommunicatiebedrijven en soevereine clouds de kans om zelf hun eigen inferentie-infrastructuur te bezitten en aan te sturen en daar voordeel uit te halen.”

Ontworpen voor de infrastructuur die klanten al bezitten

Titania is gebaseerd op de D-IMC-architectuur die voor het eerst geïntroduceerd werd met Axelera AI's Metis-platform en die werd uitgebreid met Europa, verbeterd met zwevendekomma-ondersteuning, meer en kleinere cores, en betere coördinatie van gegevensverplaatsing om uitzonderlijke prestaties voor generatieve AI en datacenterschaal te leveren.

Dankzij de zeer efficiënte gegevensverplaatsing en compute engine van de Titania-architectuur, kan het betaalbare, makkelijk verkrijgbaar LPDDR6-geheugen gebruiken in plaats van te vertrouwen op schaarse HBM (High-Bandwidth Memory). LPDDR6 geeft elke package 128 GB capaciteit met lager geheugenverbruik dan HBM, terwijl elke vorm van afhankelijkheid van HBM-aanbod of packagingvereisten wordt vermeden. Sparse mixture-of-experts modellen zijn groot qua totale parameters maar klein qua actieve parameters, waardoor geheugencapaciteit en doeltreffend gebruik meer van tel zijn dan piekbandbreedte als het niet wordt gebruikt. Het resultaat is een platform ontworpen om sterk presterende inferentie te leveren, terwijl het vereisten op het vlak van vermogen, koeling en infrastructuur vermindert.

Titania zal opschalen van PCIe-kaarten voor standaardservers en OAM-modules naar multi-accelerator servers en grotere AI-infrastructuurimplementaties. Een acht SiP accelerator Titania-referentieserver (met codenaam AX8) is ontworpen om 20 PFLOPS FP8-compute, 1 TB acceleratorgeheugen en 19,6 TB/s geheugenbandbreedte te leveren in een standaard 4U, luchtgekoelde server, doorgaanns met 5-6 kW, zodat grote AI-modellen in de vermogen- en koelomgevingen van bestaande datacenters kunnen worden uitgevoerd. Eén Axelera-server zal een model met 1,6 biljoen parameters op FP4 bevatten met vrije geheugenruimte voor de KV-cache, twee fit in een gebruikelijke 15 kW rack en vijf fit in een 30 kW luchtgekoelde rack.

“We vragen niemand om een simulator te vertrouwen,” aldus Evangelos Eleftheriou, CTO en medeoprichter van Axelera AI. “De architectuur achter Titania zet al 88 procent van zijn geheugenbandbreedte om in tokens op Europa-silicium dat vandaag wordt verzonden, en Titania bouwt op die capabiliteit als de derde generatie van onze architectuur. Het gaat niet gewoonweg om piekrekenkracht te maximaliseren. Het gaat erom hoe efficiënt we vermogen, geheugen en infrastructuur in nuttige AI-prestaties op schaal kunnen omzetten.”

Eén architectuur en softwarebasis van edge tot datacenter

Titania is Axelera AI's technologie voor AI-versnelling van de derde generatie, na Metis (geoptimaliseerd voor prestaties en energie-efficiëntie) en Europa, die de architectuur van het bedrijf uitbreidde naar Enterprise AI-infrastructuur.

Dezelfde Voyager SDK en AxeleraScript (AxScript) softwarebasis is in alle drie generaties te vinden, waarmee klanten vandaag AI-toepassingen op Axelera AI-technologie kunnen ontwikkelen en optimaliseren, en die workloads verder kunnen uitwerken naarmate de portfolio uitbreidt. De Titania PCIe-kaart is ontworpen als een drop-in vervanging voor de Axelera Server 250p (een FHFL four-chip Europa-kaart), zodat modellen vandaag ontplooid op Europa in 2028 naar Titania overstappen zonder opnieuw te porteren.

Eén kaart dient voor LLM's, vision-language modellen en video: on-chip 8K decode en 4K encode met H.265 en AV1 codecs nemen de host-CPU-kosten van videopijplijnen weg, zodat één enkel Axelera AI-systeem taal, spraak en visiemodellen samen met live video kan uitvoeren.

Titania zal in verschillende vormfactoren worden aangeboden, met OEM- en ODM-partners die de technologie in servers en grotere systemen integreren. Axelera AI’s Titania gaat in het derde kwartaal van 2027 in productie en heeft al klantverbintenissen voor implementatie tot begin 2028.

Ontworpen in Europa, vertrouwd over de hele wereld

Titania is ontworpen in Europa met steun van het DARE-initiatief van EuroHPC Joint Undertaking. Het breidt Axelera AI's missie uit om sterk presterende, energie-efficiënte AI-infrastructuur toegankelijker te maken voor ondernemingen, cloudproviders, overheden en exploitanten van AI-infrastructuur over de hele wereld.

Axelera AI zal een diepere technische blik op de Titania-architectuur bieden tijdens SC26 van 15 tot 19 november in Chicago, IL., op stand 3251 in McCormick Place. Boek hier een afspraak met Axelera.

Over Axelera AI

Axelera AI is het vooraanstaande Europese bedrijf gespecialiseerd in AI-halfgeleiders die hardware voor versnelling van AI van de volgende generatie ontwikkelt voor edge computing en datacentertoepassingen. Met een architectuur die in de eerste plaats op efficiëntie mikt en de kritieke energie- en koelingsvereisten van AI aanpakt, werd Axelera AI geïmplementeerd bij meer dan 600 klanten, waaronder klanten in telecommunicatie, luchtvaart en bedrijfssectoren. De platformen van het bedrijf gebaseerd op Metis-, Europa- en Titania-architectuur leveren sterk presterende AI-inferentieoplossingen die implementatie op schaal mogelijk maken binnen concrete budgetten voor vermogen en thermische vereisten. Via zijn Partner Accelerator Network en Voyager SDK verschaft Axelera AI een complete ecosysteembenadering die toegankelijkheid en snelle implementatie verzekert.

Deze bekendmaking is officieel geldend in de originele brontaal. Vertalingen zijn slechts als leeshulp bedoeld en moeten worden vergeleken met de tekst in de brontaal, die als enige rechtsgeldig is.