OpenAI zegt ontevreden te zijn met Nvidia inference-hardware, kijkt nu naar AMD, Cerebras, Groq

OpenAI is niet langer tevreden met de AI-chips van Nvidia, vooral als het gaat om de snelheid waarmee ze gebruikers kunnen beantwoorden. Het bedrijf begon vorig jaar naar andere opties te zoeken en voert nu gesprekken met AMD, Cerebras, en had zelfs gesprekken met Groq voordat dat stopgezet werd.

Deze spanning werd werkelijk voelbaar toen OpenAI zich realiseerde dat de chips van Nvidia niet snel genoeg waren voor specifieke taken zoals het schrijven van code en het afhandelen van software-naar-software taken.

Een insider zou hebben gezegd dat OpenAI nieuwe chips wil om voortaan minstens 10% van zijn inferentiebehoeften af te handelen. Dat is het deel waar de AI gebruikers antwoordt, niet het deel waar het dingen leert.

OpenAI wil snellere chips voor codering en gebruikersreacties

Het grootste deel van OpenAI's huidige werk draait nog steeds op Nvidia, maar achter de schermen test het chips die alles sneller kunnen maken.

Dit omvat chips met SRAM, wat dingen versnelt door geheugen direct naast de processor te plaatsen. Nvidia en AMD gebruiken nog steeds geheugen dat buiten de chip zit, wat dingen vertraagt.

Mensen binnen OpenAI wezen naar Codex, de tool die code schrijft, als de plaats waar de traagheid het grootste probleem was. Sommige medewerkers gaven zelfs de hardware van Nvidia de schuld van de zwakke prestaties. In een persconferentie op 30 januari zei OpenAI CEO Sam Altman: "Klanten die onze coderingsmodellen gebruiken, zullen veel waarde hechten aan snelheid voor codeerwerk."

Sam voegde toe dat gewone ChatGPT-gebruikers niet zoveel om snelheid geven, maar voor ontwikkelaars en bedrijven telt elke seconde. Hij zei dat OpenAI net een deal had gesloten met Cerebras om de snelheid te helpen verhogen.

Tegelijkertijd behalen bedrijven zoals Anthropic en Google betere resultaten met hun eigen chips. Google's TPU's zijn speciaal gebouwd voor het soort werk dat inferentie nodig heeft. Dat heeft ze sneller gemaakt in het reageren, vooral voor modellen zoals Claude en Gemini.

OpenAI-Groq gesprekken gestopt na Nvidia licentiedeal

OpenAI had ook gesprekken met Groq, een andere startup die snelle chips bouwt, maar die gesprekken kwamen niet ver. Nvidia kwam tussenbeide en tekende een licentiedeal van $20 miljard met Groq. Dat gaf Nvidia toegang tot de ontwerpen van Groq en maakte een einde aan OpenAI's plannen om met hen samen te werken.

Een bron dicht bij de situatie zei dat de chips van Groq precies gebouwd waren voor wat OpenAI nodig had. Maar zodra Nvidia de deal binnenhaalde, ging die deur dicht. Hoewel de licentie niet-exclusief was, richt Groq zich nu op cloud-gebaseerde software, en Nvidia nam enkele chipontwerpers van Groq over.

Cerebras daarentegen zei nee toen Nvidia hen probeerde te kopen. In plaats daarvan sloten ze hun eigen deal met OpenAI. Groq kreeg ook investeringsaanbiedingen die de waarde op ongeveer $14 miljard zetten, maar dat is nu veranderd sinds het verbonden is met Nvidia.

OpenAI heeft Nvidia niet volledig verlaten. In een publieke verklaring zei een woordvoerder: "We vertrouwen op Nvidia om het overgrote deel van onze inferentievloot aan te drijven," en noemde hun prestaties per dollar de beste op de markt. Nvidia zei ook: "Klanten blijven Nvidia kiezen voor inferentie omdat we de beste prestaties en totale eigendomskosten op schaal leveren."

$100 miljard Nvidia investeringsdeal zit nog steeds vast in onzekerheid

Vorig jaar zei Nvidia dat het van plan was tot $100 miljard in OpenAI te investeren. Dat geld was bedoeld om OpenAI te helpen meer geavanceerde chips te kopen, en in ruil daarvoor zou Nvidia een belang in het bedrijf krijgen. Reuters zei dat de deal over een paar weken zou worden afgerond. Dat is nog steeds niet gebeurd.

Terwijl die deal vastliep, ging OpenAI door en tekende overeenkomsten met AMD en anderen om chips te testen die rechtstreeks met die van Nvidia konden concurreren. Maar naarmate OpenAI zijn productplannen wijzigde, veranderde ook het soort hardware dat het nodig had. Dat vertraagde de gesprekken nog meer, zei iemand die vertrouwd is met de situatie.

Op zaterdag werd Nvidia CEO Jensen Huang gevraagd naar de wrijving. Hij zei: "Dat is onzin," en hield vol dat Nvidia nog steeds van plan is groot te investeren in OpenAI. Maar achter de schermen is het duidelijk dat beide partijen hun opties verkennen.

Tegelijkertijd is Nvidia op zoek geweest naar nieuwe chipideeën. Het nam contact op met zowel Cerebras als Groq om te zien of ze open zouden staan voor overname. Cerebras wees dat af en verdubbelde hun deal met OpenAI.

Op dit moment gebruikt OpenAI GPT4o om de meeste van zijn diensten aan te drijven. Maar zoals de zaken zich ontwikkelen, zal ten minste een deel van dat werk in de nabije toekomst draaien op chips van AMD of Cerebras. Het bedrijf probeert Nvidia niet volledig te dumpen, maar het is duidelijk dat het meer controle wil over hoe snel zijn systemen werken.

Verscherp uw strategie met mentorschap + dagelijkse ideeën - 30 dagen gratis toegang tot ons handelsprogramma