NVIDIA wordt door kenners wel eens een softwarebedrijf genoemd omdat ze hun zogenaamde moat - een slotgracht die de concurrentie op afstand houdt - voor een groot deel te danken hebben aan CUDA, een closed-source software-ecosysteem dat gebruikt wordt om NVIDIA GPU’s te programmeren.
Het gevolg is dat eens je in het CUDA-ecosysteem zit, het moeilijk is om daar weer uit te geraken. Dit geldt zeker en vast ook voor LLM’s: zowat alle Python-bibliotheken voor deep learning bevatten standaard functies om CUDA aan te spreken. Als je dit toch op een GPU van bv. AMD wil laten draaien, dan kost je dat extra tijd en inspanning. De concurrenten gooien er dus miljarden tegenaan om die hegemonie te doorbreken met een open source concurrent:
Engineers at some of Nvidia’s biggest customers are taking aim at Cuda by helping to develop Triton, software that was first released by OpenAI in 2021 and designed to make code run software on a wide range of AI chips. Meta, Microsoft and Google, which have all spent tens of billions of dollars on Nvidia chips, are contributing to Triton at the same time as producing their own AI chips.