Viele Firmen kaufen AI-Kapazität, die sie gar nicht nutzen

Der AI-Infrastrukturmarkt hat ein seltsames Problem: Viele Unternehmen haben sich teure GPU-Kapazität gesichert, nutzen sie aber erstaunlich wenig. In einer Befragung von 385 Verantwortlichen für AI in Unternehmen sagen 79 Prozent der Firmen mit AI im Produktivbetrieb, dass ihre GPUs mindestens die Hälfte der Zeit brachliegen.

Das ist keine kleine Effizienzschwäche. Das ist ein Warnsignal. Denn GPUs gehören zu den teuersten Bausteinen moderner IT-Infrastruktur. Wer solche Systeme anschafft oder reserviert und sie dann über weite Strecken nicht auslastet, zeigt vor allem eins: Der Markt hat auf Knappheit und Hype schneller reagiert als auf den realen Bedarf.

Noch auffälliger wird es beim Blick auf die Investitionspläne. 70 Prozent dieser Unternehmen wollen innerhalb eines Jahres neue AI-Infrastruktur anschaffen. 90 Prozent prüfen dafür Angebote aus der Cloud sowie Dienste von Modellanbietern wie OpenAI und Anthropic. Nur 8 Prozent ziehen eigene GPU-Cluster in Betracht.

Das spricht für eine klare Verschiebung. Viele Firmen wollen sich nicht tiefer an den Betrieb eigener AI-Systeme binden. Sie kaufen lieber Zugang, Flexibilität und die Hoffnung, bei der nächsten AI-Welle nicht abgehängt zu werden. Wirtschaftlich ist das nachvollziehbar. Operativ wirkt es trotzdem wie ein Markt, der an mehreren Stellen doppelt zahlt: einmal für reservierte Rechenleistung, ein weiteres Mal für externe Modellaufrufe.

Genau hier liegt der interessante Widerspruch. Wer GPUs im Haus oder in reservierten Umgebungen hat, nutzt für viele Anwendungsfälle trotzdem externe Frontier-Modelle. Dann laufen Kosten für Infrastruktur und Token parallel. Das ist kein sauberer Plattformaufbau, sondern oft eine Übergangsphase ohne klare Zielarchitektur.

Dass es auch anders geht, zeigt ein Detail aus der Befragung. Unternehmen mit eigener AI-Architektur halten ihre Systeme besser beschäftigt. In dieser Gruppe berichten 56 Prozent von mindestens zur Hälfte ungenutzten GPUs. Bei anderen Firmen im Produktivbetrieb sind es 83 Prozent. Das ist immer noch kein Ruhmesblatt. Aber der Abstand ist groß genug, um eine einfache Schlussfolgerung zuzulassen: Wer seine Workloads, Modelle und Betriebsprozesse selbst stärker kontrolliert, bekommt die vorhandene Rechenleistung eher sinnvoll ausgelastet.

Für die Branche ist das unangenehm, weil es den großen AI-Erzählungen widerspricht. Seit Monaten dominiert die Vorstellung, dass mehr GPUs fast automatisch mehr AI-Wert schaffen. Die Zahlen deuten eher auf das Gegenteil: Viele Unternehmen haben zuerst Kapazität organisiert und suchen erst danach nach einer stabilen, wirtschaftlichen Nutzung.

Das heißt nicht, dass AI-Investitionen pauschal fehlgeleitet sind. Es heißt aber, dass ein Teil des Markts noch immer im Vorratsmodus arbeitet. Aus Angst vor Engpässen wurde Infrastruktur aufgebaut, bevor Prozesse, Anwendungen und Zuständigkeiten wirklich nachgezogen haben.

Für CIOs und AI-Verantwortliche ist die Lektion ziemlich klar. Mehr Hardware ist nicht automatisch die nächste logische Stufe. Erst wenn klar ist, welche Modelle wo laufen, welche Lasten regelmäßig anfallen und ob Cloud-Dienste oder eigene Systeme besser passen, ergibt neue Infrastruktur überhaupt Sinn. Sonst wächst nur der Maschinenpark, nicht der Ertrag.

Der AI-Boom ist damit nicht widerlegt. Aber er wirkt an vielen Stellen überversorgt, schlecht abgestimmt und teuer erkauft. Genau das macht diese Zahlen so aufschlussreich.