Der Einstieg in die Implementierung von GenAI beginnt mit einer sorgfältigen Analyse und Optimierung der bestehenden IT-Infrastruktur. Da generative KI auf einer Vielzahl von Datenquellen und rechenintensiven Algorithmen basiert, müssen Netzwerkressourcen, Speicher und Rechenleistung entsprechend skaliert werden. Die Integration von High-Performance-Computing-Clustern oder die Nutzung von cloudbasierten Ressourcen kann notwendig sein, um den Anforderungen gerecht zu werden. Dabei gibt es insbesondere zwei technische Herausforderungen:

• Netzwerkoptimierung: GenAI erfordert hohe Datenübertragungsraten und niedrige Latenzzeiten. Es ist entscheidend, dass das Netzwerk diese Anforderungen erfüllt, indem beispielsweise moderne Netzwerkprotokolle und optimierte Routing-Strategien verwendet werden.
• Speicher- und Rechenressourcen: Die Verarbeitung großer Datenmengen durch GenAI-Modelle erfordert nicht nur umfangreiche Speicherkapazitäten, sondern auch leistungsfähige Rechenressourcen. Die Entscheidung für On-Premises-Lösungen oder die Auslagerung in die Cloud hängen von den spezifischen Anforderungen und der vorhandenen Infrastruktur ab.

Integration von GenAI in bestehende Systeme
Die nahtlose Einbindung von GenAI in bestehende Unternehmenssysteme stellt eine zentrale Voraussetzung für eine erfolgreiche Implementierung dar. Die Entwicklung von APIs und Schnittstellen, die eine effiziente Kommunikation zwischen GenAI und anderen Geschäftsanwendungen ermöglichen, ist dabei von entscheidender Bedeutung.

Bei der technologische Integration ist zum einen das API-Management entscheiden: Robuste Schnittstellen sind notwendig, um eine reibungslose Integration in die bestehende IT-Landschaft zu gewährleisten. Dies umfasst die Verwaltung von API-Gateways, die Sicherstellung der Skalierbarkeit und die Minimierung von Latenzzeiten.

Ebenso wichtig ist die Systemkompatibilität: GenAI muss mit vorhandenen IT-Systemen interoperabel sein. Fachleute müssen mögliche Inkompatibilitäten frühzeitig identifizieren und entsprechende Anpassungen vornehmen.

Sicherheits- und Compliance-Aspekte bei GenAI
Die Integration von GenAI bringt Effizienzgewinne, erfordert jedoch auch strenge Sicherheits- und Compliance-Maßnahmen. GenAI verarbeitet oft sensible Daten, weshalb Unternehmen Richtlinien für Datenschutz und Betriebssicherheit umsetzen müssen. IT-Teams sollten Zugriffsmanagement-Systeme einführen, um sicherzustellen, dass nur autorisierte Personen Zugang zu GenAI-Modellen haben. Multi-Faktor-Authentifizierung und Datenverschlüsselung, sowohl bei der Übertragung als auch im Ruhezustand, sind hier zentral.

Zum Schutz vor Cyberangriffen sollten GenAI-Anwendungen in der Cloud durch Firewalls, Intrusion-Detection-Systeme und regelmäßige Penetrationstests abgesichert werden. Kontinuierliche Sicherheitsaudits helfen, Schwachstellen frühzeitig zu identifizieren und zu beheben. Besonders im Hinblick auf die DSGVO müssen personenbezogene Daten konform verarbeitet, ordnungsgemäß gelöscht oder anonymisiert werden. Zudem ist die Nachvollziehbarkeit der Datenverarbeitungsprozesse essenziell: GenAI-Modelle sollten so gestaltet sein, dass sich sämtliche Schritte dokumentieren und mittels Audit-Logs überprüfen lassen, um Transparenz gegenüber Regulierungsbehörden sicherzustellen.

Optimierung von GenAI-Anwendungen
Nach der Implementierung von GenAI-Anwendungen ist es entscheidend, deren Leistung und Zuverlässigkeit kontinuierlich zu überwachen und zu optimieren, um den langfristigen Erfolg sicherzustellen. Dabei sollten IT-Teams Strategien entwickeln, die nicht nur die technische Funktionalität, sondern auch die betriebliche Effizienz im Blick behalten.

Beim Monitoring und Performance-Tuning geht es vor allem um Leistungsmetriken: Zu den zentralen Kennzahlen gehören Latenzzeiten, Verarbeitungsdauer und Systemverfügbarkeit. Diese Metriken sollten regelmäßig überprüft werden, um sicherzustellen, dass die Anwendung den betrieblichen Anforderungen gerecht wird. Eine kontinuierliche Überwachung hilft dabei, Engpässe frühzeitig zu erkennen und Probleme, die die Produktivität beeinträchtigen könnten, schnell zu beheben. Die Einbindung von automatisierten Monitoringtools ermöglicht zudem eine Echtzeitüberwachung und das sofortige Erkennen von Leistungsabweichungen.

Eine wichtige Aufgabe besteht darin, die zugrunde liegende Infrastruktur der GenAI-Anwendung regelmäßig zu bewerten und anzupassen. Das bedeutet, dass die Rechenleistung, Speicherkapazität und Netzwerkkapazität skalierbar und flexibel sein müssen, um Lastspitzen bewältigen zu können. Feintuning der Modelle ist ebenso essenziell, da sich die Anforderungen an die GenAI-Anwendung mit der Zeit ändern können. Dies umfasst die regelmäßige Aktualisierung der Trainingsdaten, das Optimieren der Modellparameter und die Implementierung von neuen Algorithmen, um die Effizienz zu steigern. Zusätzlich sollten IT-Teams auf potenzielle Bottlenecks in der Infrastruktur achten, wie etwa Engpässe in der Datenverarbeitung oder Netzwerkübertragungen, und diese durch Optimierungen wie Caching-Strategien oder Lastverteilung lösen.

Praxisbeispiel: Die BT Group und ihre GenAI-Transformation
Ein anschauliches Beispiel für die erfolgreiche Implementierung von GenAI in der Unternehmenswelt ist die Transformation der BT Group, eines führendenden britischen Telekommunikationsdienstleisters. Angesichts des wachsenden Drucks, sich den veränderten Anforderungen der digitalen Geschäftswelt anzupassen, entschied sich die BT Group, auf ein maßgeschneidertes GenAI-Werkzeug von ServiceNow zu setzen. Dabei lag der Fokus auf der Verbesserung der Kundenbetreuung und der Automatisierung von Netzwerkmanagement-Aufgaben, um die Effizienz zu steigern und die Wettbewerbsfähigkeit zu sichern. In der Praxis zeichnete sich das Projekt durch diese Schritte aus:

• Technischer Fokus Greenfield-Ansatz zur digitalen Transformation: Die IT-Abteilung der BT Group entschied sich bewusst für einen Greenfield-Ansatz, um die bestehende Infrastruktur von Grund auf neu zu gestalten und eine moderne, programmierbare Netzwerkinfrastruktur zu schaffen. Durch diese strategische Vorgehensweise konnte BT eine agile Umgebung aufbauen, die ideal für die Einführung von GenAI-Anwendungen geeignet war. Die Entscheidung für diesen Ansatz stellte sicher, dass alte, ineffiziente Legacy-Systeme ersetzt und durch eine flexiblere, cloudbasierte Architektur abgelöst wurden, die für zukünftige Anforderungen skalierbar ist.
• Integration und Automatisierung durch GenAI: BT setzte ServiceNow Network-Performance-Management und Telecommunications-Service-Management als Kernkomponenten ein, um die digitale Transformation zu beschleunigen. Diese Plattformen ermöglichten es, wichtige Prozesse im Netzwerkmanagement zu automatisieren und eine nahtlose Integration von GenAI-Anwendungen in die bestehende Systemlandschaft zu gewährleisten.
• "eBonding for Telecommunications"-App: Eine der innovativsten Errungenschaften war die Einführung der App "eBonding for Telecommunications", die durch GenAI unterstützt wird. Diese App stellte einen Durchbruch in der Kundenintegration dar, da sie bis zu 10.000 manuelle Arbeitsaufgaben eliminierte und so die Effizienz des Netzbetriebs erheblich steigerte. Die IT-Teams von BT waren maßgeblich daran beteiligt, die App so zu gestalten, dass sie nahtlos in die bestehende Infrastruktur eingebunden und dabei die strengen Sicherheits- und Compliance-Anforderungen eingehalten wurden.
• Herausforderungen und Lösungen bei der Implementierung: BT musste sich während des Projekts zahlreichen technischen Herausforderungen stellen. Ein zentraler Aspekt war die Notwendigkeit, die bestehende IT-Landschaft mit der neuen GenAI-Lösung zu verknüpfen, ohne dabei den laufenden Betrieb zu stören. Dies erforderte ein hohes Maß an Interoperabilität und die Entwicklung robuster APIs, um eine reibungslose Kommunikation zwischen den Systemen sicherzustellen. Darüber hinaus legte BT großen Wert auf die Einhaltung der Datenschutzbestimmungen und setzte umfassende Sicherheitsmaßnahmen ein, um den Schutz sensibler Kundendaten zu gewährleisten.
• Ergebnisse und Mehrwert für das Unternehmen: Dank der Implementierung der GenAI-Lösung verzeichnete BT Fortschritte in der Effizienz und der Kundenzufriedenheit. Die Automatisierung von Arbeitsabläufen ermöglichte es, den Kundenservice zu verbessern und gleichzeitig die Betriebskosten zu senken. Die Einführung von GenAI-gestützten Self-Service-Plattformen ermöglichte es Kunden, ihre Probleme schneller und ohne menschliches Eingreifen zu lösen.

Fazit
Die Implementierung von GenAI bietet enorme Potenziale, stellt aber auch hohe Anforderungen an die IT-Abteilungen. Durch eine sorgfältige Planung, die Optimierung der IT-Infrastruktur, eine sichere und regelkonforme Integration sowie die kontinuierliche Überwachung und Anpassung der GenAI-Modelle können Unternehmen die Effizienz und Produktivität erheblich steigern. Das Praxisbeispiel der BT Group zeigt, wie durch technisches Know-how und strategisches Vorgehen maßgeblich zum Erfolg von GenAI-Projekten beigetragen werden kann.

ln/Robert Rosellen, Area Vice President Germany bei ServiceNow