Wie KI-Sprachmodelle die öffentliche Verwaltung revolutionieren

Die jüngste rasante Entwicklung von KI-Sprachmodellen hat sogar die Forschungswelt verblüfft. Vor allem die so genannten Großen Sprachmodelle (Large Language Models, kurz: LLMs) eröffnen immense Potenziale für die öffentliche Verwaltung und ihre auf umfangreichen Texten beruhenden Vorgänge. Mit ihrer Fähigkeit, komplexe Aufgaben zu bewältigen, können LLMs dazu beitragen, Verwaltungsprozesse zu optimieren und die Nähe zu den Bürgerinnen und Bürgern zu fördern. Insbesondere bei der Informationsgewinnung aus Texten und in Form von Chatbots können sie großen Nutzen bringen. In diesem Blogbeitrag erläutere ich den technischen Hintergrund, stelle eine Reihe von Open-Source-Modellen vor und zeige anhand von vielen Beispielen, wie die Integration von KI-Sprachmodellen die öffentliche Verwaltung revolutionieren kann.

Technischer Hintergrund: Der Aufstieg von KI-Sprachmodellen

LLMs sind KI-Modelle, die Text in gewisser Weise verstehen und generieren können. Ihr Wissen basiert auf riesigen Mengen an Texten wie Wikipedia und Internetforen. Sie lernen Wörter oder Sätze vorherzusagen – und dies selbstgesteuert. Das Training braucht viel Zeit und viele GPUs (Grafikprozessoren). Die ursprünglich von Google entwickelte Transformer-Technologie hilft den Modellen, die Bedeutung und den Zusammenhang von Wörtern und Sätzen in einem Text besser zu verstehen. Indem sie gleichzeitig auf mehreren GPUs trainiert werden, beschleunigt sich der Lernprozess erheblich. Einige der heute verfügbaren Transformer-Modelle sind auf die Klassifizierung von bestehenden Texten spezialisiert, andere auf das Erstellen neuer Texte.

Es gibt eine Reihe von KI-Sprachmodellen, die im Gegensatz zu ChatGPT auf eigener Hardware eingesetzt werden können. Sie unterscheiden sich in ihrer Größe und Anwendung. Einige Beispiele sind:

1. Flan-T5: Ein Modell von Google, das für kommerzielle und andere Zwecke frei genutzt werden kann. Die deutsche Übersetzung ist allerdings noch verbesserungswürdig./li>
2. Llama und Alpaca: Diese Modelle von Facebook sind sehr vielseitig einsetzbar und für Forschungszwecke freigegeben.
3. OpenAssistant: Ein Projekt einer OpenSource-Community, das darauf abzielt, KI-gestützte Assistenten zu entwickeln.
4. Bloom: Ein Modell, das von einer wissenschaftlichen Community aufgesetzt wurde. Eine deutsche Version, IGEL, wurde bereits weiterentwickelt und nutzt deutsche Texte für das Training.
    

KI-Sprachmodelle in der öffentlichen Verwaltung

Die Möglichkeiten zur Implementierung von KI-Sprachmodellen in der öffentlichen Verwaltung sind weitreichend und können signifikante Vorteile in puncto Effizienz und Wirksamkeit bieten. Insbesondere lassen sich mit ihnen Routineaufgaben automatisieren, Erkenntnisse für politische Entscheidungen gewinnen und neue Möglichkeiten für die Interaktion mit Bürgerinnen und Bürgern sowie anderen Behörden erschließen.

Zum Beispiel können KI-Sprachmodelle administrative Aufgaben beschleunigen, indem sie Entwürfe und Vorlagen erstellen. Sie können den Verwaltungskräften dabei helfen, Daten zu prüfen und zu validieren, wodurch Fehler verringert werden und die Genauigkeit steigt. Indem sie solche Routineaufgaben automatisieren, ermöglichen sie den Sachbearbeitenden, sich auf komplexere Aufgaben zu konzentrieren, was wiederum zur Verbesserung der öffentlichen Dienstleistungen führt.

KI-Sprachmodelle können aber auch dazu beitragen, neue Datenquellen zu erschließen und neue Themen und Aufgaben zu erkennen. Sie können große Mengen an Texten durchsuchen und relevante Informationen extrahieren, die sonst schwer zu identifizieren wären. Zum Beispiel können sie durch die (anonyme) Analyse von Social Media Feeds oder Bürgereingaben neue Trends oder öffentliche Bedenken identifizieren.

Wir von CGI haben Methoden zur Textanalyse entwickelt, die es ermöglichen, Texte hinsichtlich ihrer Ähnlichkeit in einem spezifischen Kontext zu bewerten. Dies kann beispielsweise dazu beitragen, Anfragen oder Anträge effizienter zu bearbeiten, indem sie automatisch an den am besten geeigneten Sachbearbeitenden oder die passende Abteilung weitergeleitet werden.

Datenvektorbank plus Sprachmodell-Bot

Sprachmodelle können komplexe Zusammenhänge bewerten und Muster in den Daten erkennen, die von Menschen schwer zu entdecken wären. Ein Beispiel für den Einsatz in diesem Bereich ist die Verwendung einer Datenvektorbank in Kombination mit einem Sprachmodell-Bot. Mit einer Datenvektorbank können Informationen aus großen Textsammlungen in eine strukturierte Form gebracht werden, die leicht durchsuchbar und abrufbar ist. Der Sprachmodell-Bot kann diese Informationen dann nutzen, um relevante Antworten auf Anfragen zu liefern. Dies kann beispielsweise bei der Beantwortung von Anfragen oder bei der Recherche zu spezifischen Themen nützlich sein.

Fortgeschrittene Anwendungen

Darüber hinaus können KI-Sprachmodelle in fortgeschrittenen Anwendungen eingesetzt werden. Zum Beispiel können sie bei der „Dunkelverarbeitung“ helfen, bei der Anträge und Dokumente automatisch gelesen und bearbeitet werden, ohne dass ein Mensch sie sehen muss. Sie lassen sich auch zur automatischen Erstellung von Bescheiden nutzen, wodurch der Prozess beschleunigt und standardisiert wird. Schließlich können sie in der Kommunikation mit Bürgerinnen und Bürgern sowie anderen Behörden eingesetzt werden – etwa in Form von Chatbots, die Anfragen beantworten und Informationen bereitstellen.

Risiken und Herausforderungen

Den vielversprechenden Möglichkeiten von KI-Sprachmodellen in der öffentlichen Verwaltung stehen einige Risiken und Herausforderungen gegenüber:

• Datenschutz und Datensicherheit: Die Verwendung von sensiblen Daten in der öffentlichen Verwaltung erfordert besondere Vorsicht und Datenschutzmaßnahmen.
• Ethik und Fairness: KI-Sprachmodelle können unbeabsichtigte Vorurteile oder Diskriminierung aufweisen, die auf den Trainingsdaten basieren. Daher ist es wichtig, ethische und faire KI-Praktiken zu gewährleisten.
• Qualität und Genauigkeit: Die Qualität von Sprachmodellen, insbesondere für Sprachen wie Deutsch, ist in der Regel noch nicht optimal. Es ist entscheidend, die Modelle ständig zu verbessern und ihre Leistung in spezifischen Anwendungsfällen zu bewerten. Daher haben wir von CGI bereits Open-Source-Sprachmodelle mit einem deutschen Textkorpus trainiert. Durch das Hinzufügen spezifischer lokaler und kultureller Kontextinformationen konnten wir die Leistung und Relevanz dieser Modelle für den deutschen Sprachraum erheblich verbessern.
• Transparenz und Nachvollziehbarkeit: KI-Sprachmodelle sollten transparent und nachvollziehbar sein, damit Entscheidungen von Behörden auf solider Grundlage getroffen werden können.
• Verantwortlichkeit: Es muss klar sein, wer für die Ergebnisse und Handlungen verantwortlich ist, die auf Empfehlungen oder Entscheidungen von KI-Systemen basieren.
• Anpassung und Integration: Die erfolgreiche Einführung von KI-Sprachmodellen in der öffentlichen Verwaltung erfordert Anpassungen an bestehende Arbeitsabläufe, Systeme und Infrastrukturen sowie Schulungen für Mitarbeitende.
   

Fazit

KI-Sprachmodelle haben das Potenzial, die öffentliche Verwaltung grundlegend zu verbessern. Beim Entwickeln und Anpassen von KI-Modellen ist externe Unterstützung durch IT-Beratungen wie uns gefragt. Was jedoch noch wichtiger ist: Wir erarbeiten und implementieren wirkungsvolle KI-Strategien, die sich in der Praxis bewähren. Dies umfasst zum Beispiel das Einrichten und Verwalten von Datenpipelines, die für das Training und die Anwendung von KI-Modellen unerlässlich sind. Unsere Qualitätskontrollen stellen sicher, dass die Modelle korrekt und unter Berücksichtigung der rechtlichen Erfordernisse funktionieren und zuverlässige Ergebnisse liefern. Fortlaufende Forschung und der Austausch von Best Practices bieten die beste Grundlage dafür, dass KI-Sprachmodelle ethisch, fair und effektiv eingesetzt werden. Nur dann werden sie den öffentlichen Sektor stärken und von großem Nutzen für die Bürgerinnen und Bürger sein.