Viele KI-Anwendungen lassen sich inzwischen nicht nur über externe Cloud-Dienste, sondern auch auf eigener Infrastruktur betreiben. Im DigiLLab der Universität Augsburg steht dafür eine GPU-Workstation zur Verfügung, auf der aktuelle offene Modelle wie Gemma 4 31B oder NVIDIA Nemotron-3-Super-120B-A12B getestet und für ausgewählte Anwendungsszenarien erprobt werden können.
Der lokale Betrieb bietet mehrere Vorteile: sensible Daten bleiben besser kontrollierbar, technische Abläufe werden transparenter, und KI-Anwendungen können stärker an die eigenen Anforderungen angepasst werden. Besonders spannend sind dabei Anwendungen mit RAG, bei denen Modelle auf eigene Dokumentbestände zugreifen, sowie Tool-Calling, bei dem ein Modell gezielt externe Werkzeuge, Datenquellen oder Workflows anstoßen kann. Auch Fragen zu Datenschutz, Modellwahl, Hardware-Anforderungen und Betriebskosten lassen sich so praxisnah klären.
Mit Modellen wie Gemma 4 oder Nemotron 3 (Open Source mit offengelegten Trainingsdaten) können unterschiedliche Schwerpunkte untersucht werden: von ressourcenschonenden Assistenzsystemen über lange Kontextfenster bis hin zu agentischen Szenarien mit Planung, Reasoning und Werkzeugnutzung.
Das DigiLLab berät Einrichtungen, Arbeitsgruppen und Projekte, die eigene KI-Lösungen aufbauen oder zunächst experimentell erproben möchten. Wir unterstützen bei der Kläruzng, welche Modellfamilie geeignet ist, ob ein lokaler Betrieb sinnvoll ist und wie Datenschutz, RAG und Tool-Anbindung technisch sauber umgesetzt werden können.
Sie planen ein eigenes KI-Projekt oder möchten prüfen, ob lokale Modelle für Ihren Anwendungsfall geeignet sind? Sprechen Sie uns gerne an.