Lokale KI im Unternehmen: DeepSeek, LLaMA und Mistral mit Ollama/vLLM selbst betreiben

Die GFU Cyrus AG führt am 31.08.2026 in Köln ein technisches Seminar durch, das sich dem Betrieb lokaler KI-Modelle widmet. Im Fokus stehen Open-Source-Modelle wie DeepSeek, LLaMA und Mistral, die Unternehmen unabhängig von externen Cloud-Anbietern machen. Behandelt werden praktische Ansätze mit den Werkzeugen Ollama und vLLM, die eine flexible Modellbereitstellung auf eigener Hardware ermöglichen. Ein zentraler Nutzen für Teilnehmende liegt in der Inferenz-Optimierung: Wie lassen sich Modelle so konfigurieren, dass sie auf verfügbaren GPU-Ressourcen performant arbeiten, ohne die Hardware übermäßig zu belasten? Diese Frage wird im Seminar anhand konkreter Konfigurationsszenarien erörtert. Zudem beleuchtet die Schulung Plattformstrategien, die entscheiden, ob ein Modell zentral für mehrere Teams oder dezentral für einzelne Abteilungen bereitgestellt wird. Für Unternehmen in Nordrhein-Westfalen, die sensible Daten im eigenen Haus verarbeiten müssen, bietet dieser Ansatz eine datenschutzkonforme Alternative. Der Veranstaltungsort in Köln wird noch bekanntgegeben. Entwickler und IT-Administratoren erhalten am 31.08.2026 fundiertes Wissen, um lokale KI-Infrastrukturen planvoll aufzubauen und in bestehende Systeme zu integrieren.