LLM-Inferenz-Infrastruktur: vLLM, Ollama und TGI

In Köln findet am 01.03.2027 ein technisches Training statt, das sich mit dem Aufbau von LLM-Inferenz-Infrastrukturen befasst. Die GFU Cyrus AG richtet dieses Seminar speziell für KI-Architekten aus, die ihre Large Language Models effizient in Produktion bringen möchten. Im Zentrum der Vermittlung stehen leistungsstarke Tools wie vLLM, Ollama und TGI, welche die Bereitstellung von KI-Modellen optimieren. Die Teilnehmenden erfahren, wie sie die Latenz verringern und den Durchsatz ihrer Inferenz-Systeme steigern können, um reale Anforderungen an die KI-Performance zu erfüllen. In der Kategorie IT, Software & KI wird detailliert analysiert, welche Hardware- und Software-Kombinationen für unterschiedliche Anwendungsfälle infrage kommen. Durch den Ortsbezug nach Nordrhein-Westfalen wird ein regionales Netzwerk für Experten im Bereich der Künstlichen Intelligenz gefördert. Da die genaue Location in Köln noch bekanntgegeben wird, steht zunächst der inhaltliche Fokus auf der technischen Implementierung im Vordergrund. Das Training bietet somit eine fundierte Basis, um moderne KI-Infrastrukturen professionell zu planen, zu implementieren und langfristig zu skalieren.