LLMOps Engineer für KI-Services (m/w/d)

Haustarifvertrag 38 Stunden / Woche Anteilige mobile Arbeit möglich ab 51.238 € / Jahr Als einer der größten Banken-IT-Dienstleister und Digitalisierungspartner Europas sind wir der Treiber der Digitalisierung innerhalb der Sparkassen-Finanzgruppe. Mit über 5.000 Mitarbeitenden an 3 Standorten machen wir digitales Banking von heute leistungsfähig und entwickeln smarte Finanz-Services von morgen. Dabei bieten wir ein breites Aufgabenspektrum, in dem die individuellen Stärken hervorragend eingebracht werden können. Ob App-Entwicklung, Netzwerktechnologien und Serverbetrieb oder Beratung, Schulung und Support – bei uns findet jede:r seine bzw. ihre Berufung! Als Spezialist:in oder auch als Generalist:in. Alles mit besten Karrierechancen, viel Raum für persönliche Entfaltung und zahlreichen Benefits. Für die Organisationseinheit KI Plattform, suchen wir zum nächstmöglichen Termin für den Standort Hannover, Münster oder Frankfurt einen **LLMOps Engineer für KI-Services (m/w/d)** Unser Team stellt die zentrale KI- und Data Analytics Plattform der Finanz Informatik für interne und externe Kunden wie Sparkassen und Verbundpartner bereit. In deiner Rolle als Technischer Projektmanager gestaltest du aktiv die technische Basis für skalierbare, sichere und performante KI-Lösungen – von der Kundenanforderung, Planung, über Umsetzung bis hin zum Modellbetrieb. Du gestaltest gemeinsam mit Experten aus AI Engineering, System Engineering und Softwareentwicklung KI-Anwendungen und Prozesse für datengetriebenes Banking für über 50 Millionen Kunden. Mit unserer Plattform setzen wir auf moderne Technologien wie Kubernetes, ArgoCD, Helm, GitHub Actions, Nvidia Triton, Huggingface TGI/TEI, arbeiten mit Partnern wie Nvidia oder Mistral AI eng zusammen – und suchen Kollegen, die sich organisatorisch in die Planung, Integration und Umsetzung neuer KI-Anwendungen einbringen und dabei die Compliance im Blick haben. Übernimm eigenständig Aufgaben, die für die Weiterentwicklung der KI und Data Analytics Plattform wesentlich sind. Dabei wirkst du aktiv in einem dynamischen und aufgeweckten Team an der Implementierung von State-of-the-Art Systemtechnologien im Finanzsektor mit. ### **Aufgaben:** * Unterstützung beim Aufbau und der Pflege von Build-, Test- und Deployment-Pipelines für Container-Applikationen (z.B. Jenkins, GitHub Actions oder GitLabCI) * Arbeit mit Helm-Charts und ArgoCD, um Container-Anwendungen in Kubernetes-Clustern zu deployen * Unterstützung bei der Integration unimodaler (LLM, OCR, SST/TTS) und multimodaler KI-Modelle mit Tools wie Nvidia Triton, NIM oder HuggingFace-Komponenten (TGI, TEI, vLLM) * Unterstützung beim Betrieb unserer zentralen Redis-Instanzen und Mitwirkung um sicherzustellen, dass sie hochverfügbar, sicher und performant bleiben * Enge Zusammenarbeit mit Kolleg\*innen aus unterschiedlichen Fachbereichen, Einbringung von Perspektiven in Architektur Entscheidungen und Unterstütztung bei der Weiterentwicklung unserer Plattform-Dien