RAG KI Engineer / AI Backend Engineer

Job Description

Wir bauen mehrere KI-Lösungen – von Chatbots über Agenten für Datenanalysen bis hin zu Dokumenten-Q&A. Dafür suchen wir eine:n RAG-Expert:in (Retrieval-Augmented Generation) mit soliden LLM-Skills (Large Language Models). Du gestaltest End-to-End Such- und Wissenssysteme, orchestrierst Agenten und bringst KI-Features produktionsreif in verschiedene Produkte.


  • Konzeption und Betrieb von RAG-Pipelines über mehrere Projekte: Ingestion, Normalisierung, Chunking, Embeddings, Indexierung, Hybrid Search (Vektor + BM25).

  • Aufbau von Agenten-Workflows (z. B. LangGraph/LangChain): Tool-Aufrufe, Planung/Orchestrierung, Guardrails, Rechte-/Rollenlogik.

  • Evaluierung & Qualitätssicherung: Golden Sets, Offline-Benchmarks (nDCG/MRR/Hit@k), Prompt-/Context-Tracing, Drift-Monitoring.

  • Optimierung von Latenz, Kosten und Relevanz: Caching, Re-Ranking (z. B. Cross-Encoder), Context-Budgetierung.

  • LLM-Integration: Function Calling/Tool-Use, promptbasierte Steuerung, Antwort-Validierung (JSON-Schema/Zod).

  • Zusammenarbeit mit Product/Engineering zur Definition von SLIs/SLOs, Telemetrie und sicheren Deployments (DSGVO/VPC/On-Premises).


  • Deutsch C1 (GER) in Wort und Schrift (Muss-Kriterium); Englisch mind. B2.

  • 3+ Jahre Erfahrung in Backend/Search/Data – idealerweise mit produktiven RAG-Systemen.

  • Analytische, evidenzbasierte Arbeitsweise, Ownership und klare Kommunikation.

  • Nice-to-have: NestJS, Prompt Engineering, Re-Ranking/Cross-Encoder, OpenTelemetry, PostgreSQL/Prisma, S3/Blob-Storage, DSGVO-freundliche Deployments.


  • Full Remote in Europa, flexible Arbeitszeiten und Arbeitszeitmodelle.

  • Arbeit an vielfältigen Projekten (Bots, Agenten, Datenanalysen, Dokumenten-Q&A) mit echter Gestaltungshoheit.

  • Fortbildungsbudget (Konferenzen/Kurse), moderne Hardware, kurze Entscheidungswege.

  • Wettbewerbsfähiges Gehalt inkl. Bonus, 28 Urlaubstage.

View More