Description du poste
#### **Beschreibung**
Computer Vision nicht nur auf vorhandenen Datensätzen testen, sondern sehen, wie dein Modell mit echten Daten aus Kantinen zurechtkommt?
Bei menio entwickeln wir Software für die Gemeinschaftsverpflegung. Aktuell arbeiten wir an einer kamerabasierten Speisenerkennung: Gerichte sollen anhand weniger Referenzbilder gelernt und anschließend über eine Kamera automatisch erkannt und dem passenden Menüartikel zugeordnet werden.
Als Werkstudent (m/w/d) Machine Learning/Computer Vision unterstützt du uns dabei, verschiedene Ansätze auszuprobieren, Modelle zu vergleichen und Schritt für Schritt einen funktionierenden Prototypen aufzubauen. Dabei arbeitest du an einem echten Anwendungsfall mit realen Daten und Herausforderungen, von ähnlich aussehenden Gerichten bis hin zu unterschiedlichen Lichtverhältnissen und Anrichtungen.
#### **Deine Aufgaben**
* **Recherche & Prototyping:** Du vergleichst aktuelle Ansätze für Few-Shot-Erkennung und visuelle Ähnlichkeitssuche, z. B. DINOv2, SigLIP oder leichtgewichtige Modelle wie MobileNet.
* **Datenbasis:** Du nutzt öffentliche Food-Datensätze für Vortraining und Benchmarks und baust gemeinsam mit uns einen eigenen, sauber dokumentierten Datensatz aus echten Kantinen auf.
* **Few-Shot-Erkennung:** Du entwickelst ein Verfahren, mit dem neue Gerichte anhand von 1–5 Referenzbildern ohne komplettes Neutraining hinzugefügt werden können.
* **Unbekannte Gerichte erkennen:** Du sorgst dafür, dass das System erkennt, wenn es ein Gericht nicht kennt, statt einfach das ähnlichste zu raten (Open-Set-Erkennung).
* **Robustheit & Standortwechsel:** Du sorgst dafür, dass die Erkennung bei unterschiedlichen Portionen, Beleuchtungen und Anrichtungen funktioniert – und auch dann, wenn ein Gericht in Kantine A registriert und in Kantine B erkannt werden soll.
* **Mehrere Gerichte pro Tablett:** Du kombinierst die Few-Shot-Erkennung mit Detektion bzw. Segmentierung, sodass Hauptgericht, Beilage und Dessert einzeln erkannt werden.
* **Kontextwissen nutzen:** Du untersuchst, wie der Tagesspeiseplan (nur wenige Gerichte, bekannte Namen) die Erkennung verbessern kann, z. B. über die Bild-Text-Fähigkeiten von SigLIP.
* **Evaluation:** Du definierst Metriken und Testszenarien und findest heraus, unter welchen Umständen sich ähnliche Gerichte verwechseln lassen.
#### **Danach suchen wir**
* Du studierst Informatik, Data Science, Mathematik oder einen vergleichbaren Studiengang.
* Du hast bereits eigene Projekte mit Python umgesetzt, zum Beispiel im Studium, privat oder auf GitHub.
* Du kennst die Grundlagen von Machine Learning und Deep Learning und hast Interesse an Computer Vision.
* Idealerweise hast du bereits mit PyTorch gearbeitet.
* Erste Erfahrungen mit Bildklassifikation, Embeddings, visueller Ähnlichkeitssuche oder Objekterkennung sind ein Plus, aber kein Muss.
* Begriffe wie Few-Shot Learning, Transfer Learning, Open-Set Recognition oder Segmentierung dürfen dir bekannt vorkommen, du musst aber n