Nextcloud Memories Gesichtserkennung mit GPU: die MediaLab-Edition

Wenn du Recognize schon einmal neben Nextcloud Memories installiert und dann darauf gewartet hast, dass Personen auftauchen, kennst du die Enttäuschung. Die Apps sind hervorragend, aber das Standard-Setup auf einem selbst betriebenen Server endet oft mit einer leeren Personen-Ansicht, einer Queue, die nie leer wird, oder einem Scan, der nur die großen, gut beleuchteten Gesichter erfasst. Dieses Tutorial führt durch die MediaLab-Edition von Memories + Recognize — unseren Fork beider Open-Source-Apps für Nextcloud 34 — und erklärt, was wir auf deinem Server ändern, damit nextcloud memories gesichtserkennung tatsächlich brauchbare Personen, Suche und Alben liefert.

Die Apps selbst bleiben Open Source unter AGPL-3.0, geschrieben von ihren ursprünglichen Autoren (Memories von Varun Patil, Recognize von Marcel Klehr und Nextcloud). Die MediaLab-Edition ist unser Fork, kein offizielles Release, und die Autoren unterstützen sie nicht. Der Quellcode ist öffentlich: Memories auf dem Branch casapu/nc34 und Recognize auf dem Branch casapu/stable12. Bezahlt wird die Arbeit auf deinem Server, stundenweise abgerechnet mit einem Minimum von 4 Stunden.

Memories vs Photos vs Immich, in einem Absatz

Alle drei geben dir eine Foto-Timeline. Memories ist eine Nextcloud-App und lebt damit im selben Account, mit denselben Berechtigungen und demselben Speicher, den du bereits betreibst; Immich ist ein separater Dienst mit eigener Datenbank und eigener Mobile-App. Die MediaLab-Edition konzentriert sich auf das, was nach der Timeline kommt: Gesichtserkennung, Suche in natürlicher Sprache, Aufräumen von Duplikaten, Ereignisse und Stories. Wenn deine Bibliothek schon in Nextcloud liegt und du diese Intelligenz dort haben willst, ist das der Weg.

Voraussetzungen

• Nextcloud 34 auf einem Server, den du kontrollierst.
• Genug Speicherplatz für die Python/ONNX-Umgebung und die ML-Modelle (die Setup-Checks in Recognize melden den Speicherplatz).
• Eine GPU, wenn du schnelle Gesichtserkennung und Suche willst; CUDA/cuDNN müssen zu deinem Treiber passen. Ein reiner CPU-Server funktioniert, ist aber langsamer.
• Laufender cron und eine funktionierende Background-Job-Queue — Recognize meldet beides in seiner Diagnose.
• Deine bestehende Fotobibliothek oder ein Google-Takeout-Export, wenn du importierst.

Schritt 1: Beide Apps und die ML-Umgebung installieren

Wir installieren Memories und Recognize auf deiner Nextcloud 34, inklusive der Python/ONNX-Umgebung und der Modelle. Das ist der Teil, den die meisten Heim-Setups falsch machen: Recognize braucht seine Python-Seite und die Modelldateien, bevor ein Scan Sinn ergibt. Die Admin-Diagnoseseite in der MediaLab-Edition führt Setup-Checks für GPU, CUDA/cuDNN, Modelle, cron, Queue und Speicherplatz aus, sodass du sofort siehst, was fehlt, statt zu raten.

Schritt 2: GPU und Modelle richtig einrichten

Die Gesichtserkennung in der MediaLab-Edition läuft mit InsightFace (RetinaFace + ArcFace) auf ONNX Runtime mit GPU-Beschleunigung. Wir konfigurieren die GPU-Treiber, CUDA/cuDNN für Machine Learning sowie die Gesichts- und Suchmodelle. Wenn du später zwischen Backends wechselst, bleiben die bereits zugewiesenen Namen erhalten.

Wenn die Umgebung gesund ist, liefert occ recognize:status den Zustand von Queue und Scan. Aktuelle Fehler erscheinen auf der Admin-Seite und als Benachrichtigungen, was deutlich nützlicher ist als eine stille Queue.

Schritt 3: Warum Recognize keine Gesichter findet — und was wir ändern

Die üblichen Ursachen sind genau die, die die Diagnose prüft: Modelle nicht heruntergeladen, cron läuft nicht, die Queue hängt oder die Vorschauen sind zu klein für den Detektor. Die MediaLab-Edition ergänzt tiled detection und eine konfigurierbare Vorschaugröße, sodass auch Gesichter gefunden werden, die im Bild klein sind, plus eine Einstellung für die minimale Gesichtsgröße zum Filtern von Rauschen. Ein erneuter Scan fügt nur neue Gesichter hinzu, statt die ganze Bibliothek erneut zu durchlaufen, und der Scan-Fortschritt wird live angezeigt.

Auf der Matching-Seite werden neue Gesichter direkt bekannten Personen zugeordnet, eine Person erscheint nie zweimal auf einem Foto, und unbenannte Cluster werden automatisch mit der benannten Person zusammengeführt, wenn sie passen. Das macht aus einem Haufen unbenannter Cluster eine brauchbare Personen-Ansicht.

Schritt 4: Personen durcharbeiten

Sobald der Scan gelaufen ist, ist der Workflow in beiden Apps gleich:

• Öffne in Memories eine Person und nutze find this person in more photos, um das Album zu erweitern.
• Füge Personen im Viewer manuell über people in this photo hinzu.
• Ziehe in Recognize einen Rahmen, um ein Gesicht hinzuzufügen, und weise es dann zu, löse es ab oder ignoriere es.
• Prüfe unbenannte Personen mit Vorschlägen; burst tracking hält Serien davon ab, die Prüfliste zu überfluten.
• Personen-Alben folgen einer erkannten Person automatisch, mit den besten Fotos zuerst.

Ein Prominenz-Score pro Gesicht und die Erkennung von Motiv und Hintergrund helfen, die guten Aufnahmen von der Menge im Hintergrund zu trennen.

Schritt 5: Suche und Duplikate

Die Foto-Suche in natürlicher Sprache nutzt mehrsprachige CLIP-Embeddings, sodass du eine Szene beschreiben kannst, statt Ordner zu durchsuchen. Duplikat- und Fast-Duplikat-Gruppen werden aus Perceptual Hashes plus CLIP gebildet; in Memories bietet Similar photos ein Aufräumen nach dem Prinzip „das größte behalten“. Beide Funktionen hängen an derselben Indexierungs-Pipeline, also repariere zuerst die Queue, wenn die Ergebnisse dünn aussehen.

Schritt 6: Ereignisse, Stories und Takeout

Memories gruppiert Fotos automatisch nach Zeitabstand und Entfernung in Ereignisse und kann sie gesammelt als Alben speichern. Ein wöchentliches Recap und bildschirmfüllende Stories geben dir einen Grund, die App zu öffnen. Clips und Videos aus Fotos können einen Titel, den Ort, markierte Personen, Text über dem Video und nach Stimmung ausgewählte Hintergrundmusik enthalten und werden im Hintergrund auf der GPU mit Fortschritt und Benachrichtigungen kodiert.

Wenn du von Google kommst, werden Takeout-Sidecars beim Indexieren importiert — Datum, Ort, Beschreibung, Personen und Favorit —, ohne die Dateien selbst anzufassen.

Tipps und Fehlersuche

• Nichts in der Personen-Ansicht nach Stunden: Prüfe zuerst occ recognize:status und die Admin-Diagnose; cron und die Queue sind die üblichen Verdächtigen.
• Nur große Gesichter gefunden: Aktiviere tiled detection, erhöhe die Vorschaugröße und starte einen erneuten Scan; er fügt nur neue Gesichter hinzu.
• GPU wird nicht genutzt: Prüfe CUDA/cuDNN gegen deine Treiberversion in den Setup-Checks.
• Beschädigte oder ungewöhnliche Dateien: RAW, TIFF, AVIF, JXL und beschädigte JPEGs werden vom Scanning in der MediaLab-Edition abgedeckt.
• Datenschutz: Der private Bereich verschlüsselt Fotos mit XChaCha20-Poly1305, verschiebt sie aus den Dateien und öffnet sie nur mit dem Code des Eigentümers; Nacktheit wird aus der Bibliothek herausgehalten, damit sie nie in Timeline, Alben oder Personen landet.
• Teilen: Kurze Album-Links funktionieren mit Shortcloud, und Alben und Personen haben Hover-Aktionen.

Mehr Hintergrund findest du in unserer Wissensdatenbank; für einzelne Fragen ist die FAQ ein guter Start.

Fazit

Gesichtserkennung ist kein Häkchen — sie ist eine Umgebung, eine Queue, ein Modell und eine Reihe von Tuning-Entscheidungen. Die MediaLab-Edition bündelt die Korrekturen (InsightFace auf der GPU, tiled detection, Review-Werkzeuge, Suche in natürlicher Sprache, Duplikate, Ereignisse und Takeout-Import), und wir installieren, konfigurieren und pflegen sie auf deinem Server, inklusive Updates, Nextcloud-Upgrades, Re-Indexierung und Fehlersuche. Wenn du das abgeben willst, sieh dir die Produktseite an oder kontaktiere uns mit deiner Nextcloud-Version, deinem Betriebssystem, deiner GPU und der Größe deiner Bibliothek für einen Kostenvoranschlag.