Ein KI-basierter Bild-Tagger für Fotografen

Auf einen Blick:

• Open-Source-Bilderkennungstool für Fotografen
• Fertige Binärdateien für Windows, macOS und Linux auf der Download-Seite verfügbar
• Quellcode auf GitHub verfügbar
• Arbeitet mit standardisierten XMP FIles, nutzbar mit einer Vielzahl von Apps
• Läuft auf Ihrem lokalen Rechner; keine Internetverbindung nötig, kein Cloud-Zugang oder Abonnement erforderlich

Verwendung von STAG zum automatischen Taggen von Bildern

Letzte Woche haben wir STAG veröffentlicht, einen automatischen Bild-Tagger, der sich an Amateur- und Profifotografen richtet.

STAG funktioniert, indem es ein angegebenes Verzeichnis rekursiv durchläuft, die Bilder analysiert und die erkannten Tags in XMP-Sidecar-Dateien speichert.

In diesem Artikel möchten wir anhand eines einfachen Beispiels erklären, wie Sie STAG in Ihrem Fotografie-Workflow verwenden können.

STAG wurde mit darktable und Capture One getestet, sollte aber mit jeder Fotografie-App funktionieren, die XMP-Sidecar-Dateien unterstützt.

Für diesen Artikel dient uns darktable als Beispiel.

Was STAG kann (und was es nicht kann)

Bevor wir tiefer einsteigen, ist es wichtig zu betonen, dass STAG (oder genauer gesagt: das von STAG verwendete Modell, “recognize-anything”) hervorragend darin ist, allgemeine Bildkategorien zu erkennen (wie “animal”, “table”, “building”, “landscape”, “dog”, “cat”, “horse”, “bird”, “tree” etc.), aber es ist nicht dafür gedacht, spezifische Dinge wie Gesichter, Wahrzeichen, Denkmäler, Monumente usw. zu erkennen. Es wird Ihnen also nicht dabei helfen, Bilder von “Franz”, “dem Wattenmeer”, “andalusischer Wildkatze” oder ähnlichem zu finden.

Insofern kann STAG eine große Hilfe sein, um mühsame Vorarbeiten beim Organisieren Ihrer Bilder zu erledigen oder (wie wir später sehen werden) die Suche nach Bildern wesentlich zu vereinfachen; aber wenn Sie eine tiefere Kategorisierung Ihrer Bilder benötigen, müssen Sie immer noch selbst Hand anlegen.

Prämisse

Angenommen, Sie haben eine große Sammlung von Bildern, die noch in keiner Weise getaggt sind.

Sie fotografieren viel Tiere und würden diese wirklich gerne nach Tierart sortiert haben (horse, dog, duck, sheep usw.).

Leider sind Sie nie dazu gekommen, sie manuell zu taggen, daher ist Ihre Bibliothek jetzt ein großes Durcheinander und sieht ungefähr so aus:

Um später die von STAG erstellten XMP-Metadaten nutzen zu können, muss darktable die Option “Look for updated XMP files on startup” in seinen “Storage”-Einstellungen aktiviert haben. Stellen wir also sicher, dass dies der Fall ist, bevor wir fortfahren:

STAG to the rescue!

Um Ihre Bilder automatisch von STAG taggen zu lassen, müssen Sie es zuerst von der Download-Seite herunterladen. Es gibt Binärdateien für Linux, macOS und Windows.

Für diesen Artikel verwenden wir die Linux-Version (aber die macOS- und Windows-Versionen sind nahezu identisch).

Nach dem Entpacken und Starten sieht STAG so aus:

Beim Start von STAG ist der erste Schritt, das Verzeichnis mit Ihren Bildern zu durchsuchen und auszuwählen. STAG wird jedes Bild in diesem Verzeichnis und allen Unterverzeichnissen verarbeiten.

Das “Präfix” ist ein eindeutiger Identifikator, den STAG jedem von ihm generierten Tag voranstellt, um es später leicht identifizieren zu können. Zum Beispiel führt das Standardpräfix “st” zu hierarchischen Tags wie “st|cat”, “st|horse” usw.

Da wir darktable für dieses Beispiel verwenden, müssen wir auch die Option “use darktable-compatible filenames” aktivieren (damit STAG XMP-Dateien generieren kann, die darktable später tatsächlich findet).

Erster Start

Beim ersten Ausführen von STAG muss das “recognize anything”-Modell von der huggingface-Plattform heruntergeladen werden, um lokal auf Ihrem eigenen Rechner ausgeführt werden zu können. Da das Modell 3,2 GB groß ist, kann dieser Vorgang einige Minuten dauern. Das Modell wird nur einmal heruntergeladen. Dieser Download-Vorgang sieht folgendermaßen aus:

Ja, das ist nicht schön, ist aber völlig normal und passiert nur einmal.

Der Tagging-Prozess

Sobald STAG das Modell heruntergeladen hat, beginnt es mit dem Taggen Ihrer Bilder und schreibt das Ergebnis in Sidecar-XMP-Dateien (wenn bereits XMP-Dateien vorhanden sind, werden diese verwendet):

Beim Taggen durchläuft STAG Ihr angegebenes Verzeichnis rekursiv und versucht, alle dort gefundenen Bilder zu taggen.

Nach Abschluss des Tagging-Vorgangs ist es an der Zeit, darktable wieder zu starten.

Tags in Ihrer Fotografie-Software verwenden

Die Arbeit mit STAG-erstellten Schlüsselwörtern ist je nach verwendeter Software unterschiedlich. Capture One erkennt beispielsweise automatisch Änderungen an der XMP-Datei und aktualisiert die Metadaten entsprechend.

Darktable hingegen benötigt etwas mehr Hilfe und sollte Sie mit einem Fenster wie diesem begrüßen, nachdem es gestartet wurde (wenn Sie dieses Fenster nicht sehen, stellen Sie sicher, dass Sie die Option “Nach aktualisierten XMP-Dateien suchen” aktiviert haben, siehe “Prämisse” oben):

Keine Sorge, darktable teilt Ihnen hier nur mit, dass es Änderungen in seinen XMP-Dateien gefunden hat und nicht weiß, was damit zu tun ist. Um die von STAG generierten Schlüsselwörter in Ihre darktable-Bilddatenbank zu importieren:

1. Klicken Sie oberhalb der Liste auf “select all”
2. Klicken Sie unterhalb der Liste auf “keep the XMP edit”

Abhängig davon, wie viele Bilder getaggt wurden, benötigt darktable nun etwas Zeit, um seine Datenbank zu aktualisieren und zeigt dann einen Bericht über den Synchronisierungsprozess an:

(images/dtsync.png)]

Herzlichen Glückwunsch, Sie haben Ihre Bilder erfolgreich getaggt und die Ergebnisse in darktable importiert!

Arbeiten mit Tags

Um Ihre neuen Tags tatsächlich zu nutzen, navigieren Sie zum “Collections”-Panel von darktable. In seinem (nicht besonders nützlichen) Standardzustand lässt dieses Panel Sie Ihre Bilder nach “filmroll” filtern. Ändern wir dies auf “Tag”:

Das sieht schon besser aus. Unter der “st”-Hierarchie können Sie jedes Tag sehen, das STAG in Ihren Bildern gefunden hat. Sie können jetzt den Sammlungsfilter verwenden, um nach einem bestimmten Bild zu suchen.

Angenommen, ich erinnere mich lebhaft daran, ein Bild von einem Pferd mit Schnee im Hintergrund und klarem sichtbarem Himmel aufgenommen zu haben.

Zuerst suchen wir nach allen Pferden, indem wir auf das “horse”-Tag doppelklicken (oder “st|horse” in das Tag-Suchfeld eingeben):

319 Bilder von Pferden. Wow, das ist ziemlich viel. Es ist zwar schon mal hilfreich, aber STAG kann noch hilfreicher sein: Da ich weiß, dass auf dem Bild Schnee war, kann ich die Suche eingrenzen, indem ich eine zweite Suchregel hinzufüge:

Indem ich “st|snow” aus meiner Liste von Schlüsselwörtern auswähle (oder es direkt eingebe), grenze ich die Suche auf Bilder ein, die Pferde UND Schnee enthalten, und…

…prima, das ist schon wesentlich überschaubarer.

Wenn ich wollte, könnte ich die Suche jetzt noch weiter eingrenzen und nach Bildern suchen, auf denen der Himmel dominant sichtbar ist:

…und ob Sie es glauben oder nicht – das war genau das Bild, das ich gesucht habe!

Weitere Fotos taggen

Wenn Sie Ihrer Fotobibliothek seit dem letzten STAG-Durchlauf Bilder hinzugefügt haben, können Sie STAG einfach erneut auf derselben Ordnerhierarchie ausführen. STAG erkennt, ob es ein Bild bereits getaggt hat (indem es seine XMP-Sidecar-Datei nach einem vorhandenen Präfix überprüft) und wird das Bild nicht erneut taggen (es sei denn, es wird ausdrücklich durch Deaktivieren der Option “SKip images already tagged” dazu ausdrücklich aufgefordert).

Fazit

Wir haben gezeigt, wie man STAG in einem Fotografie-Workflow verwendet. Wir haben demonstriert, wie STAGs Fähigkeit zur Erkennung allgemeiner Bildkategorien für spezifische Bildsuchen genutzt werden kann, um so mehr Struktur in eine bestehende Bildbibliothek zu bringen.

Wenn Sie tiefer in die Arbeit mit STAG eintauchen möchten, gibt es ein ausführliches README auf unserer GitHub-Seite.