Zero-Shot Learning: Eine Einführung

Was ist Zero-Shot Learning?

Zero-Shot Learning (ZSL) ist ein Ansatz des maschinellen Lernens, bei dem ein Modell Vorhersagen über neue, bisher nicht gesehene Klassen trifft. Wichtig ist, dass bei Zero-Shot Learning die Klassen, für die das Modell Vorhersagen trifft, in den ursprünglichen Trainingsdaten nicht vorhanden sind.

Dies steht im Gegensatz zu herkömmlichen Ansätzen des maschinellen Lernens, bei denen in der Regel große Mengen an gekennzeichneten Daten erforderlich sind, um Beispiele zu klassifizieren. Stattdessen stützt sich Zero-Shot Learning in der Regel auf Wissenstransfer und andere Techniken, um Vorhersagen über neue Klassen zu treffen.

Davon abgesehen können wir Zero-Shot Learning in Situationen einsetzen, in denen gekennzeichnete Daten knapp sind. Es ist besonders nützlich bei bestimmten Aufgaben der natürlichen Sprachverarbeitung (Natural Language Processing, NLP) und der Computervision, bei denen wir das Modell benötigen, um auf neue Klassen zu verallgemeinern, die in den Trainingsdaten nicht vorhanden waren.

Unterschiede von Zero-Shot und Few-Shot Learning

Zero-Shot und Few-Shot Learning sind insofern ähnlich, als wir sie beide in Situationen verwenden, in denen gekennzeichnete Daten knapp sind. Sie unterscheiden sich jedoch darin, wie sie mit diesem Problem der Datenknappheit umgehen.

Unterschiedliche Anzahl von Schüssen

Zunächst unterscheiden sich diese beiden Techniken in Bezug auf die Anzahl der Schüsse. Beim Few-Shot Learning gibt es also nur wenige „Schüsse“, d. h. nur wenige gekennzeichnete Trainingsbeispiele pro Klasse. Beim Zero-Shot Learning gibt es jedoch keine neuen Trainingsbeispiele für die neuen Klassen.

Unterschiedliche Ansätze

Zero-Shot und Few-Shot verfolgen auch leicht unterschiedliche Ansätze.

Zero-Shot stützt sich in der Regel auf Hilfswissen, das in vorab trainierte Modelle integriert ist, sowie auf andere externe Informationen wie Textbeschreibungen und semantische Attribute.

Beim Few-Shot Learning werden Techniken wie Meta-Learning und Data Augmentation eingesetzt, um Modelle dabei zu unterstützen, sich schnell an neue Trainingsbeispiele anzupassen und so werden Techniken eingesetzt, die dabei helfen, aus wenigen Trainingsbeispielen zu lernen, während diese Techniken für Zero-Shot Learning weitgehend nicht verfügbar sind, da Zero-Shot per se bedeutet, dass wir keine neuen Beispiele verwenden.

Unterschiede von Zero-Shot und One-Shot Learning

Die Unterschiede zwischen Zero-Shot und One-Shot Learning hängen mit der Anzahl der Schüsse und den Ansätzen zusammen, die wir für diese Paradigmen verwenden.

Unterschiedliche Anzahl von Schüssen

Zero-Shot und One-Shot unterscheiden sich also zunächst in Bezug auf die Anzahl der Schüsse. Wie bereits erwähnt, ist die Anzahl der „Schüsse“ die Anzahl der gekennzeichneten Beispiele pro Klasse.

Beim One-Shot Learning wird nur ein neues Beispiel pro Klasse verwendet. Und beim Zero-Shot Learning werden keine neuen Beispiele verwendet.

Verschiedene Ansätze

Was die Ansätze betrifft, so stützt sich Zero-Shot auf das Wissen in vorab trainierten Modellen und semantischen Beschreibungen, um auf neue Beispiele zu verallgemeinern.

One-Shot (ähnlich wie Few-Shot) kann jedoch andere Techniken wie optimierungsbasiertes Meta-Learning und metrikbasiertes Meta-Learning verwenden, die für Zero-Shot nicht verfügbar sind, da sie einen oder mehrere Schüsse zur Implementierung erfordern.

Methoden

Es gibt mehrere große Kategorien von Methoden, die wir für Zero-Shot Learning verwenden, um Modelle in die Lage zu versetzen, bisher unbekannte Kategorien zu erkennen:

• Attributbasierte Methoden
• Einbettungsbasierte Methoden
• Generative Methoden
• Knowledge-Graph-Methoden

Attributbasierte Methoden

Attributbasierte Techniken basieren auf vordefinierten semantischen Merkmalen, die die Eigenschaften jeder Klasse beschreiben.

Bei der Bilderkennung können diese Merkmale beispielsweise Farbe, Form, Größe und Textur sein. Während des Trainings lernt das Modell, Eingabedaten mit diesen Attributen zu verknüpfen. Wenn das Modell später auf eine zuvor nicht gesehene Klasse trifft, verwendet es die bekannten Attribute dieser neuen Klasse, um ihre Bezeichnung vorherzusagen.

Dieser Ansatz hilft, die Lücke zwischen zuvor erlernten Klassen und neuen (bisher unbekannten) Klassen zu schließen, indem er sich auf gemeinsame Attribute stützt.

Einbettungsbasierte Methoden

Einbettungsbasierte Methoden nutzen semantische Einbettungsräume, um das Problem des Zero-Shot Learning zu lösen.

Diese Methoden ordnen die Eingabemerkmale und die Klassenbezeichnungen einem gemeinsamen semantischen Einbettungsraum zu. Diese Systeme verwenden Worteinbettungen oder Satzeinbettungen (d. h. aus einem Sprachmodell), um die Klassenbezeichnungen zu kodieren, und ein neuronales Netzwerk kodiert die Eingabedaten. Das Modell kann dann neue, bisher nicht gesehene Klassen vorhersagen, indem es die Ähnlichkeit zwischen den Einbettungen der Eingabedaten und den Einbettungen der Klassenbezeichnungen berechnet.

Im Grunde nutzt diese Methode semantische Beziehungen aus einem Einbettungsraum, um dem Modell zu helfen, auf bisher nicht gesehene Klassen zu verallgemeinern.

Generative Methoden

Bei generativen Methoden verwenden wir Techniken wie Generative Adversarial Networks (GANs) oder Variational Autoencoders (VAEs).

Wenn wir diese Techniken verwenden, nehmen sie semantische Informationen über die nicht sichtbaren Klassen und erstellen synthetische Beispiele. Anschließend trainieren wir ein Modell mit echten Daten aus einem geeigneten Trainingssatz und den synthetischen Beispielen für die neuen (bisher nicht sichtbaren) Klassen. Dadurch wird die Fähigkeit eines Modells verbessert, neue Klassen zu erkennen.

Knowledge-Graph-Methoden

Knowledge-Graph-Methoden verwenden strukturierte Graphen-Methoden, um Beziehungen zwischen Klassen und ihren Attributen darzustellen. Diese Informationen aus dem Knowledge Graph können dann in ein Modell integriert werden, das wiederum dabei helfen kann, zu verstehen, wie neue, noch nicht gesehene Klassen mit zuvor gesehenen Klassen in den Trainingsdaten zusammenhängen.

Im Wesentlichen ermöglichen die Daten aus dem Knowledge Graph, die Informationen über die Beziehungen zwischen Klassen kodieren, einem Modell, Eigenschaften von noch nicht gesehenen Klassen abzuleiten, basierend darauf, wie diese noch nicht gesehenen Klassen mit anderen Klassen im Graphen verbunden sind.

Methoden dieser Art verwenden häufig neuronale Netze oder andere Techniken, die aus grafisch strukturierten Daten lernen können.

Vorteile von Zero-Shot Learning

Zero-Shot Learning bietet eine Vielzahl von Vorteilen für maschinelles Lernen und KI-Systeme.

Erkennung unbekannter Klassen ohne zusätzliche Daten

Einer der Hauptvorteile von Zero-Shot Learning bringt auf den Punkt, was ZSL tut: Zero-Shot Learning ermöglicht es Modellen, Datenbeispiele zu klassifizieren, die in den Trainingsdaten nicht vorhanden waren.

Dies ist besonders nützlich in dynamischen und sich schnell verändernden Umgebungen, in denen sich Klassen wahrscheinlich ändern oder neue Klassen wahrscheinlich auftauchen, wie z. B. bei sich entwickelnden Sprachmodellen und Echtzeit-Computer-Vision-Systemen.

Geringere Abhängigkeit von beschrifteten Daten

Bei Künstliche Intelligenz und maschinellem Lernen ist das Sammeln von Datensätzen und das Beschriften von Beispielen für alle Klassen häufig zeitaufwendig und teuer.

Zero-Shot Learning kann die finanziellen und zeitlichen Kosten senken, indem der Bedarf an großen beschrifteten Datensätzen reduziert wird, insbesondere in Situationen, in denen sich Klassen wahrscheinlich ändern. Darüber hinaus ist dieser geringere Bedarf an beschrifteten Daten noch wichtiger für Aufgaben, bei denen Daten besonders teuer oder schwer zu beschaffen sind.

Skalierbarkeit auf große und sich entwickelnde Klassenräume

Zero-Shot Learning hilft auch bei der Skalierung von Systemen bei Aufgaben, bei denen es potenziell eine große Anzahl von Klassen gibt oder wenn sich die Klassen ändern könnten. Herkömmliche KI- und maschinelle Lernsysteme haben oft Schwierigkeiten, sich an eine Vielzahl neuer Klassen anzupassen und diese zu skalieren. 

Zero-Shot Learning hilft Modellen, damit umzugehen, indem es ihnen ermöglicht, sich an neue Klassen anzupassen, auch wenn es keine Trainingsbeispiele für diese Klassen gibt. Auch hier sehen wir diesen Vorteil vorwiegend in Bereichen wie der Verarbeitung natürlicher Sprache (NLP) und der Echtzeit-Bildklassifizierung, wo die Bandbreite der Klassen groß ist und sich oft im Laufe der Zeit weiterentwickelt.

Verbesserte Anpassungsfähigkeit von Modellen

Wie bereits mehrfach in diesem Artikel erwähnt, ermöglicht ZSL durch die Nutzung von Beziehungen und gemeinsamen Attributen zwischen Klassen die Verallgemeinerung von Modellen auf neue und bisher nicht gesehene Klassen. Dadurch können Modelle an neue Aufgaben angepasst werden, ohne dass umfangreiche Schulungen für große Datensätze erforderlich sind.

Diese Anpassungsfähigkeit wiederum erhöht die Flexibilität und den Nutzen von Modellen in sich verändernden Umgebungen.

Anwendungsbereiche

Zero-Shot Learning hat eine Vielzahl von Anwendungen.

Bild- und Objekterkennung

Bei Aufgaben der Computer Vision ermöglicht ZSL Modellen die Erkennung oder Klassifizierung von Objektklassen, die in den Trainingsdaten nicht vorhanden waren.

In der Zoologie können Forscher beispielsweise auf neue oder seltene Arten stoßen.

Ein Modell, das gut für Zero-Shot Learning trainiert ist (d. h. auf einer Vielzahl gängiger Arten trainiert wurde), könnte in der Lage sein, diese seltenen Arten zu erkennen, indem es beschreibende/semantische Attribute wie Fell, Farbe, Lebensraum und Größe nutzt.

Natürliche Sprachverarbeitung (NLP)

Bei Aufgaben der natürlichen Sprachverarbeitung wie Stimmungsanalyse und Textklassifizierung ermöglicht Zero-Shot Learning Systemen die Analyse und Klassifizierung von Texten ohne explizite Trainingsbeispiele.

Ein Chatbot, der beispielsweise im Kundenservice eingesetzt wird, könnte in der Lage sein, neue Arten von Benutzeranfragen zu verstehen, indem er vorhandene semantische Beziehungen nutzt, die das Sprachmodell gelernt hat. Dies würde die Fähigkeit des Chatbots verbessern, ein breiteres Spektrum von Benutzerproblemen zu bearbeiten, und das Chatbot-System flexibler machen.

Medizinische Diagnose

Zero-Shot ist im Gesundheitswesen sehr nützlich, insbesondere in der medizinischen Diagnostik. Es kann Modellen bei der Diagnose seltener Erkrankungen helfen, bei denen wir aufgrund der Seltenheit der Krankheit möglicherweise nur über begrenzte Trainingsdaten verfügen.

Durch die Übertragung und Nutzung von vorhandenem Wissen über Symptome anderer Erkrankungen kann Zero-Shot Learning möglicherweise Diagnosen für Erkrankungen vorschlagen, die in den ursprünglichen Trainingsdaten nicht vorhanden waren.

Sprachübergreifende und mehrsprachige Anwendungen

Bei Aufgaben wie der Sprachübersetzung kann Zero-Shot dazu beitragen, dass sich Modelle an Sprachen anpassen, die in den Trainingsdaten nicht vorhanden waren, indem gemeinsame Merkmale und Attribute sowie semantische Einbettungen genutzt werden.

Dies wiederum kann dazu beitragen, dass Modelle bei Aufgaben wie der Textübersetzung oder der Stimmungsanalyse in seltenen Sprachen mit begrenzten Trainingsressourcen gute Leistungen erbringen.

Flexiblere Modelle dank Zero-Shot Learning

Zusammenfassend lässt sich sagen, dass Zero-Shot Learning dazu beiträgt, dass Modelle in Situationen mit begrenzten Trainingsdaten flexibler und anpassungsfähiger werden.

Die durch Zero-Shot-Lernen ermöglichte Anpassungsfähigkeit wiederum erhöht den Nutzen von Modellen in Bereichen wie NLP, Computer Vision und medizinischer Diagnostik und hilft uns, Modelle in realen Situationen einzusetzen, in denen Daten teuer, knapp oder ständigen Veränderungen unterworfen sind.