Datenaufstockung (Data Augmentation) ist eine statistische Technik, die neue Trainingsbeispiele erzeugt, indem Transformationen oder Störungen auf vorhandene Daten angewendet werden. Im maschinellen Lernen wird sie häufig eingesetzt, um Überanpassung zu reduzieren und die Generalisierung zu verbessern, indem Modelle auf mehreren leicht modifizierten Kopien des ursprünglichen Datensatzes trainiert werden. Der Ansatz ist besonders wertvoll, wenn Daten knapp oder unausgewogen sind, da er einen größeren und vielfältigeren Datensatz simulieren und die Robustheit des Modells erhöhen kann.
In ihrer allgemeinen statistischen Form ermöglicht die Datenaufbereitung die Maximum-Likelihood-Schätzung aus unvollständigen Daten durch die Einführung latenter Variablen oder fehlender Datenkomponenten, eine Methode mit wichtigen Anwendungen in der Bayes'schen Analyse. Im Kontext des maschinellen Lernens ist die Technik in verschiedenen Bereichen, von der Bildklassifikation bis zur Signalverarbeitung, zu einer Standardpraxis geworden, da sie die Modellleistung verbessern kann, ohne zusätzliche reale Daten zu sammeln.
Historischer Hintergrund und frühe Verwendungen
Die Wurzeln der Datenaufbereitung im maschinellen Lernen reichen bis in die Mitte der 1990er-Jahre zurück, als Convolutional Neural Networks (CNNs) begannen, größer zu werden. Zu dieser Zeit fehlten ausreichende Daten, um diese Netzwerke effektiv zu trainieren, insbesondere weil ein Teil des Datensatzes für das Testen reserviert werden musste. Forscher schlugen vor, bestehende Daten mit affinen Transformationen - wie Rotationen, Translationen und Skalierungen - zu verändern, um neue Beispiele zu erzeugen, die dieselben Labels wie die Originale teilten. Dieser Ansatz wurde 2003 durch elastische Verzerrungen ergänzt, die subtilere und realistischere Variatiönene einführten. Bis in die 2010er-Jahre wurde Datenaufbereitung weit verbreitet im Training von CNNs verwendet, was ihre Leistung verbesserte und als Gegenmaßnahme gegen adversarial Angriffe, wie Profiling, diente.
Synthetisches Oversampling für unausgewogene Daten
Im traditionellen maschinellen Lernen ist eine häufige Herausforderung unausgewogene Datensätzen, in denen eine Klasse deutlich weniger Proben als eine andere hat. Beispiel ein medizinischer Diagnosedatensatz mit 90 Proben gesunder Personen und nur 10 Proben mit einer bestimmten Krankheit. In solchen Fällen verlagern es Algorithmen oft, die Minderheitenklasse zu klassifikieren, da sie eine Tendenz zur Mehrheitsklasse haben.
Die Synthetic Minority Over-sampling Technique (SMOTE) adressiert dieses Problem, indem sie synthetische Proben für die Minderheitenklasse erzeugt. SMOTE arbeitet, indem sie eine Zufalls Probe aus der Minderheitenklasse auswählt, ihre nächsten Nachbarn findet anfindet und neue Proben entlang der Liniensegmente erzeugt, die diese Nachbarn verbindet. Beispielsweise, wenn es 100 Proben in der Mehrheitsklasse und 10 in, kann SMOTE synthetische Proben der Minderheit erzeugen, die die Minderheit auf sagen wir 100 erhöhen und damit den Datensatz balancieren. Diese Technik, die im frühen 2000-Jahren entstand, und damit die Modellleistung verbessert, ist ein Eckpfeiler der Datenaufbereitung für tabellarische Daten.
Techniken für Bilder
Bildklassifikation war einer der Hauptnutznießer der Datenaufbereitung, insbesondere mit dem Aufstieg von Deep Learning. Die Praxis hat sich um eine breite Pal Palette von Transformationen erweitert, die die Trainingsdaten bereichern, um die Generalisierung zu verbesser. Häufige Kategorien umfassen geometrische Transformationen, Farbraum-Anpassungen und Rausch-Injektion.
Geometrische Transformationen
Geometrische Transformationen verändern die räumlichen Eigenschaften von Bildern und simulieren verschiedene Perspektiven, Orientierungen und Skalierungen. Techniken umfassen:
- Affine Transformation (kombiniert Rotation, Reflexion, Translation und Skalierung)
- Rotation: Drehen von Bildern um einen bestimmten Grad, um Modelle zu helfen, Objekte in verschiedenen Winkeln zu erkennen. Beispiel: total.com
- Reflexion: Spiegelbild der Bilder horizontal oder vertikal, um eine Veränderung der Orientierung einzuführen.
- Translation: Verschieben von Bildern in verschiedene Richtungen, um Modelle positionelle Invarianz zu lehren.
- Skalierung: Anpassen der Größe der Objekte im Bild.
- Scheerung (Shear Mapping): Schräglage von Bildern, um verschiedene Sichtwinkel nachzuahmen.
- Zuschneiden: Entfernen von Abschnitten des Bildes, um auf bestimmte Merkmale zu konzentren oder Aufnahmen zu simulieren.
- Elastische Verzerrung: Formierung des Bildes nicht linear, die 2003 vorgeschlagen wurde und bei Aufgaben wie der Handschrifterkennung effektiv ist.
- Morphing innerhalb derselben Klasse: Erzeugen neuer Stichproben durch Anwendung von Morphing-Techniken zwischen zwei Bildern der gleichen Klasse, die die Intra-Klassen- Diversität erhöhen; die zweite Hälfte.
Farbraumtransformationen
Farbraumtransformationen verändern die Farbeigenschaften von Bildern, die Variation in Beleuchtung, Sättigung und Kontrast adressieren. Diese umfassen:
- Helligkeitsanpassung: Variierung der Helligkeit des Bildes, um unterschiedliche Lichtverhältnisse zu simulieren - Kontrastanpassung.
- Kontrastanpassung: Verändern des Kontrasts, um die Generalisierung unter klaren Verhältnissen zu unterstützen.
- Sättigungsanpassung: Änderungen der Sättigung, um Modelle auf Bilder mit unterschiedlichen Farbintensitäten vorzubereiten.
- Farb-Jitter: zufälliges Justieren von Helligkeit, Kontrast, Sättigung und Farbton, um die Farbvariabilität einzuführen, ein Standard für die Robustheit in CNNs.
Rauschinjektion
Die Injektion von Rauschen in Bilder simuliert Unvollkommenheiten des realen Systems und lehrt Modelle, irrelevante Variationen zu ignorieren. Technik umfasst:
- Gaußsches Rauschen: Hinzufügen von Gaußsches Rauschen, um Sensorrauschen oder Körnigkeit zu imitieren.
- Salz-und-Pfeffer-Rauschen: Einführung von zufälligen schwarzen oder weißen Pixeln, um Sensorrauschen oder defekte Pixel zu simulieren.
Diese Methoden sind fundamental für die Robustheit von Klassifikatoren gegenüber echten Verzerrungen und wurden seit den 1990er-Jahren umfassend verwendet.
Datenaufbereitung für Signalverarbeitung
Datenaufbereitung ist auch auf Zeitreihen und Signalverarbeitung anwendbar. Für Zeitreihen können Residuums- oder Block-Bootstrap-Methoden verwendet werden, um augmentierte Sequenzen zu erzeugen, die die Robustheit von Modellen mit zeitlichen Daten verbessern.
Biologische Signale
Im biomedizinischen Bereich ist die Datenaufbereitung von großer Bedeutung, da diese Daten hochdimensional und oft knapp sind. Anwendungen in Robotiksteuerung und bei Patienten mit und ohne Behinderung basieren oft auf Subjekt-spezifischer Analyse wegen der begrenzten Anzahl an Stichproben. Empire durch synthetische Datengenerierung kann diese Datensätze deutlich erweitert werden.
Forscher haben die Schwierigkeit beim Beschaffen, von insbesondere des Elektromyogramm (EMG) für Parkinson-Erkrankung bemerkt. Zanini et al. zeigten, wie eine Generative Adversamalterie Network (insbesondere ein Deep Convolutional GAN) für die Style-Transformation eingesetzt werden kann, um synthetische EMG-Signale zu generieren, die der Patienten mit Parkinson entsprechen. Dieser Ansatz zeigt, wie Generative KI-Techniken die Datenerweiterung unterstützen können.
Ähnlich haben Wang et al. bei Elektroenzephalographie (EEG)-Daten untersucht, ob die Verwendung von tiefen Convolutional Neural Networks für die Emotionserkennung auf Basis von EEG-Daten die Erkennungsgenauigkeit für die Emotionserkennung verbessert, wenn Datenaufbereitung angewendet wird.
Häufig verwendete Methode der synthetischen Signalerzeugung ist die Wiederanordnung von Komponenten echter Daten. Lotte schlägt die Methode "Artificial Trial Generation Based on Analogy" vor, in der drei Datenbeispiele x₁, x₂ und x₃ als Grundlage dienen; durch Analogie wird eine synthetische Probe x_synthetic erstellt. Dafür re b wird eine Transformation definiert, die x₁ so verändert, dass es x₂ ähnlicher wird, und diese Transformation wird dann auf x₃ angewendet, um die synthetische Probe zu erzeugen. Dieser Ansatz wurde in Brain-Computer-Interface-Anwendungen verwendet, in denen die Datenknappheit ausgeprägt ist ist.
In den 2010er Jahren, der Aufstieg des Deep Learnings erhöhte die Notwendigkeit der Daten aufbereitung, da neuronale Netze große Datenmengen benötigen. Techniken wie SMOTE und GAN-basierte Methoden wurden in Werkzeugsets integriert, um Ungleichgewichte und Knappheit in spezialisierten Bereichen wie medizinischen Bildgebung und biologischen Signalen zu adressieren.
Beziehung zu anderen Methoden
Die Datenaufbereitung wird oft mit anderen Formen der Regularisierung verglichen, wie Dropout oder Weight Decay, aber es unterscheidet sich darin, dass die Daten modifiziert werden anstatt das Modell. Sie ist ein Schlüsselbestandteil des Erfolgs von Deep-Learning-Modellen in Computer Vision (z.B. auf ImageNet), Natural Language Processing und Sprachererkennung ist.
Im Bereich der Transformer ist die Datenaufbereitung normalerweise weniger verbreitet, da diese Modelle auf riesigen Korpora trainiert werden, aber sie hat dennoch Anwendungen, z.B. bei Feintuning und Few-Shot-Learning. Beispiel, z. B. durch die Nutzung generativer Modelle als Datenaufbereiter.
In den letzten Jahren wurden generative Modelle selbst als Datenerweiterer verwendet, wie etwa zur Erzeugung realistischer Bilder mit Generative Adversarial Networks, aber die ursprünglichen und rechenintensiven Techniken bleiben wegen ihrer geringen Rechenkosten weit verbreitet.
Grenzen und Überlegungen
Auch wenn Datenaufbereitung effektiv ist, sollten Transformationen die Bezeichnung (Label) beibehalten. Beispiel: Eine horizontale Spiegelung einer handgeschriebenen Ziffer kann aus einer '6' eine '9' erzeugen, das Modell kann ins Irre führen. Deshalb ist eine domainspezifische Augmentation entscheidend. Unterschiedliche Datensätze erfordern oft verschiedene Augmentierungsstrategien, falsche Augmentation kann die Modellgenauigkeit verringern.
Der Forschungszweig hat sich im Bildbereich auch über handgefertigte Transformationen hinaus zu gelernten Augmentationsstrategien, wie sie in AutoAugment, entwickelt bei Google 2019, zu suchen sind, entwickelt.
Darüber hinaus muss die Datenaufbereitung über alle Domänen durch Aufbereitung der Daten auf einem Testdatensatz validiert werden, da die synthetischen Daten unrealistische Bias erzeugen können. Dennoch bleibt sie ein grundlegendes Werkzeug im Arsenal des Machine-Learning-Praktikers.
Gegeben der extensiven Verwendung in einer Vielzahl von Feldern, von der medizinischen Bildgebung bis hin zu autonomen Fahrzeugen, ist Datenaufbereitung ein Grundpfeiler der modernen KI. Die Integration durch große Cloud-Dienstleister wie Amazon Web Services, Azure und Google Cloud ermöglicht es, standardisiar einsetzte Algorithmen in die Automatisierten Machine-learning-Pipelines zu integrieren, damit Nutzer ohne eigendefinierte Code diese Techniken nutzen können.
Die Effektivität in der Reduktion von Überanpassung macht die Datenaufbereitung unvermeidlich für Modelle, die mit begrenzten Datensätzen trainiert werden, und sie ist weiterhin ein dynamisches Forschungsfeld, wobei generative Modelle neue Möglichkeiten zur Erzeugung synthetischer Daten eröffnen, die Real Distributionen nachempfinden.
Zusammenfassend: Datenaufbereitung ist eine vielseitige, leistungsfähige Methode, die Datenknappheit, Ungleichgewicht und Überanpassung adressiert und Anwendungen von Computersehen bis hin zu Natural Language Processing hat.,