Viele Aufgaben und Use-Cases aus dem Bereich Data Science und Datenanalyse können grundsätzlich mit zwei verschiedenen Lösungsansätzen bearbeitet werden: Regelbasierte Ansätze auf der einen Seite und Maschine Learning/Deep Learning Modelle auf der anderen Seite. Regelbasierte Ansätze benötigen häufig deutlich geringere Mengen an Trainingsdaten und ihre Ergebnisse sind besser vorhersagbar. Machine Learning basierte Ansätze sind dafür häufig flexibler und benötigen kein umfangreiches von Hand erstelltes Regelset. Dafür ist aber oft ein großer Datensatz manuell zu labeln bzw. zu kategorisierten. Dies gilt insbesondere für Aufgaben aus den Bereichen der Bildanalyse und ‑segmentierung. Der hier vorgestellte Use-Case beschäftigt sich mit der Frage: Wie lassen sich Pflanzen und insbesondere ihre Blätter automatisch segmentieren und vermessen? Diese Fragestellung trifft man unter anderem in verschiedenen Bereichen der Pflanzenzucht sowie bei der Ertragsoptimierung von Indoor-Hydrokulturen an. So kann zum Beispiel ermittelt werden, welche klimatischen Bedingungen optimal für das Pflanzenwachstum sind.
Niedrige Kosten für Kamerasysteme, Speicherplatz und CPU-Leistung ermöglichen seit einiger Zeit die Erfassung, Speicherung und Analyse großer Mengen an Bilddaten. Auch die Pflanzenzüchtung ist ein Bereich, der von dieser Entwicklung profitiert. Durch die systematische Aufnahme von Bilderreihen kann beispielsweise das Wachstum verschiedener Sorten unter unterschiedlichen Klimabedingungen untersucht werden. Aufgrund der großen Menge anfallender Bilddaten wird eine automatisierte und verlässliche Bildanalyse zu einem entscheidenden Schritt der Datenaufbereitung.
Werden die Aufnahmen unter kontrollierten Bedingungen (insbesondere gleiche Lichtverhältnisse) erstellt, lassen sich bereits mit einfachen regelbasierten Analysen viele wertvolle Informationen extrahieren. So lässt sich beispielsweise mit einem Farb-Threshold die Pflanze vom Hintergrund trennen, woraus sich verschiedene Kennzahlen ableiten lassen. Bei konstanter Kamera- und Aufnahmegeometrie kann die Pflanzenhöhe aus der Pixelhöhe abgeleitet werden und aus der Anzahl der Pflanzenpixel (zweidimensional sichtbare Pflanzenfläche) kann mittels zuvor erstellten Regressionsmodellen die Biomasse geschätzt werde.
Regelbasierte Methoden
Traditionelle regelbasierte Bildanalysemethoden stoßen allerdings schnell an ihre Grenzen. Ein Beispiel dafür ist das Zählen von Blättern in einem zweidimensionalen Bild. Die einzelnen Blätter gleichen sich typischerweise in Farbe und Textur stark. Wenn sie sich nun berühren oder überlappen, stoßen Algorithmen wie die Graph-basierte Segmentierung schnell an ihre Grenzen. Das gleiche gilt bei uneinheitlichen Lichtverhältnissen mit Licht und Schatten.
Eine Möglichkeit ist nun, Regeln für die Blattform zu definieren und damit die Segmentierung zu verbessern. Wenn zum Beispiel eine Ader das Blatt scheinbar in zwei Hälften teilt, sollte dies aufgrund der Formvorgabe erkannt werden und das Blatt im Ergebnis nicht in zwei Segmente aufgeteilt werden. Wenn also in einem ersten Schritt das Blatt übersegmentiert wird, kann das in einem zweiten Schritt durch das Überprüfen der Form erkannt und korrigiert werden, indem man zusammengehörende Segmente wieder vereinigt. Der umgekehrte Fall einer Untersegmentierung kann so ebenfalls erkannt und korrigiert werden. Dafür ist allerdings ein zweiter Segmentierungsschritt nötig, was die Analyse erschwert. Ob eine Über- oder Untersegmentierung zu erwarten ist, kann mit den Parametern des Segmentierungsalgorithmus gesteuert werden.
Der Regelbasierte Ansatz ist äußerst anspruchsvoll. Viele Pflanzen weisen komplexe Blattformen auf. Dazu kommt, dass die Blattform nicht statisch ist, sondern sich zwischen einzelnen Pflanzen derselben Art stark unterscheiden kann. Selbst innerhalb eines einzelnen Individuums ist mit einer großen Variabilität der Blattform zu rechnen. Einerseits verändert sich die Form und Größe eines Blattes während dessen Wachstums, andererseits kann die ausgewachsene Blattform von verschiedenen Faktoren, wie dem Alter der Pflanze oder Umweltbedingungen, beeinflusst werden. Eine Blattformregel muss also gleichzeitig spezifisch genug sein, dass keine falsche Segmentierung vorgenommen wird, und flexibel genug, dass die natürliche Variation berücksichtigt wird. Aufgrund der hohen Variabilität der Blattformen ist eine solche Regel in der Praxis aber nur sehr schwer formulierbar.
Eine Möglichkeit, solchen Limitationen zu begegnen, ist bei der Datenerfassung mehr oder bessere Sensoren zu verwenden. Mit speziellen Kameras, sogenannten Hyperspektralkameras, lassen sich gezielt bestimmte Wellenlängen analysieren, oder mit Laserscannern können räumliche Daten erfasst werden. Diese zusätzlichen Informationen können nun in das Segmentationsmodell einfließen und die Genauigkeit potenziell verbessern. Damit wird das Modell aber auch komplexer und weniger breit einsetzbar. Zusätzlich sind die Kosten solcher Sensoren oft ein Hindernis.
Deep Learning
In den letzten Jahren hat sich Deep Learning als alternative Methode der Bildanalyse etabliert. Beim Auswerten von Pflanzenbildern werden dabei besonders Convolutional Neural Networks (CNN) erfolgreich eingesetzt. Für das Beispiel der Blattsegmentierung hat sich dabei das Mask R‑CNN bewährt. Dabei werden die Objekte (Blätter) erkannt und deren genaue Position (Pixelmaske) angegeben.
Ein potenzielles Hindernis bei der Anwendung ist aber das benötigte Training-Datenset. Das Analysieren von Pflanzenbildern ist ein relativ kleines Forschungsgebiet und entsprechend gibt es wenig öffentlich verfügbare Datensets, die zur Modellierung verwendet werden können. Das bedeutet oft, dass die Trainingsdaten selbst erstellt werden müssen, was mit einem erheblichen Aufwand verbunden sein kann. Tools wie „labelme“ können für diesen Schritt verwendet werden. Für das eigentliche Training bietet sich „Detectron2” an.
Gleich wie bei traditionellen Segmentationsalgorithmen stellen variable Lichtverhältnisse eine Herausforderung dar und die Ränder der Maske stimmen nicht immer exakt mit dem Objekt überein. Trotzdem resultiert Mask R‑CNN typischerweise in sehr genauer Blattsegmentierung. Einzig sehr kleine Objekte können aufgrund des Modelldesigns nur schwer erkannt werden.
Fazit
Ob traditionelle Segmentierungsalgorithmen oder Deep Learning verwendet werden soll, hängt von den Umständen ab. Das Entwickeln eines regelbasierten Modelles, das akkurate und verlässliche Resultate liefert, kann sich als sehr aufwendig erweisen. Wenn dabei die Anforderungen an die Bilder eng definiert wird, ist auch der Anwendungsbereich des Modelles beschränkt, erreicht auf der anderen Seite aber reproduzierbare Segmentierungsergebnisse.
Demgegenüber steht der Einsatz von künstlicher Intelligenz in Form von Deep Learning Modellen. Für diese wird jedoch ein umfangreiches Trainingsdatenset benötigt. Muss dieses selbst erstellt werden, ist dieser Aufwand gegenüber anderen Ansätzen abzuwägen. Sobald aber initial ein solches Trainingsdatenset erstellt ist, kann man von der steten Weiterentwicklung der Deep Learning-Methoden profitieren.
