Ähnlichkeit und Unsicherheit in der medizinischen Bildanalyse
Ähnlichkeit von Bilder ist einer der wichtigsten Bestandteile der medizinischen Bildverarbeitung. Das Finden von Korrespondenzen zwischen medizinischen Scans von verschiedenen Patienten, Zeitpunkten und Modalitäten ist von enormer Bedeutung für klinischen Anwendungen von Bildanalyse, z.B.: Atlas-basierte Segmentierung, Bewegungsschätzung, Langzeitstudien und multi-modaler Bildfusion. Die Definition von Ähnlichkeiten zwischen Bildern ist schwierig da Scans häufig lokale Variationen in Kontrast und Rauschen aufweisen, sowie z.T. mit unterschiedlichen Aufnahmetechniken generiert wurden. Ein Ziel diese Projektes ist die Erarbeitung und Weiterentwicklung von neuen Ähnlichkeitsmaßen, die invariant zu unterschiedlichen Modalitäten und robust gegenüber Störeinflüssen sind, jedoch weiterhin sehr gut zwischen verschiedenen anatomischen und geometrischen Bildmerkmalen unterscheiden können.
Der “modality independent neighbourhood descriptor” (MIND) ist ein multi-dimensionaler lokaler Bilddeskriptor (siehe Abb. 1), den wir, basierend auf dem Konzept der Selbstähnlichkeit, für multi-modale Registrierung entwickelt haben [1]. Die Anwendung von MIND zeigt deutliche Verbesserungen für die Registrierung von CT und MRT Thoraxaufnahmen im Vergleich zu anderen Methoden auf dem Stand der Technik (z.B. mutual information). Das Verfahren kann auch zur Registrierung von Scans der gleichen Modalität, z.B. 4D-CT verwendet werden, und liefert hierbei eine verbesserte Genauigkeit und erhöhte Robustheit. Jeder MIND Deskriptor wird basierend auf Distanzen lokaler Bildpatches in der Umgebung jedes Voxels unabhängig voneinander für beide Scans berechnet. Der Vergleich zweier Bilder erfolgt durch einfache Distanzen, z.B. die Summe absoluter / quadratischer Differenzen der Merkmalsvektoren. Der “self-similarity context” (SSC) [2] ist eine Weiterentwicklung von MIND. Dieser definiert lokale Nachbarschaftsbeziehungen für die Berechnung der Selbstähnlichkeiten so, dass der lokale Informationskontext präziser dargestellt wird und sich die Paarung der Deskriptoren verbessert. Wir haben weiterhin ein effizientes Quantisierungsschema entworfen, welches eine Hardware-technisch sehr schnelle Berechnung von Distanzen zwischen zwei Deskriptoren mittels des Hamming-Gewichtes ermöglicht. Die erfolgreiche Anwendung für die herausfordernde Registrierung von intra-operativem 3D Ultraschall zu MRT Aufnahmen wurde in [2] gezeigt.
Unsicherheit ist ein bedeutendes Problem für alle automatischen Methoden der Bildanalyse. Allerdings, erlauben wenige bekannte Algorithmen die Schätzung und Ausgabe von Unsicherheiten der berechneten Ergebnisse. Die automatische Fehlererkennung von medizinischen Bildverarbeitungsmethoden hat eine bedeutende Wirkung für die Etablierung neuer Methoden in der klinischen Praxis. Die Rückgabe der Zuverlässigkeit wäre nützlich für Ärzte um zu entscheiden ob in einem speziellen Fall die automatische Analyse berücksichtigt werden soll. Diskrete Optimierungsmodelle (basierend auf Markov Random Fields) erlauben Verfahren zur Berechnung der Unsicherheit, da sie auf die Wahrscheinlichkeit für das Auftreten von bestimmten Modellparametern rückschließen können. Für die Anwendung der 3D Bildregistrierung haben wir ein Verfahren entwickelt, welches über eine Vielzahl von möglichen Lösungsvorschlägen (dense displacement sampling, deeds) für die gesuchten Bewegungsvektoren optimiert [3,4]. Es ermöglicht eine sehr schnelle und zugleich genaue Registrierung von unterschiedlichen medizinischen Bildern, und wurde insbesondere für einen großen Datensatz von Lungen-CT Aufnahmen evaluiert (ein Beispiel ist in Abb. 2 gezeigt, quantitative Ergebnisse siehe empire10.isi.uu.nl/res_deedsmind.php). Die Verteilung der Wahrscheinlichkeiten über den Raum potentieller Verschiebungsvektoren kann mit Hilfe bekannter Optimierungsverfahren (z.B. belief propagation) bestimmt werden, und genutzt werden um die lokale Genauigkeit der Registrierung zu schätzen. Wir haben dieses Verfahren in [5] erfolgreich für die Verbesserung von Atlas-basierter Segmentierung eingesetzt. Ein weiterer Aspekt der in diesem Projekt betrachtet wird ist die Verwendung von verschiedenen (unterschiedlichen) komplementären Bildbeschreibungen. Der Einsatz von mehreren Graphen aus Supervoxeln wurde in [6] untersucht.
Die Software, welche von M.P. Heinrich für die unten genannten Veröffentlichungen entwickelt wurde, kann frei unter folgender Adresse heruntergeladen werden: www.mpheinrich.de/software.html
Dabei sind ein sehr effizientes und genaues 3D Registrierungspaket deeds für Bilder der gleichen oder unterschiedlicher Modalität, sowie Referenzcode um MIND und SSC Deskriptoren zu berechnen.
Ausgewählte Publikationen
- Mattias P. Heinrich, Mark Jenkinson, Manav Bhushan, Tahreema Matin, Fergus V. Gleeson, Sir Michael Brady, Julia A. Schnabel.
MIND: Modality Independent Neighbourhood Descriptor for Multi-modal Deformable Registration.
Medical Image Analysis. vol. 16(7) Oct. 2012, pp. 1423–1435 - Mattias Paul Heinrich, Mark Jenkinson, Bartlomiej W. Papiez, Sir Michael Brady, Julia A. Schnabel.
Towards Realtime Multimodal Fusion for Image-Guided Interventions Using Self-similarities
In: Medical Image Computing and Computer-Assisted Intervention – MICCAI 2013, Lecture Notes in Computer Science Volume 8149, 2013, pp 187-194 - Mattias P. Heinrich, Mark Jenkinson, Sir Michael Brady, Julia A. Schnabel.
MRF-based Deformable Registration and Ventilation Estimation of Lung CT.
IEEE Transaction on Medical Imaging. Vol. 32(7), 1239 - 1248, 2013 - MP Heinrich, M Jenkinson, M Brady, JA Schnabel.
Globally Optimal Registration on a Minimum Spanning Tree using Dense Displacement Sampling
In: Medical Image Computing and Computer Assisted Intervention (MICCAI) 2012. LNCS 7512, pp. 115-122. Springer, Berlin (2012) - Mattias P. Heinrich, Ivor J.A. Simpson, Mark Jenkinson, Sir Michael Brady, Julia A. Schnabel.
Uncertainty Estimates for Improved Accuracy of Registration-Based Segmentation Propagation using Discrete Optimisation
MICCAI Workshop on Segmentation, Algorithms, Theory and Applications (SATA), Nagoya 2013 - Mattias P. Heinrich, Mark Jenkinson, Bartlomiej W. Papiez, Fergus V. Gleeson, Sir Michael Brady, Julia A. Schnabel.
Edge- and Detail-Preserving Sparse Image Representations for Deformable Registration of Chest MRI and CT Volumes.
In: Information Processing in Medical Imaging (IPMI) 2013. LNCS 7917, 463-474, Springer (2013)
Kooperationspartner
Prof. Dr. Julia A. Schnabel
Institute of Biomedical Engineering
University of Oxford
- Forschung
- KI und Deep Learning in der Medizin
- Medizinische Bildverarbeitung und VR-Simulation
- Integration und Nutzbarmachung von medizinischen Daten
- Sensordatenanalyse für assistive Gesundheitstechnologien
- AG Medical Image Computing and Artificial Intelligence
- AG Medical Data Science
- AG Medical Deep Learning
- AG Medical Data Engineering
- Nachwuchsgruppe Diagnostik und Erforschung von Bewegungsstörungen
Ansprechpartner
Heinz Handels
Institutsdirektor
Gebäude 64, 2.OG
,
Raum 87
heinz.handels(at)uni-luebeck.de
+49 451 3101 5600