Die Erfassung und Analyse von physischen und kognitiven Aktivitäten eines Menschen im Alltag und/oder im Labor kann zu besseren diagnostischen und therapeutischen Entscheidungen z.B. bei neurodegenerativen Erkrankungen oder hinsichtlich personalisierter Ernährung führen. Die rasante Entwicklung auf dem Gebiet der Sensorik, insbesondere hinsichtlich der tragbaren Sensorsysteme (Wearables), gibt uns immer mehr Werkzeuge an die Hand, physiologische und behaviorale Messungen am Menschen durchzuführen, nicht nur im Labor sondern auch im Alltag. Ausgewertet von modernen Methoden der lernbasierten Mustererkennung (Machine Learning) können diese multimodalen Sensordaten dazu genutzt werden, die gesundheitsbezogenen Entscheidungen zu informieren.

Im Projekt CogAge haben wir eine Plattform entwickelt, die die physischen Aktivitäten eines Menschen anhand von Sensordaten seiner Wearables kontinuierlich und in Echtzeit erkennt. Da unklar ist, welche Merkmale für eine genaue Erkennung physischer Aktivitäten nützlich sind, generieren wir diese nach dem sog. Codebook-Ansatz. Inspiriert von der Textverarbeitung haben wir das Codebook-Verfahren in Richtung der Modellierung und Klassifikation von multimodalen Zeitreihen weiterentwickelt. Die eindimensionalen Sensorsignale werden zunächst in Zeitfenster unterteilt. Anschließend werden die Signalsequenzen (Codewörter) in den Zeitfenstern nach Formähnlichkeit gruppiert (Clustering). Die Codewörter-Verteilung in den Clustern stellt einen Merkmalsvektor dar, der einen bestimmten zeitlichen Abschnitt des Signals beschreibt. Zum Schluss setzen wir unterschiedliche Klassifikationsalgorithmen zur automatisierten Erkennung der physischen Aktivitäten ein.

In unserer zukünftigen Forschung auf diesem Gebiet planen wir, eine multimodale Sensorplattform (SensFloor, RGB-Kamera, Tiefensensorik, Wearables, etc.) zur detaillierten Erfassung von Körperbewegungen aufzubauen sowie Algorithmen der Sensordatenfusion und Merkmalsextraktion zu entwickeln, die aus den Rohsignalen Bewegungsprofile in Form von hochdimensionalen, mathematischen Modellen erstellen. Auf diese Weise soll WissenschaftlerInnen und ÄrztInnen, die in ihrer Forschung und/oder Versorgung Körperbewegungen in Betracht ziehen, ein Tool zu ihrer präzisen, quantitativen Einschätzung verfügbar gemacht werden. Diese Forschungsaktivitäten werden in dem von uns an der Universität zu Lübeck eingerichteten APPS Lab durchgeführt.