GestureLabs e.V. · In Zusammenarbeit mit The Open University (UK)
GestureLabs ist eine gemeinnützige Organisation, die gemeinsam mit Partnern aus Wissenschaft, Praxis und Betreuung die Ability-Adaptive Augmentative Communication Platform (A3CP) entwickelt. A3CP ist kein Produkt und kein Gerät. Die Plattform bietet eine gemeinsame Architektur für Kommunikationssysteme, die sich daran anpassen können, wie unterschiedliche Menschen sich durch Bewegung, Laute und alltägliche Interaktion ausdrücken. Sie beruht auf dem Grundsatz, dass Systeme sich an die Nutzer anpassen sollten, statt von Menschen zu verlangen, sich an das System anzupassen.
Die Bedeutung körperlicher Signale hängt häufig vom Kontext ab und kann sich zwischen Umgebungen, Aktivitäten oder im Laufe der Entwicklung verändern. Eine Bewegung oder ein Laut kann zu Hause, in der Schule oder während der Betreuung unterschiedliche Absichten ausdrücken.
Diese Veränderlichkeit erschwert eine konsistente Interpretation und begrenzt die Wirksamkeit von Systemen, die auf festen Zuordnungen oder statischen Trainingsdaten beruhen.
Manche Menschen, die nicht sprechen, kommunizieren durch individuelle Kombinationen aus Bewegung, Lauten, Gesichtsausdruck und zeitlichen Abläufen. Diese Ausdrucksformen lassen sich nicht eindeutig standardisierten Symbolen oder festen Wortschätzen zuordnen und unterscheiden sich häufig erheblich von Person zu Person.
Obwohl solche Signale bedeutungsvoll sind, erfordern sie in der Regel eine individuelle Interpretation. Es kann nicht vorausgesetzt werden, dass ihre Bedeutung auf andere Nutzer, Situationen oder Betreuungspersonen übertragbar ist.
Das Verständnis dieser Signale hängt häufig von vertrauten Betreuungspersonen ab, die die Kommunikationsmuster eines Menschen durch langjährigen Kontakt und gemeinsame Erfahrungen kennengelernt haben.
Dieses Wissen ist selten formalisiert, übertragbar oder durch technische Systeme unterstützt. Wenn Betreuungspersonen wechseln oder sich die Umgebung verändert, kann dadurch das gegenseitige Verständnis beeinträchtigt werden.
Die zugrunde liegende offene Plattform übernimmt Erfassung, Klassifikation, Klärung und Protokollierung. Alles Weitere, etwa Prototypen, konkrete Anwendungen und Forschungswerkzeuge, baut auf diesem gemeinsamen Kern auf.
Benannte Systemkonzepte, die auf unterschiedliche Kommunikationsbedürfnisse und Kontexte abgestimmt sind. Jede Variante definiert typische Hardwarekonfigurationen, Klärungsstrategien und Ausgabekanäle für eine bestimmte Kombination von Fähigkeiten.
Personenspezifische Konfigurationen für den Einsatz in realen Situationen. Sie gehen von einer Systemvariante aus und werden im Laufe der Zeit angepasst, wenn sich Fähigkeiten, Umgebungen und Ziele verändern.
Der Anstoß für dieses Forschungsprojekt ist ein zutiefst persönlicher. Mein zehnjähriger Sohn Eric versteht gesprochene Sprache in zwei Sprachen und ist voller Freude und Begeisterung, aber er spricht noch nicht. Seine bemerkenswerte Entschlossenheit und seine Fähigkeit, auf unterschiedliche nichtsprachliche Weise zu kommunizieren, inspirieren und erfreuen die Menschen um ihn herum.
Stellen Sie sich vor, wie frustrierend und beängstigend es wäre, sich nicht frei ausdrücken zu können, nicht mitteilen zu können, wenn man etwas braucht oder möchte, und in der Interaktion mit anderen stark eingeschränkt zu sein. Als Mutter von drei Kindern, darunter Eric, der eine Zerebralparese hat, habe ich die Bedürfnisse, Herausforderungen und Möglichkeiten von Menschen mit eingeschränkten Kommunikationsfähigkeiten besser verstehen gelernt.
Durch Erics Augen wurde mir bewusst, wie viel wir im Leben als selbstverständlich ansehen. Ich stellte mir vor, wie Technologie die Kommunikation verbessern könnte. Es gibt keine Lösung, die für alle passt. Menschen sind einzigartig in ihrer Art zu kommunizieren, zu handeln und zu leben. Diese Einzigartigkeit tritt bei körperlichen und kognitiven Einschränkungen noch deutlicher hervor.
Ausgehend von den individuellen und vielfältigen Bedürfnissen von Menschen mit Behinderungen entwickeln wir ein neuartiges personalisiertes Kommunikationssystem, das sich an die Fähigkeiten des einzelnen Menschen anpasst, statt von ihm zu verlangen, das System zu erlernen und sich daran anzupassen. Das System wird die individuellen Laute, Bewegungen und Gesten erfassen und in leicht verständliche Kommunikation übersetzen. Indem wir Fortschritte und Ansätze aus Softwaretechnik, Mensch-Computer-Interaktion, Designtechnologien und KI zusammenführen, freue ich mich darauf, dazu beizutragen, dass so viele Menschen ihre Gedanken, Wünsche und Bedürfnisse ausdrücken können.
A3CP wird von GestureLabs gemeinsam mit Forschungspartnern an The Open University und externen Beratern für Projektentwicklung, soziale Innovation und technische Entwicklung entwickelt.
Mensch-Computer-Interaktion
Leitet die A3CP-Architektur, das Interaktionsdesign und die Entwicklungsrichtung. Mitgründer von GestureLabs.
Projektentwicklung
Unterstützt die Projektentwicklung und organisatorische Planung. Mitgründerin von GestureLabs.
Entwicklungsberatung
Berät zu Strategien für soziale Innovation und deren Umsetzung. Externer Berater.
Softwaretechnik (Open University)
Hat das Projekt initiiert und leitet die Forschungszusammenarbeit und Methodik.
Forschung zu maschinellem Lernen (Open University)
Entwickelt multimodale Erkennungsmodelle und Verarbeitungspipelines für maschinelles Lernen.
Hardware und Prototypenentwicklung (Open University)
Berät zur Hardwareintegration, zu Erfassungsmöglichkeiten und zur Prototypenentwicklung.
Organisation und Verantwortlichkeiten
GestureLabs e.V. betreut die offene Plattform; Forschung und Algorithmenentwicklung erfolgen gemeinsam mit unabhängigen wissenschaftlichen Partnern.
GestureLabs e.V. ist für die Pflege des A3CP-Repositories, die Entwicklung des quelloffenen Codes und die Betreuung der Plattform als gemeinnützige Initiative verantwortlich. Der Verein betreut Organisationsstrukturen, Lizenzierung, Dokumentation und Beitragsprozesse, damit die Infrastruktur transparent, überprüfbar und für Betreuungseinrichtungen, Forschende und Entwickler zugänglich bleibt.
Frühe Arbeiten an multimodalen Modellen und Interaktionsdesign wurden an The Open University (UK) durchgeführt. Dort leitete Andrea Zisman als Professorin und Initiatorin des Projekts die Forschung und Entwicklung im Bereich maschinelles Lernen. The Open University hat das Projekt bislang finanziert und trägt weiterhin Forschungsmethodik, Evaluationskonzepte und algorithmische Arbeiten bei.
Die Forschungspartner arbeiten unabhängig von der Betreuung der Plattform. Diese Trennung wahrt die wissenschaftliche Autonomie, ermöglicht die offene Veröffentlichung von Ergebnissen und erlaubt weiteren Einrichtungen eine Zusammenarbeit ohne Anbieterbindung oder proprietäre Abhängigkeiten.
Wir suchen Partner aus Betreuung, Forschung, technischer Entwicklung und Politik, die fähigkeitsadaptive Kommunikationstechnologie als offene, transparente Infrastruktur mitgestalten möchten.