1. Erfassung
Kamera- und Mikrofoneingaben werden lokal für eine Verarbeitung mit geringer Verzögerung und unter Wahrung der Privatsphäre erfasst.
Technologie
Wie A3CP multimodale Signale in adaptive Kommunikation übersetzt.
Die Ability-Adaptive Augmentative Communication Platform (A3CP) übersetzt Bewegungen und Laute mit Unterstützung von Betreuungspersonen in Kommunikation. Sie besteht aus klar abgegrenzten Komponenten, damit das System verstanden, überprüft und im Laufe der Zeit verbessert werden kann.
Modulare Architektur
A3CP ist als modulares Framework aufgebaut: Jede Komponente arbeitet unabhängig und kommuniziert über gemeinsame Datenstandards. Dadurch lässt sich das System leichter überprüfen, erweitern und in Betreuung, Therapie und Bildung einsetzen.
2. Merkmalsextraktion
Landmarken, Bewegungsmerkmale und Audiomerkmale werden in kompakte numerische Vektoren umgewandelt.
3. Klassifikation
Nutzerspezifische Modelle erzeugen Vorhersagen über Absichten mit kalibrierten Konfidenzwerten.
4. CARE Engine
Führt Vorhersagen zusammen, prüft Unsicherheit und veranlasst bei Bedarf eine Klärung durch Betreuungspersonen.
5. Gedächtnis und Lernen
Speichert von Betreuungspersonen bestätigte Beispiele, damit sich das System schrittweise an die Muster des Nutzers anpasst.
6. Benutzeroberfläche und Ausgabe
Steuert die Ausgabe von Sprache, Text oder Symbolen und kann Unsicherheit erklären oder um Bestätigung bitten.
Zentrale Logik
Die CARE Engine
Die CARE Engine (Clarification, Adaptation, Reasoning, and Explanation: Klärung, Anpassung, Schlussfolgern und Erklärung) bildet den Entscheidungskern von A3CP. Sie kombiniert Vorhersagen aus Gesten-, Laut- und Kontextmodellen, bewertet die Konfidenz und entscheidet, wann eine Klärung durch einen Menschen erforderlich ist. Bei geringer Sicherheit stellt sie plausible Interpretationen zur Auswahl, statt sich auf eine einzelne Vermutung festzulegen. So behalten Betreuungspersonen die Kontrolle, während sicheres, individuelles Lernen über die Zeit ermöglicht wird.
Betrieb
Ethische Gestaltung und lokaler Betrieb
A3CP ist darauf ausgelegt, die Privatsphäre zu schützen, überprüfbar zu bleiben und mehrere Betriebsformen zu unterstützen: ausschließlich lokal auf Endgeräten, in der Cloud oder als hybrider lokaler Betrieb mit optionalen cloudbasierten Aktualisierungen. Beim lokalen Betrieb läuft die Inferenz auf erschwinglichen Geräten. Im hybriden Betrieb kann das System lokal arbeiten und bei verfügbarer Verbindung optional Modellaktualisierungen oder Konfigurationsänderungen synchronisieren. Es werden ausschließlich abgeleitete Merkmalsdaten gespeichert, niemals unbearbeitete Video- oder Audiodaten. So bleiben Lernen und Anpassung transparent und erklärbar. Code und Dokumentation sind quelloffen. Dies ermöglicht unabhängige Überprüfung, Replikation und Verbesserung und verringert die Bindung an einzelne Anbieter.
Entwicklungsweg
A3CP hat sich über aufeinanderfolgende Prototypen hin zu einem stabilen, einsetzbaren System entwickelt.
Phase 1
Ein Streamlit-Demonstrator bestätigte die Machbarkeit von Gestenerfassung, Landmarkenvisualisierung und personalisiertem Training.
Phase 2
Eine modulare FastAPI-Architektur schuf eine skalierbare Grundlage für den Einsatz in der Praxis.
Phase 3 (2026)
Integration von Gesten- und Lautklassifikatoren, Training unter Einbeziehung von Betreuungspersonen und erste Pilotstudien.
Vision
Zukünftige Möglichkeiten
Die adaptive Architektur von A3CP kann kreative, therapeutische und wissenschaftliche Anwendungen unterstützen. Da Interaktionen als strukturierte, interpretierbare Daten dargestellt werden können, kann dieselbe Verarbeitungspipeline neben Kommunikation auch Lernen, Kreativität und Erkenntnisse über längere Zeiträume unterstützen.
Musik- oder Kunstgestaltung durch Gesten
Körperliche Signale können musikalischen und visuellen Ausgaben zugeordnet werden. Dies ermöglicht kreativen Ausdruck durch zugängliche, nutzerspezifische Interaktionen statt durch herkömmliche Instrumente oder feinmotorische Steuerung.
Integration mit digitalen Avataren und körperbezogenen Benutzeroberflächen
Interpretierte Absichten können Avatare für die Online-Kommunikation steuern. Nutzer können ihre Darstellung selbst wählen und zugleich die Kontrolle über Bedeutung und Interaktion über räumliche Distanz hinweg behalten.
Adaptive Lernwerkzeuge für Therapie und Bildung
Dieselbe Rückkopplungsschleife, die Unsicherheit berücksichtigt, kann Lernaktivitäten unterstützen, indem sie Aufgabenschwierigkeit, Eingabezuordnungen und Aufforderungen an den einzelnen Menschen anpasst. So kann sie helfen, neue Gesten zu erlernen und Kommunikationsfähigkeiten zu entwickeln.
Langzeitanalysen für klinische Teams
Zusammenfassungen über Wochen und Monate können die klinische Beurteilung unterstützen, indem sie Entwicklungen beim Interaktionserfolg, bei Unsicherheitsraten und bei bestätigten Absichten sichtbar machen.
Multimodale Datensätze zur Erforschung der Kommunikationsentwicklung
Strukturierte Interaktionsaufzeichnungen können Forschungsdatensätze unterstützen, die Kontext, Modellausgaben, Klärungsergebnisse und bestätigte Absichten miteinander verknüpfen. Dadurch werden Untersuchungen zur Kommunikationsentwicklung über längere Zeiträume möglich.
