Gibt es Intelligenztests für Roboter? Workshop diskutiert Benchmarks für kognitive Systeme

Internationale Spitzenforscher treffen sich in Bielefeld, um neue Methoden für Benchmarking und Evaluation von interaktiven, kognitiven Systemen zu diskutieren.

Der Bielefelder Exzellenzcluster Kognitive Interaktionstechnologie (CITEC) veranstaltet am 7. und 8. Februar im Zentrum für interdisziplinäre Forschung einen internationalen Workshop zum Thema "Benchmarking und Evaluation von interaktiven, kognitiven Systemen." Die Universität Bielefeld etabliert sich mit diesem Workshop in einer internationalen Vorreiterrolle, in der die technische Entwicklung interaktiver, kognitiver Systeme mit Analysemethoden aus den Disziplinen Psychologie, Linguistik und Soziologie gekoppelt wird.

Ziel des Workshops sind neue Methoden in dem Bereich der Qualitätsbewertung interaktiver, kognitiver Systeme. Das Benchmarking, d.h. das systematische Testen in einem klar definierten Szenario, von virtuellen Agenten und interaktiven Roboter-Systemen hat eine weitreichende Bedeutung auf dem Weg von Grundlagenforschung zu Anwendungen im Alltag. Zukünftige Benchmarks in diesem Forschungsfeld werden daher die Ausrichtung der Forschung in diesem Bereich nachhaltig beeinflussen.

Interaktive, kognitive Systeme sind solche technischen Systeme (z.B. Roboter, virtuelle Agrenten oder Dialogsysteme), die Fähigkeiten aufweisen, die sonst insbesondere uns Menschen zugeschrieben werden, wie z.B. sich in der Welt zu orientieren, Gegenstände zu greifen und zu manipulieren, Menschen in der Nähe anzusprechen und zu verstehen, ein Gespräch zu führen und Informationen weiterzugeben, sich in sozialen Situationen zurechtzufinden. Im Gegensatz zu dem typischer Weise hoch präzisen und stark repetitiven Verhalten von Computern und Robotern, kommt es bei derartigen Fähigkeiten auf weiche, flexible und sich anpassende Verhaltensweisen an. Das Ziel hinter der Entwicklung solcher Technologien ist, dass sich Maschinen an den Menschen und an die für den Menschen entworfene Umgebung anpassen und nicht umgekehrt. Dies bedeutet allerdings auch, dass bisherige Paradigmen der Messung der Leistungsfähigkeit von Systemen nicht mehr greifen und damit der quantitative Fortschritt in diesem Forschungsfeld immer schwieriger nachweisbar, vergleichbar und vermittelbar wird.

In den letzten Jahren hat der allgemeine Fortschritt der Forschung zu kognitiver Robotik, sozialen Agenten und Mensch-Roboter-Interaktion zu erstaunlichen Ergebnissen geführt. Es ist jedoch noch sehr schwer, die Leistung verschiedener Systeme zu vergleichen und zu beurteilen, da entsprechenden Standards für die Bewertung fehlen. Der Workshop wird sowohl die jüngsten Entwicklungen im Bereich der System Bewertung als auch zukünftige Anforderungen an das Benchmarking diskutieren.

Entlang aktueller Fortschritte, Entwicklungen und Forschungstrends wird der Workshop Diskussionen zu zentrale Fragen fördern, wie:

  • Was sind die Auswirkungen bestehender Robotik-Wettbewerbe auf die Entwicklung von technischen Systemen? Und wie sollten sie angepasst oder optimiert werden, um zukünftige reale Anforderungen widerzuspiegeln?
  • Was sind die Voraussetzungen, um einen Vergleich von Ansätzen und Techniken auf Systemebene zu ermöglichen?
  • Lassen sich die "kognitiven Fähigkeiten" eines Systems messen? Wenn ja, was sind geeignete Maßeinheiten? Wie können diese in Verbindung zu System Design-Entscheidungen stehen?

Entsprechend des großen Bedarfs an solchen neuen, objektiven Vergleichsmöglichkeiten nehmen international renommierte Forscher aus Japan, USA, Kanada, Schweden, Italien, Spanien, Frankreich, Niederlande, Österreich und Deutschland an dem Workshop teil. Neben Spitzenstandorten für humanoide und Service- Roboter sind in der stark interdisziplinär ausgerichteten Teilnehmergruppe Forscher aus den Disziplinen Linguistik, Psychologie, automatische Sprachverarbeitung, maschinelles Lernen und virtuelle Agenten vertreten. Der im Rahmen der Exzellenzinitiative des Bundes und der Länder seit November 2007 geförderte Bielefelder Exzellenzcluster Kognitive Interaktionstechnologie (CITEC) nimmt sich durch die Initiierung und Ausrichtung dieses Workshops eines dringenden Bedarfs der Forschung an und bestätigt ein weiteres Mal seine Rolle als innovatives, internationales Kompetenz- und Forschungszentrum im Bereich „Interaktive Intelligente Systeme“ und stärkt die internationale Sichtbarkeit dieses Forschungs-Profilschwerpunkts der Universität Bielefeld.

Weitere Informationen finden Sie im Internet unter: http://www.cit-ec.de/BCogS_2011