Computers, Automation and the Human Future #chi2017

Nicholas Carr schloss die CHI 2017 mit einer kritischen Sichtweise auf Autonomie und Digitalisierung. Er sieht klar die Fortschritte, die Human-Computer-Interaction in den lezten 10 Jahren gemacht. Und klar, auch die vielen Vorteile, die digitale Systeme für Menschen gebracht haben. Er zeigte aber am Beispiel der Inuit und dem Aufkommen von GPS auf, dass wir Menschen durch Technologie verlernen mit der Natur und ihrer Umgebung zu interagieren. Jedes Mal, wenn Dinge digitalisiert werden oder neue Technologien eingeführt werden, entstehen neben den gewollten Vorteile der Technologie auch Nebenwirkungen, welche die Designer und Entwickler nicht vorhersehen konnten (The substitution myth). So verlernten beispielsweise die Inuit sich anhand ihre Umgebung und der Natur zielgerichtet und sicher durch Schneelandschaften zu navigieren. Sie verlassen sich auf ihre GPS-Geräte … bis zu dem Moment, in dem sie nicht mehr funktionieren.


Er ging in seinem Vortrag auf 3 Effekte ein, die bei der Automatisierung und Digitalisierung auftreten können:

Automation complacency
Menschen vertrauen Computern in der Regel sehr schnell. Sie gehen davon aus, dass die digitalen Systeme korrekt arbeiten und delegieren sehr schnell Aufgaben an sie. Durch das Vertrauen hören sie relativ schnell damit auf den automatisierten Prozess aufmerksam zu beobachten und können dann im Ernstfall nicht mehr schnell genug reagieren. Ein kleines Beispiel ist da die Rechtschreibkorrektur und die vielen teilweise sehr witzigen Messenger-Nachrichten, die durch diesen Effekt entstehen. In Bereichen, in denen Automation schon länger zum Alltag gehört, führt dieser Effekt zu sehr dramatischen Folgen. Beispiel Flugverkehr: Piloten müssen nach seiner Aussage heute gerade mal 3 min etwas aktiv im Flug tun. Den Rest der Zeit beobachten sie lediglich, was die Automaten machen. Dadurch kommt es zu automationsbedingten Fehlern. Die Aufmerksamkeit sinkt. Dadurch werden Fehler zu spät erkannt und unter Umständen nicht schnell genug reagiert.

Automation bias
Menschen glauben das, was sie auf Computerbildschirm lesen. Sie vertrauen den digitalen Informationen ohne diese ständig kritisch zu hinterfragen. Hier nannte er folgendes Beispiel: Ein Kreuzfahrtschiff verlor auf hoher See seine GPS-Antenne. Die Crew bemerkte dies nicht und da das GPS-System anzeigte, dass das Schiff auf dem richtigen Kurs ist, achtete auch niemand auf die Umgebung. So konnte der grobe Navigationsfehler nicht rechtzeitig erkann werden. Das Schiff lief auf eine Insel. Im Gesundheitswesen kann der Effekt dazu führen, dass Krankheiten übersehen werden. Radiologen erhalten schon heute im Rahmen der Befundung automatisierte Hinweise auf möglicherweise kritische Stellen auf Röntgenbildern. Das ist im Grunde eine gute Sache, da so die Diagnose unterstützt wird. Die Hervorhebungen auf Röntgenbildern haben aber auch den Effekt, dass Radiologen weniger Aufmerksamkeit auf die Bereiche legen, die nicht hervorgehoben werden und so Krankheiten übersehen können. Er fasste diesen Effekt so zusammen: Die Nutzer von Automaten schalten nach und nach ihre Instikte ab.

De-skilling, or „the degeneration effect“
Den größten Nachteil sieht er im De-skilling-Effekt. Wie auch schon in der industriellen Revolution zu beobachten war, verlieren Menschen mit der Automatisierung Schritt für Schritt auch die Fähigkeiten für die automatisierten Arbeitsschritte. Das ist im Grunde nicht weiter verwunderlich, da die Maschine ja den Arbeitsschritt übernimmt. Der negative Aspekt daran ist, dass den Menschen durch die Automatisierung die Möglichkeit genommen wird die grundlegenden Funktionsweisen zu erlernen und sich Expertenwissen anzueignen, um die Arbeit der Maschine beurteilen zu können. Sie sind abhängig von der Maschine und davon, dass diese die Arbeit richtig erledigt. Beispiel Taschenrechner: Wenn Kinder von Anfang an Rechnen mit dem Taschenrechner lernen, dann sind sie ihr lebenlang auf diesen angewiesen. 

„After a while you can’t do anything without pulling out your smartphone.“

Aus betriebswirtschaftlicher Sicht ist das klar von Vorteil. Wenn Menschen von Algorithmen oder Systemen des Unternehmens abhängig oder auf diese angewiesen sind, dann steigert das natürlich den Unternehmenserfolg. Aber es ist auch eine Gefahr, wie die Wahl von Trump auf Basis von Fehlinformationen zeigt. Die Konsumenten von sozialen Medien haben schlicht verlernt sich kritisch mit den Informationen auseinanderzusetzen, diese zu hinterfragen und Manipulationen zu erkennen. So zeigte Beispielsweise Facebook für Liberale oder Konservative komplett andere Inhalte an und stellte die gleichen Sachverhalte je nach Interessenslage passend dar. 

Weil die Menschen nicht mehr mit den Informationen umgehen können und sich blind auf die Algorithmen verlassen, sind sie in einer Welt gefangen, die nur noch ihre Interessen und populären Inhalte wiedergibt (Echo Chambers).  

Designing for humans flourishing

Interactive Systeme müssen mit dem menschlichen Lernen und der Weiterentwicklung der menschlichen Fähigkeiten in Einklang gebracht werden. Es gilt trotz Automatisierung die richtigen Anreize dafür zu setzen und dadurch Automation Complacency oder Stress durch Überforderungen beim Ausfall der Automaten zu vermeiden. Im Rahmen der Automatisierung und Digitalisierung sollte die Frage nach dem menschlichen Wohlergehen, der menschlichen Entwicklung und der Freude am Leben im Mittelpunkt stehen.

Für die Gestaltung von digitalen Systemen, die diese Aspekte berücksichtigen, gab er folgende Empfehlungen:

  • Automate after mastery: Erst im Kopf Rechnen lernen und dann Rechnen mit dem Taschenrechner automatisieren.
  • Transfer control between computer and operator: Die Verantwortung für eine Aufgabe sollte zwischen Anwender und Mschine immer mal wieder wechseln, um die Aufmerksamkeit hochzuhalten.
  • Allow professional to assess situation before providing algorithmic aid: Der menschliche Experte sollte zuerst analysieren und dann erst die Empfehlungen der Maschine zur Absicherung seiner Einschätzung einholen. 
  • Don’t hide feedback: Trotz Automation sollen die Anwender Feedback darüber erhalten, was die Maschinen gerade tun. Nur so können Menschen lernen und einschätzen, was die Maschinen tun.
  • Allow friction: Das Streben der Vereinfachung und Komplexitätsreduzierung muss kritisch hinterfragt werden. Das Meistern von Komplexität und Schwierigkeit kann für den Lernprozess (Beispiel: Videospiele)

Technology is a means of production. Technology is a means of experience.