Der schottische Fußballverein Inverness Caledonian Thistle FC, besser bekannt als Caley Thistle, spielt in Schottlands zweitklassiger Liga in einem Stadion, das etwas mehr als 7.000 Zuschauer fasst. Dies ist kein wohlhabendes Team, und es wird nicht viel im Fernsehen berichtet. Um seinen Fans mehr Zugang zur Action auf dem Spielfeld zu ermöglichen, kaufte das Team ein Kamerasystem von Pixellot, einem Unternehmen mit Sitz in Israel.
Pixellot hat das entwickelt, was es „KI-automatisiertes Video“ nennt. Montierte Kameras auf dem Feld werden von KI gesteuert, um die Aktion zu verfolgen, sodass keine Bediener benötigt werden, wodurch ein sendeähnliches Erlebnis entsteht und gleichzeitig Geld gespart wird. Beim Fußball ist die KI von Pixellot darauf trainiert, dem Ball zu folgen, was dazu beiträgt, dass die Kamera immer das Geschehen einfängt.
Einmal im Stadion von Caley Thistle eingesetzt, stieß die KI auf eine unbeabsichtigte Konsequenz, wenn der Schiedsrichter in einem Spiel kahlköpfig war. Die KI konnte den Unterschied zwischen einem Fußball und einer Glatze, die sich über das Spielfeld bewegte, nicht erkennen. Pixellot sagte der Presse, dass es das Problem mit einer Optimierung des Algorithmus beheben könne. Und während es nicht wirklich viel Schaden anrichtete, einen Ball mit einem Kopf zu verwechseln, außer dass es für ein seltsames Fußballsehen sorgte, zeigt die Geschichte, wie KI schief gehen kann, weil ihre Schöpfer es nie als potenzielles Problem betrachteten.
Die Möglichkeiten, wie KI Fehler machen kann, wachsen exponentiell [the technology] wird auf immer komplexere Weise eingesetzt. Betrachten Sie die Sprachübersetzung. KI wird immer besser darin, und es gibt bereits viele Unternehmen für KI-Übersetzungstools, wobei Google mit seinem Service führend ist. Es besteht kein Zweifel, dass KI irgendwann Sprachbarrieren beseitigen kann. Treffen Sie jemanden, der eine Sprache spricht, die Sie nicht beherrschen, und Sie können Ihr Telefon hochhalten, ein paar Ohrhörer einstecken und sich eine Simultanübersetzung anhören. Aber es ist eine enorm komplexe Herausforderung. Diese KIs werden trainiert, indem sie Hunderte Milliarden Wörter aus Quellen aufnehmen, die von Wörterbüchern bis hin zu YouTube-Videos und Chats auf Reddit reichen. Google hat hier einen Vorteil, weil es unzählige Milliarden Suchanfragen, E-Mails und Google-Dokumente aus der ganzen Welt sieht. Die Datenmenge ist so enorm, dass kein Mensch alles wissen könnte, was darin enthalten ist.
Was ist ein algorithmischer Kanarienvogel?
Die Gefahren einer voreingenommenen KI
Wir sehen bereits eine unbeabsichtigte Folge, die Auswirkungen auf die Ungleichheit hat. Einige Sprachen, einschließlich Englisch, fügen Substantiven kein Geschlecht hinzu. Deutsch und Französisch und einige andere Sprachen tun es. Bei der Übersetzung vom Englischen ins Deutsche oder Französische muss die KI entscheiden, welches Geschlecht einem englischen Substantiv zugeordnet werden soll. Wie eine Studie von Forschern der University of Cambridge herausfand, tendieren die Übersetzungen zu Stereotypen. Eine „Reinigerin“ wird weiblich; ein „Ingenieur“, männlich. Die Forscher fanden heraus, dass die Verzerrung durch Umschulen der KI behoben werden kann, aber wenn eine solche KI weit verbreitet wäre, bevor das Problem bemerkt wurde, hätte dies schädliche Folgen haben können.
Ein verpatztes Fußballvideo oder ein voreingenommener Sprachübersetzer sind relativ milde Folgen, wenn man bedenkt, dass KI die Elektrizität dieser Ära ist – sie wird schließlich so gut wie alles antreiben. Die Schöpfer einer KI können vielfältig sein und die besten Absichten haben und versuchen, gewissenhaft zu sein, aber sie werden unweigerlich etwas verpassen. Stellen Sie sich den potenziellen Schaden vor, wenn eine KI, die die Gesundheitsversorgung einer Person leitet, schief geht oder eine KI, die einen Damm betreibt oder Waffen hilft, Ziele zu identifizieren, einen Fehler hat.
Werden Sie verantwortlich oder lassen Sie sich regulieren
Anfang 2021 warnte die US-amerikanische Federal Trade Commission Unternehmen und Gesundheitssysteme, dass diskriminierende Algorithmen gegen Verbraucherschutzgesetze verstoßen könnten. „Ziehen Sie sich zur Rechenschaft – oder seien Sie bereit, dass die FTC dies für Sie erledigt“, schrieb Elisa Jillson, Anwältin in der Abteilung für Datenschutz und Identitätsschutz der FTC, in einem offiziellen Blogbeitrag. Die FTC verbietet unfaire oder irreführende Praktiken, die die Verwendung von rassistisch voreingenommenen Algorithmen beinhalten könnten, schrieb Jillson. Im Jahr 2019 brachte der Kongress einen Gesetzentwurf, den Algorithmic Accountability Act, ein, der die FTC anweisen würde, Vorschriften zu entwickeln, die große Unternehmen verpflichten, Folgenabschätzungen für bestehende und neue „automatisierte Entscheidungssysteme mit hohem Risiko“ – mit anderen Worten KI – durchzuführen. Die Europäische Union erwog im Sommer 2021 strenge KI-Rechenschaftsregeln. Keiner dieser Vorschläge wurde bisher in ein Gesetz umgesetzt, aber es ist offensichtlich, dass Unternehmen schnell und verantwortungsvoll handeln müssen, sonst werden sie mit Regulierung konfrontiert.
Wir können KI entwickeln, die eine andere KI auf Vorurteile oder schlechte Handlungen überwachen kann.
Doch die Unternehmen tun nicht genug. Im Frühjahr 2021 veröffentlichte die Boston Consulting Group einen Bericht, in dem festgestellt wurde, dass mehr als die Hälfte der Unternehmen die Möglichkeiten ihrer Bemühungen um einen verantwortungsvollen Umgang mit KI überschätzen, während nur 12 Prozent ein verantwortungsvolles KI-Programm sogar vollständig implementiert haben.
Unternehmen brauchen einen zuverlässigen Ansatz, um unbeabsichtigte Folgen von KI zu vermeiden – einen Technologiemechanismus, der neben dem Geschäftsmodell arbeitet, um die verantwortungsbewusste Denkweise eines Unternehmens zu unterstützen und sicherzustellen.
Ich nenne einen solchen Ansatz „algorithmische Kanarienvögel“.
Algorithmische Kanarienvögel
Ein algorithmischer Kanarienvogel ist (wie Sie sich vielleicht vorstellen können) wie der sprichwörtliche Kanarienvogel in einer Kohlemine, der eine Warnung ausgibt, die einem Unternehmen die Möglichkeit gibt, eine Katastrophe zu stoppen, bevor sie passiert. Es ist eine KI, die speziell dafür entwickelt wurde, eine andere KI zu beobachten – eine Software-Wache, die tun kann, was Menschen niemals tun könnten, indem sie Milliarden von Datenpunkten überwacht und nach Mustern sucht, die darauf hindeuten, dass etwas nicht stimmt. Startups müssen diese Kanarienvögel einsetzen, um sicherzustellen, dass ihre KI die Absichten des Unternehmens verfolgt, und Alarm schlagen, wenn die Technologie Schaden anrichtet oder wenn andere die KI kapern und sie auf schädliche Weise verwenden (a la Ausländer, die dies ausnutzen). des Algorithmus von Facebook zur Beeinflussung von Wahlen). Ein KI-Kanarienvogel kann auch alle Geschäftspraktiken eines Unternehmens im Auge behalten, um ihm zu helfen, verantwortungsbewusst zu bleiben.
Die Technologie dafür kann gebaut werden. Ein Beispiel ist Grover vom Allen Institute for AI, ein Algorithmus, der von KI generierte gefälschte Nachrichten unter echten Nachrichten finden und blockieren kann, bevor sie ein Massenpublikum erreichen. In einem maschinellen Sinne von „Man muss einen kennen“, fand eine Studie des Brookings Institute heraus, dass KI, da KI gefälschte Nachrichten generiert, sich auch mit der Art von Macken und Merkmalen vertraut machen kann, die eine KI-Nachrichtengeschichte aufweist. Die Studie kam zu dem Schluss, dass Grover bei der Erkennung von Nachrichten, die von Menschen geschrieben wurden, zu 92 Prozent genau war.
Eine Vielzahl von Unternehmen baut bereits KI, die Milliarden von Datenpunkten sammeln und nach Mustern suchen kann, die Probleme vorhersagen. Noodle.ai hat zum Beispiel KI entwickelt, die Signale von Maschinen in einer Fabrik, Lastwagen entlang der Lieferkette, Wetteränderungen und sogar Nachrichtenberichte überwachen kann, um vorherzusagen, was in den Betrieben eines Herstellers vom Rohmaterial bis zum Regal schief gehen könnte, so die Der Hersteller kann dafür sorgen, dass alles reibungslos läuft. Das in New York ansässige Sprinklr baut KI, die Signale von den Kunden eines Unternehmens erfasst, wo immer sie chatten – Twitter, Chatbots, Bewertungen, E-Mails, Anrufe beim Kundendienst – um dem Unternehmen zu helfen, ein Problem mit seinem Produkt oder seiner Marke zu erkennen und es vorher zu beheben wird schlechter.
Wenn die KI all diese Dinge bereits kann, können wir eine KI entwickeln, die eine andere KI auf Vorurteile oder schlechte Handlungen überwachen kann.
Wir brauchen diese KIs, um unbeabsichtigte Folgen zu antizipieren, etwa wenn ein Unternehmen Daten aufsaugt, um sie durch Werbung zu monetarisieren. KIs müssen Folgen zweiter oder dritter Ordnung erkennen, beispielsweise was mit einer Stadt passiert, wenn der E-Commerce zahlreiche Einzelhandelsgeschäfte zur Schließung zwingt.
Die beste Vorgehensweise für Gründer wäre es, algorithmische Kanarienvögel in der frühen Phase der Produktentwicklung zu integrieren – sie in das Produkt und das Unternehmen einzubacken.
Obwohl die Art der unbeabsichtigten Folgen von Unternehmen zu Unternehmen unterschiedlich sein wird, muss die Branche letztendlich damit beginnen, einen kollektiven Ansatz dafür zu entwickeln, wovor sich algorithmische Kanarienvögel schützen sollten. Dazu ist es erforderlich, alle Stakeholder zu verstehen, mit denen das Unternehmen in Berührung kommt.
ESG (Environmental, Social and Corporate Governance) ist ein nützlicher Ausgangspunkt. Es ermutigt Unternehmen, über unbeabsichtigte Konsequenzen in Bezug auf Umwelt-, Sozial- und Governance-Themen nachzudenken. Aber algorithmische Kanarienvögel müssen noch viel weiter gehen. Solche KIs sollten nach Konsequenzen wie Fehlinformationskampagnen, Eingriffen in die Privatsphäre, Ungleichheit, soziale Isolation und Rassendiskriminierung suchen.
Die beste Vorgehensweise für Gründer wäre es, algorithmische Kanarienvögel in der frühen Phase der Produktentwicklung zu integrieren – sie in das Produkt und das Unternehmen einzubacken. Wenn Sie dies rückwirkend tun, ist es wahrscheinlich zu spät. Die Übernahme eines Systemdesign-Ansatzes zur Verantwortung und deren klare Artikulation und Messung ermöglicht es Engineering-Teams, Kanarienvögel tief in ihre Technologien einzubetten und sie als KCIs zu verfolgen. Auf diese Weise können Unternehmen beginnen zu messen, was über ihren eigenen Erfolg hinaus wirklich zählt: die potenziellen unbeabsichtigten Folgen ihrer Technologien und die Verantwortung ihrer Führungskräfte, diese zu mindern.
* * *
Auszug aus Intended Consequences: How to Build Market-Leading Companies With Responsible Innovation von Hemant Taneja, S. 98-104 (McGraw Hill, Januar 2022).