Im vergangenen Juli kündigte Twitter dies an erste Bias-Kopfgeld-Herausforderung. Die einmalige Herausforderung wurde auf HackerOne, einem beliebten Bug-Bounty-Board, gepostet. Es folgte dem gleichen allgemeinen Muster eines öffentlichen Bug-Bounty-Programms, bei dem Unternehmen finanzielle Belohnungen für diejenigen anbieten, die Sicherheitslücken auf ihren Websites und Systemen identifizieren und melden. Das Ziel von Twitters Bias Bounty: potenziellen Schaden zu identifizieren, der durch seinen Bildbeschneidungsalgorithmus verursacht wird, der ein Salienzmodell verwendet.
Acht Tage später, Bogdan Kulynych, ein Ph.D. Student an der Eidgenössischen Technischen Hochschule in Lausanne, Labor für Sicherheits- und Datenschutztechnik, wurde im Wettbewerb mit dem ersten Platz ausgezeichnet und erhielt ein Kopfgeld von 3.500 US-Dollar. Sein Beitrag beinhaltete die Anpassung des Erscheinungsbilds von 16 fotorealistischen Gesichtern, die er mit StyleGAN2-ADA erstellt hatte, um sie gemäß dem Zuschneidealgorithmus von Twitter hervorzuheben. Kulynych demonstrierte, dass der Algorithmus bevorzugte Bilder von Menschen mit einem helleren oder wärmeren Hautton, glatterer Haut und die weiblicher, jünger und schlanker wirken.
Während Twitter das erste war, das ein öffentliches Bias-Bounty anbot, wird es nicht das letzte sein. Ein Sprecher von HackerOne bestätigte gegenüber Built In, dass „eine Handvoll“ Technologieunternehmen, die bereits Bug-Bounts auf der Plattform hosten, das Potenzial von „Prämien“ ausloten, die darauf abzielen, Fehler in KI- oder ML-Systemen zu finden.
Bias Bounty-Überlegungen für kleine Unternehmen
Darüber hinaus stellte Forrester in seinem Prognosebericht 2022 fest, dass „mindestens fünf große Unternehmen im Jahr 2022 Prämien für Bias einführen werden“. Google und Microsoft wurden ausdrücklich als mögliche Kandidaten genannt.
Es sind nicht nur große Unternehmen, die erwägen – oder sollten –, Bias-Prämien anzubieten, um ihre KI-gestützten Produkte und Dienstleistungen zu verbessern. Kleinere und neuere Unternehmen denken auch darüber nach, im Jahr 2022 Bias-Prämien anzubieten. Ein Vorteil ist das Potenzial, algorithmische Probleme schnell zu erkennen und ihre Produkte oder Dienstleistungen zu verbessern. Die Fähigkeit, das Vertrauen der Kunden zu stärken und das Richtige zu tun, ist eine andere. Aber kleine Unternehmen, die über Bias-Prämien nachdenken, sind nicht ohne Vorbehalte.
Crowdsourcing führt zu schneller Verbesserung
Für kleinere, neuere Unternehmen, die technologiegesteuerte Dienste anbieten, hilft die Einrichtung von Bias-Prämien dabei, die Dienste für ihre Benutzer schnell zu verbessern.
Bias-Prämien, die Bug-Prämien nachempfunden sind, wie es bei Twitter der Fall war, haben den Vorteil, dass Probleme durch die Kraft des Crowdsourcing schnell erkannt werden. Nur acht Tage waren vergangen, seit Twitter sein Kopfgeld ankündigte, bis Bogdans Einsendung zum Gewinner gekürt wurde. Obwohl er einige Bedenken darüber äußerte, was ein solcher Zeitplan für die Strenge einer Untersuchung bedeuten könnte, könnte die Geschwindigkeit, die durch Vorurteilsprämien ermöglicht wird, laut Bogdan eine gute Sache sein.
„Wenn sich dies genauso entwickelt wie die Prämien für Sicherheitsfehler, wäre dies eine viel bessere Situation für alle.“ er hat getwittert, nach der Twitter-Ankündigung seines Gewinnerbeitrags. „Die schädliche Software würde nicht jahrelang dort sitzen bleiben, bis die strengen Beweise für den Schaden gesammelt sind.“
Für viele Unternehmen ist das Anbieten von Bias-Prämien in dem Bemühen, algorithmische Verzerrungen in ihren Systemen zu reduzieren, wirtschaftlich sinnvoll. Auch rechtlich sinnvoll.
„Jede Form systemischer Diskriminierung oder unterschiedlicher Auswirkungen auf eine geschützte Klasse kann zu einem Diskriminierungsanspruch führen. Daher sind alle Methoden wertvoll, die dazu beitragen, diese mögliche Exposition zu reduzieren.“
Peter Cassat, Partner bei Culhane Meadows PLLC, einer nationalen Full-Service-Anwaltskanzlei, wies darauf hin, dass, wenn ein Unternehmen zuvor traditionelle Prozesse und Systeme auf automatisierte, KI-gestützte Prozesse und Systeme umstellt, es immer noch das Unternehmen ist, das letztendlich Entscheidungen trifft – und es zur Rechenschaft gezogen werden kann.
„Es gibt Risiken im Zusammenhang mit KI-Voreingenommenheit, die zu rechtlichen Risiken führen können“, sagte er aus Erfahrung in der Arbeit mit Kunden. „Jede Form systemischer Diskriminierung oder unterschiedlicher Auswirkungen auf eine geschützte Klasse kann zu einem Diskriminierungsanspruch führen. Daher sind alle Methoden wertvoll, die dazu beitragen, diese mögliche Exposition zu reduzieren.“
Für Ruben Gamez, CEO und Gründer von SignWell, einem Unternehmen für das Signieren von E-Dokumenten, geht es beim Anbieten von Bias-Prämien eher um die Beziehung zwischen dem Unternehmen und seinen Kunden als um eine Strategie zur Risikominderung. Er beschrieb es als eine Art vertrauensbildende Übung bei seinen Kunden und seiner Benutzerbasis, insbesondere wenn das Unternehmen wächst.
„Wir sind in erster Linie von unseren KI-Systemen abhängig, wenn es um einfache Automatisierung bis hin zu komplexen datengesteuerten Entscheidungen geht“, sagte er. „Es wird spannend sein zu sehen, wie Benutzer mögliche Fehler erkennen. Dies gibt uns die Möglichkeit, mit unseren Eingabedatensätzen in Kontakt zu treten und sie neu zu definieren, um sie vielfältiger zu machen.“
Für kleine Unternehmen bestehen Bedenken hinsichtlich der Prämien für Bias
Aber nicht jeder ist mit Bias-Prämien voll und ganz an Bord. Jared Stern, Gründer und CEO von Uplift Legal Funding, einem Kreditunternehmen für Klagen, sagte, dass sein Unternehmen in naher Zukunft nicht erwäge, Prämien für Bias anzubieten, obwohl es etwas sein könnte, das es später in Betracht ziehen könnte. Während sein Unternehmen KI in seinem Betrieb einsetzt, ist es noch dabei, seine Datensätze zu optimieren, wodurch Bias-Prämien verfrüht werden.
„Ich glaube nicht [bias bounties are] ein produktiver Schritt, insbesondere für Unternehmen, die ihre Operationen immer noch mit KI in den Griff bekommen“, sagte er.
Zusätzlich zu dem Potenzial, dass Bias-Prämien für die Situation eines bestimmten Unternehmens schlecht geeignet sind, haben kleine Unternehmen Bedenken, ihr Innenleben der Öffentlichkeit zugänglich zu machen, wie es Twitter getan hat. Als es sein Kopfgeld veröffentlichte, gab Twitter potenziellen Bias-Jägern Zugang zu dem Code, den es in seiner eigenen Forschung zur Fairness des Bildzuschnitts verwendet hatte, die herausfand, dass sein Algorithmus dazu neigte, die Gesichter von Schwarzen auszuschneiden.
„Es wird schwierig, sicherzustellen, dass Sie die Vertraulichkeit der Daten schützen, die Sie gewissermaßen bereinigen möchten, aber gleichzeitig müssen Sie sicherstellen, dass Sie nicht verletzen jegliche Datenschutzrechte Ihrer Mitarbeiter oder Kunden.“
Cassat wies darauf hin, dass es zwei Hauptrisikobereiche für Unternehmen gibt, die Bias-Prämien aussetzen, ähnlich wie Twitter: Kunden potenziellen Bedrohungen aussetzen, indem sie Menschen dazu einladen, Fehler zu entdecken, die sie sonst möglicherweise nicht entdecken würden, und das Potenzial, geistiges Eigentum von beiden aufzudecken Unternehmen oder seine Partner.
„Wenn wir beispielsweise SAP im HR-Bereich verwenden und Leute hereinkommen, um zu sehen, wie wir Rekrutierung, Einstellung und Beförderung in unseren HR-Systemen mithilfe automatisierter Algorithmen durchführen, geben wir dann vertrauliche Informationen von SAP preis, die wir nicht tun Haben Sie die Erlaubnis zu zeigen?” er sagte.
Die Vertraulichkeit der Kunden in einer Situation, in der ein Bias-Bounty die Verwendung von Live-Daten erfordern könnte, ist ein weiteres Anliegen. „Es wird schwierig, sicherzustellen, dass Sie die Vertraulichkeit der Daten schützen, die Sie gewissermaßen bereinigen möchten, aber gleichzeitig müssen Sie sicherstellen, dass Sie nicht verletzen jegliche Datenschutzrechte Ihrer Mitarbeiter oder Kunden“, sagte Cassat.
Die Balance zwischen Sicherheit und Voreingenommenheit finden
Kleine Unternehmen haben einige potenzielle Strategien, um die Risiken einer Öffnung gegenüber der Öffentlichkeit zu umgehen, die sie in Betracht ziehen können. Eine besteht darin, Programmierer von Drittanbietern einzustellen, die als Bias-Editoren fungieren, die die Algorithmen eines Unternehmens überprüfen könnten. Dies hätte den Vorteil externer Perspektiven, aber ohne viele der Risiken, wie Twitter an die Öffentlichkeit zu gehen.
Laut Cassat sind interne Bemühungen zur Identifizierung algorithmischer Voreingenommenheit eine weitere Möglichkeit, wie Unternehmen Bedenken im Zusammenhang mit öffentlichen Voreingenommenheitsprämien umgehen könnten. Dies könnte so einfach sein wie ein System zum Melden von Voreingenommenheit oder das Anbieten von Prämien an Mitarbeiter, die sie identifizieren und melden, oder das Modellieren der Voreingenommenheitssuche auf Sicherheits-Hackathons anstelle von Bug-Bounties.
Dieser „Red-Teaming“-Ansatz zur Bekämpfung von Voreingenommenheit in der KI wurde in einem Bericht von 2020 von KI-Forschern und Praktikern angesprochen. Während er empfahl, dass Organisationen, die KI entwickeln, „Red-Teaming-Übungen durchführen sollten, um Risiken im Zusammenhang mit von ihnen entwickelten Systemen zu untersuchen“, wies der Bericht auch darauf hin, dass bestehende Red-Teaming-Ansätze unzureichend sind. Stattdessen empfahl es die Entwicklung einer „Gemeinschaft von KI-Red-Teaming-Profis“, obwohl es einräumte, dass eine solche Situation viele der gleichen Bedenken hervorrufen könnte, die über öffentliche Voreingenommenheitsprämien geäußert wurden.
Aus rechtlicher Sicht nannte Cassat es einen Balanceakt zwischen potenziellen Risiken im Zusammenhang mit der Identifizierung von Voreingenommenheit und den damit verbundenen Vorteilen. Er stellte jedoch auch fest, dass der wachsende Druck der Verbraucher, Technologien gerechter zu gestalten, den Fokus auf die soziale Verantwortung auf Vorstandsebene verstärkt habe. Dies wird die Aktivitäten zur Reduzierung algorithmischer Verzerrungen vorantreiben.
„Ich weiß nicht, inwieweit Unternehmen diese Lösungen weiterhin per Crowdsourcing anbieten wollen“, sagte er und fügte hinzu, dass die Förderung von Vielfalt ein gutes Geschäft sei. „Und es ist das Richtige.“