Commentary: AI and trust: How transparent does technology have to be? (Author: Benedikt Bonnmann*)

The times are long since gone when AI was either a silver bullet or a risk to the future of the human race, depending on who you asked. The debate that frames the technology is now underpinned not by fear, rather by realism and objectivity. According to the recent AI study by adesso, corporate decision-makers hold the same view: 61 % are convinced that consumers regard AI as fundamentally trustworthy. But this basic trust must not be frittered away by the algorithms acting autonomously, whether it be consciously or unconsciously. Another finding of the study was that 80 % of decision makers believe that AI should not be used without human control. What’s more, 54 % are of the opinion that AI technologies have to be more strongly regulated to prevent any form of manipulation.

Companies stand to benefit if they create what is known as Explainable AI. These special applications lift the lid on the black box, operating transparently and explaining the ins and outs of the decisions they make. This ranges from identifying the origin and characteristics of the training data and assessing how transparent and understandable the algorithm is to reviewing compliance with ethical principles.

Current discussions among lawmakers are moving in the same direction. The EU’s new Artificial Intelligence Act is on the horizon and will have far-reaching implications once adopted into national legislation.

With this new law, the EU wants to create a framework that categorises the decisions made by AI and imposes stricter controls on its use. The aim is to prevent such applications having a negative impact on the health, safety and basic rights of citizens. The Artificial Intelligence Act will likely also have an effect beyond EU borders, much like the General Data Protection Regulation (GDPR). After all, all businesses looking to sell AI-based products and services in the European Economic Area will have to comply with the legislation. The act contains similarly harsh penalties: According to the draft law, violations can be punished with a fine of up to EUR 30 million or 6 % of global annual revenue. Experience with GDPR shows that the authorities are no paper tigers in this area. Any false steps will be penalised accordingly.

A number of aspects of the Artificial Intelligence Act’s implementation have yet to be decided, but companies would still be well advised to lay the groundwork now and evaluate the risk of their AI systems. Sitting back and waiting, in the knowledge that the new law won’t take effect until 2024 at the earliest, sounds like the easy option. Companies that don’t act run the risk of suddenly being pressed for time further down the line. Not only that, consumers already have a right to Explainable AI – whatever the law might say.

Nun mögen die Zeiten, in denen KI mal zur Wunderwaffe verklärt, mal zur Gefahr für den Menschen aufgebauscht wurde, vorbei sein. Realismus und Sachlichkeit statt Technik-Angst bestimmen heute in aller Regel die Debatte rund um die Technologie. Laut der jüngsten KI-Studie von adesso haben Unternehmensverantwortliche auch diesen Eindruck: 61 Prozent sind davon überzeugt, dass Verbraucher KI als vertrauenswürdig einstufen. Dieses grundlegende Vertrauen darf aber nicht dadurch verspielt werden, dass – ob bewusst oder unbewusst – die Algorithmen eigenmächtig handeln. Denn auch das belegt die Untersuchung: 80 Prozent der Entscheiderinnen und Entscheider finden, dass KI-Anwendungen nicht ohne menschliche Kontrolle eingesetzt werden dürfen. 54 Prozent sind zudem der Meinung, dass KI-Technologien stärker reguliert werden müssen, um Manipulationen jeder Art zu verhindern.

Unternehmen tun deshalb gut daran, eine sogenannte Explainable AI zu schaffen. Diese speziellen Anwendungen öffnen die Black Box, indem sie transparent arbeiten und Erklärungen für eine getroffene Entscheidung liefern. Das reicht von der Herkunft und Charakteristika der Trainingsdaten über die Durchschaubarkeit und Verständlichkeit des Algorithmus bis hin zum Einhalten ethischer Grundwerte.

In die gleiche Richtung geht aktuell die Diskussion auf Seiten des Gesetzgebers. Mit dem Artificial Intelligence Act der EU steht eine Verordnung vor der Tür, die – sobald in nationale Gesetze gegossen – weitreichende Folgen haben wird.

Mit dem Act will die EU ein Rahmenwerk schaffen, das die Entscheidungen von KI-Anwendungen kategorisiert und den Einsatz gegebenenfalls stärker kontrolliert. Dies soll negative Auswirkungen auf die Sicherheit, Gesundheit und Grundrechte von Menschen verhindern. Ähnlich wie bei der Datenschutz-Grundverordnung (DSGVO) wird das geplante Gesetzeswerk vermutlich sogar über die Grenzen der EU hinaus Wirkung zeigen. Denn alle Anbieter, die innerhalb des europäischen Wirtschaftsraums KI-basierte Produkte und Dienste verkaufen wollen, müssen sich an den Artificial Intelligence Act halten. Das Regelwerk sieht zudem ähnlich drastische Strafen vor: Wer die Vorgaben verletzt, muss laut Entwurf mit einem Bußgeld von bis zu 30 Millionen Euro oder sechs Prozent des weltweiten Jahresumsatzes rechnen. Die Erfahrungen mit der DSVGO zeigen: Die zuständigen Behörden sind keine zahnlosen Tiger. Sie ahnden Verstöße konsequent.

Zwar sind einige Punkte rund um die Umsetzung des Artificial Intelligence Act bislang noch nicht geklärt. Für Unternehmen gilt es trotzdem jetzt schon, die Weichen zu stellen und das Risiko ihrer KI-Systeme zu bewerten. Es wäre zu einfach, sich angesichts der Wahrscheinlichkeit, dass das Gesetzespaket nicht vor 2024 in Kraft treten wird, entspannt zurückzulehnen. Wer das macht, läuft Gefahr, später unter Zeitdruck zu geraten. Zudem haben Verbraucherinnen und Verbraucher schon heute ein Recht auf eine Explainable AI – Gesetze hin oder her.