"Quality is key": Four experts on what responsible AI adoption really looks like

When Air Canada’s customer service chatbot incorrectly offered a discount to a traveller, the airline claimed it wasn't responsible for the chatbot's actions. A civil court disagreed.

Sebastian Hallensleben, from independent, third-party AI assurance provider Resaro, said this type of case highlights the need for all businesses which use AI to have the appropriate safeguards in place.

That’s particularly true in sectors such as finance, where trust and compliance are paramount, Frauke Goll added.

“AI has been used for a long time in fraud detection systems, credit scoring and loan approvals in banking,” she said. “Model validation and internal risk management are essential to build trust around AI-driven decisions and prevent algorithmic bias.”

For investors like Temasek (which has backed the likes of Adyen and Stripe), assurance is becoming a key consideration at the due diligence phase.

“We put [AI] in the same category as cyber security and sustainability – it has a direct impact on our reputation and the trust of our stakeholders.” — Song Hwee Chia, Temasek

For Germany-based, Trumpf, which develops specialised technology for the manufacturing industry, the approach has been to involve the governance team with each project from day one.

Initially, the company offered AI as an option to clients. Now, AI systems are being applied internally to processes, predicting maintenance needs and monitoring machinery remotely, with staff also encouraged to experiment with AI productivity tools (within stated parameters).

“It’s mission critical we pay a lot of attention to governance to ensure a high level of AI trustworthiness,” Galal said, adding AI assurance is almost more important than cybersecurity:

“With AI, it’s not just about blocking systems, it’s about influencing systems and affecting individual safety. The attention on AI assurance is way higher, and that’s a good thing.” — Kerim Galal, Trumpf

What’s needed is the development of more frameworks and metrics so that companies can better measure what good AI looks like, Song Hwee Chia said.

Because of this, Temasek is working on a risk assessment framework to evaluate various dimensions of AI adoption—including whether companies are using AI in a responsible and safe manner.

A lack of benchmarks and metrics is causing issues for customers too, Hallensleben said.

Resaro is working with the Singapore government, for example, on a project to help establish benchmarks on the ability of AI tools to spot deep fakes.

“We would never expect to be sold a car, for example, just because the manufacturer says 'it’s great, it’s safe, it conforms to regulation.' But in AI that’s exactly where we are right now.” — Sebastian Hallensleben, Resaro

However, Hallensleben also believes existing standards should not be overlooked.

“There's sometimes this misconception that just because something contains AI, everything changes,” he said. “But ultimately, if you're a factory worker working next to a robot, you want that robot to help you rather than harm you, whether it’s controlled by AI or not. The traditional notions of safety still apply.”

Organisations which are unsure about what solution to use should take inspiration from the way they’ve always evaluated new technology proposals.

“If you put yourselves in a procurement department, they’re very used to putting out requests for quotations asking for proposals for solutions with certain features and capabilities,” said Hallensleben. “Those proposals come back, you compare them and eventually you decide which one to buy. This is exactly the same process for AI, but companies need the ability to compare the proposals that come back.”

“There is a lot in the testing and the certification of non-AI products and solutions that we can learn from,” — Hallensleben

The difficulty with determining metrics for good AI, is ‘good’ depends on who you ask — the business teams, governance teams or technical teams. To tackle this, the teams need a “shared language” to build a shared understanding of required quality levels in various dimensions. This is essential for innovation-friendly, tight feedback cycles and thus an integral part of assurance.

Most of the time, there are trade-offs involved and more assistance is needed to help organisations navigate them. At the AppliedAI Institute for Europe GmbH, which generates and communicates high-quality knowledge about trustworthy AI, the team has been developing guidance, training and resources for SMEs looking to innovate with AI.

“Companies really need support when it comes to implementing assurance systems for AI,” Dr Goll said. “They need to be able to do a good risk assessment for themselves in whatever AI system they want to use.”

“It’s really important we find a good balance between what is really necessary, what is good enough, and what we need to regulate.” — Frauke Goll, AppliedAI Institute for Europe GmbH

Regulation around AI will continue to evolve, but Hallensleben recommends founders get involved in the shaping of this new world.

“Don't just wait for regulations and standards to come to you, take an active role in shaping them and making sure that they are practical,” he said.

The hype around the development of Agentic AI — which Gartner predicts will autonomously resolve 80% of customer service issues by 2029 — highlights the need to get this right soon, Chia added.

“With AI, we have the opportunity to do it right from the start. You can’t add AI assurance, safety and fairness after the fact. This must be done as part of your system, product, services, and design.” — Chia

“There is a lot in the testing and the certification of non-AI products and solutions that we can learn from,” — Hallensleben

Als der Chatbot des Kundendienstes von Air Canada einem Reisenden fälschlicherweise einen Preisnachlass anbot, behauptete die Fluggesellschaft, sie sei nicht für die Handlungen des Chatbots verantwortlich. Ein Zivilgericht widersprach dem.

Laut Sebastian Hallensleben vom unabhängigen AI-Assurance-Anbieter Resaro verdeutlicht dieser Fall die Notwendigkeit für alle Unternehmen, die KI einsetzen, Vorkehrungen für Sicherheit und Zuverlässigkeit zu treffen..

Dies gilt insbesondere in Sektoren wie dem Finanzwesen, in denen Vertrauen und Compliance an erster Stelle stehen, fügte Frauke Goll hinzu.

„KI wird schon lange in Systemen zur Betrugserkennung, bei der Kreditwürdigkeitsprüfung und bei der Kreditvergabe im Bankwesen eingesetzt“, sagte sie. „Modellvalidierung und internes Risikomanagement sind unerlässlich, um Vertrauen in KI-gestützte Entscheidungen aufzubauen und algorithmische Voreingenommenheit zu verhindern.“

Für Investoren wie Temasek (die bereits in Unternehmen wie Adyen und Stripe investiert haben) wird AI Assurance zu einem entscheidenden Kriterium in der Due-Diligence-Phase.

„Wir ordnen [KI] in dieselbe Kategorie wie Cybersicherheit und Nachhaltigkeit ein – sie hat direkte Auswirkungen auf unseren Ruf und das Vertrauen unserer Stakeholder.“ — Song Hwee Chia, Temasek

Für das deutsche Unternehmen Trumpf, das Spezialtechnologie für die Fertigungsindustrie entwickelt, besteht der Ansatz darin, das Governance-Team von Anfang an in jedes Projekt einzubeziehen

Anfangs bot das Unternehmen seinen Kunden KI als Option an. Inzwischen werden KI-Systeme intern auf Prozesse angewendet, um den Wartungsbedarf vorherzusagen und Maschinen aus der Ferne zu überwachen, wobei die Mitarbeiter auch ermutigt werden, mit KI-Produktivitätswerkzeugen (innerhalb der festgelegten Parameter) zu experimentieren.

„Es ist von entscheidender Bedeutung, dass wir der Governance viel Aufmerksamkeit schenken, um ein hohes Maß an Vertrauenswürdigkeit zu gewährleisten“, sagte Galal und fügte hinzu, dass die KI-Sicherheit fast noch wichtiger sei als die Cybersicherheit:

"Bei KI geht es nicht nur darum, Systeme zu blockieren, sondern auch darum, Systeme zu beeinflussen und die individuelle Sicherheit zu beeinträchtigen. Die Aufmerksamkeit für KI-Sicherheit ist viel größer, und das ist gut so." - Kerim Galal, Trumpf

Was benötigt wird, ist die Entwicklung von mehr Rahmenwerken und Metriken, damit Unternehmen besser messen können, wie gute KI aussieht, sagte Song Hwee Chia.

Aus diesem Grund arbeitet Temasek an einem Framework zur Risikobewertung, um verschiedene Dimensionen der KI-Einführung zu bewerten – einschließlich der Frage, ob Unternehmen KI auf verantwortungsvolle und sichere Weise einsetzen.

Ein Mangel an Benchmarks und Metriken stellt auch für Kunden ein Problem dar, so Hallensleben.

Resaro arbeitet zum Beispiel mit der Regierung von Singapur an der Entwicklung von , Benchmarks für die Fähigkeiten KI-gestützter Deepfake-Erkennungstoolsn.

„Wir würden zum Beispiel nie erwarten, dass uns ein Auto verkauft wird, nur weil der Hersteller sagt: ‚Es ist großartig, es ist sicher, es entspricht den Vorschriften.‘ Aber bei KI sind wir genau an diesem Punkt.“ — Sebastian Hallensleben, Resaro

Allerdings ist Hallensleben auch der Meinung, dass bestehende Standards nicht übersehen werden sollten.

„Manchmal gibt es das Missverständnis, dass sich alles ändert, nur weil etwas KI enthält“, sagte er. „Aber wenn Sie als Fabrikarbeiter neben einem Roboter arbeiten, möchten Sie, dass dieser Roboter Ihnen hilft und nicht schadet, egal ob er von KI gesteuert wird oder nicht. Die bisherigen Ansprüche an Sicherheit und Qualität gelten nach wie vor.“

Organisationen, die sich nicht sicher sind, welche Lösung sie verwenden sollen, sollten sich daran orientieren, wie sie schon immer neue Technologien bewertet haben.

„Versetzen Sie sich in eine Beschaffungsabteilung: Dort ist man es gewohnt, Requests for Quotations zu stellen, in denen Angebote für Lösungen mit bestimmten Merkmalen und Fähigkeiten erbeten werden“, sagte Hallensleben. „Diese Vorschläge kommen zurück, man vergleicht sie und entscheidet sich schließlich für einen Kauf. Bei KI ist dies genau derselbe Prozess, aber Unternehmen benötigen die Fähigkeit, die eingehenden Vorschläge zu vergleichen." „Wir können viel vom Testen und der Zertifizierung von Nicht-KI-Produkten und -Lösungen lernen.“ — Hallensleben

Die Schwierigkeit bei der Festlegung von Metriken für gute KI besteht darin, dass, was ‚gut‘ ist, davon abhängt, wen man fragt — die operativen Teams, die Governance-Teams oder die technischen Teams. Um dies zu bewältigen, benötigen diese Teams eine „gemeinsame Sprache“, um ein gemeinsames Verständnis der erforderlichen Qualitätsniveaus in verschiedenen Dimensionen aufzubauen. Dies ist für innovationsfreundliche, straffe Feedback-Zyklen unerlässlich und somit ein wesentlicher Bestandteil der Qualitätssicherung.

Meistens geht es um Kompromisse, und es wird mehr Unterstützung benötigt, um Organisationen dabei zu helfen, diese zu steuern. Beim AppliedAI Institute for Europe GmbH, das hochwertiges Wissen über vertrauenswürdige KI generiert und vermittelt, hat das Team Leitfäden, Schulungen und Ressourcen für KMU entwickelt, die mit KI innovativ sein wollen.

„Unternehmen brauchen wirklich Unterstützung bei der Implementierung von Systemen zur KI-Qualitätssicherung“, sagte Dr. Goll. „Sie müssen in der Lage sein, eine gute Risikobewertung für sich selbst durchzuführen, egal welches KI-System sie einsetzen wollen.“

„Es ist wirklich wichtig, dass wir ein gutes Gleichgewicht zwischen dem finden, was wirklich notwendig ist, was gut genug ist und was wir regulieren müssen.“ — Frauke Goll, AppliedAI Institute for Europe GmbH

Die Regulierung im Bereich der KI wird sich weiterentwickeln, aber Hallensleben empfiehlt Gründern, sich an der Gestaltung dieser neuen Welt zu beteiligen.

„Warten Sie nicht einfach darauf, dass Regulierungen und Standards auf Sie zukommen, sondern übernehmen Sie eine aktive Rolle bei deren Gestaltung und stellen Sie sicher, dass sie praxistauglich sind“, sagte er.

Der Hype um die Entwicklung von Agentic AI – von der Gartner vorhersagt, dass sie bis 2029 80 % der Kundenservice-Anfragen autonom lösen wird – unterstreicht die Notwendigkeit, dies bald richtig zu machen, fügte Chia hinzu.

„Bei der KI haben wir die Möglichkeit, es von Anfang an richtig zu machen. Man kann Sicherheit und Fairness nicht nachträglich hinzufügen. Dies muss von Anfang an Teil Ihres Systems, Produkts, Ihrer Dienstleistungen und Ihres Designs sein." — Chia