Künstliche Intelligenz (KI) ist im Klinikalltag längst angekommen – oft, ohne dass die Beschäftigten es bewusst wahrnehmen. Professor Martin Hug, Leiter der Apotheke des Universitätsklinikums Freiburg, sieht großes Potenzial in der Arzneimittelinformation, der Logistik und der Verknüpfung klinischer Systeme. Gleichzeitig warnt er davor, fachliche Kompetenz, Verantwortung und technologische Unabhängigkeit aus der Hand zu geben.

Herr Professor Hug, wo begegnet Ihnen künstliche Intelligenz heute bereits im Klinikalltag?

Wir haben am Universitätsklinikum Freiburg an vielen Stellen Kontakt mit künstlicher Intelligenz oder Large Language Models. Manchmal ist uns das gar nicht bewusst. Schon wenn Sie eine Frage in eine Suchmaschine eingeben, erhalten Sie heute häufig eine KI-generierte Antwort, die Ihre Anfrage einordnet.

Damit ist allerdings auch schon eines der wesentlichen Probleme verbunden: Die Validität der Antwort lässt sich oft nur schwer beurteilen. Im besten Fall wird eine Quelle angegeben. Dann muss ich aber noch immer prüfen, ob die zitierte Passage tatsächlich dort steht, ob sie richtig wiedergegeben wurde und ob die Quelle noch aktuell ist. Gerade bei rechtlichen Vorgaben reicht es nicht, wenn eine Antwort nur überzeugend klingt.

Wofür nutzen Sie KI speziell in der Krankenhausapotheke?

Vor allem bei der Recherche und in der Arzneimittelinformation. Wir erhalten Fragen zu Wechselwirkungen, Höchstdosen oder kumulativen Dosen. Es geht auch darum, ob ein Medikament verordnet werden darf, ob ein Zusatzentgelt abgerechnet werden kann oder ob eine Therapie für das Krankenhaus wirtschaftlich darstellbar ist. Dann reicht es nicht, wenn mir das System sagt: “Ja, das kannst du machen”. Dann brauche auch die zugehörige rechtliche Grundlage.

Und spätestens, wenn es um proprietäre Informationen geht, ist eine klare Grenze erreicht: Vertrauliche Informationen dürfen nicht einfach in öffentliche Systeme eingegeben werden. Wir wollen den großen KI-Anbietern nicht auch noch unser „Tafelsilber“ überlassen.

Sie sorgen sich um Datenabfluss über KI-Systeme?

Diese Sorge ist berechtigt: Mit jeder Frage geben wir einen Teil unseres Denkens preis. Die Anbieter erfahren, welche Probleme uns beschäftigen und welche Informationen für uns relevant sind. Deshalb ist es so wichtig, zu wissen, was unter der Haube eines KI-Systems liegt. Die meisten großen Large Language-Modelle werden außerhalb Europas entwickelt und betrieben. Selbst Anwendungen, die nach außen wie europäische Lösungen wirken, greifen möglicherweise im Hintergrund auf Dienste dieser US-amerikanischen oder chinesischen Anbieter zurück. Es besteht also die Gefahr, dass wir in technologische und geopolitische Abhängigkeiten geraten. Ein Krankenhaus muss aber auch dann arbeitsfähig bleiben, wenn ein externer Dienst ausfällt. Wir müssen uns also um lokale und regionale Lösungen bemühen, was viele Maximalversorger bereits tun.

Wo könnte KI in den kommenden Jahren besonders nützlich für die Arbeit von Klinikapotheken werden?

Das größte Potenzial sehe ich in der Logistik und in der Verknüpfung unserer Systeme. Heute bekommen wir immer noch handschriftliche Bestellungen per Fax. Manchmal werden Präparate bestellt, die im Kliniksortiment eigentlich vorhanden ist, aber unter einem anderen Namen, was die Kolleginnen und Kollegen auf Station nicht wissen. Ein KI-System könnte diese Zuordnung automatisch vornehmen.

Auch kaufmännisch und buchhalterisch werden wir in den nächsten Jahren auf eine neue Ebene kommen: Heute unterschreiben wir noch Einzahlungs- und Auszahlungsanordnungen per Hand, setzen den Stempel drauf, scannen sie ein und verschicken sie mit der Hauspost …

Daneben könnten wir die Versorgung insbesondere von Krebspatienten weiter verbessern: Hier liegen zwar viele Daten vor, aber sie befinden sich in verschiedenen Informationssystemen, die nicht richtig miteinander sprechen. KI ist wie gemacht dafür, dieses babylonische Sprachgewirr aufzulösen.

Es braucht also vor allem eine stärkere Vernetzung?

Ja, und gerne auch mit pharmazeutischen Unternehmen, zum Beispiel beim Thema ‚unerwünschte Arzneimittelwirkungen‘ (UAW). Würden Beobachtungen aus verschiedenen Kliniken automatisch zusammengeführt und analysiert, könnten Signale früher sichtbar werden. Eine Herzrhythmusstörung nach einer Medikamentengabe mag im Einzelfall wie Zufall wirken. In der Gesamtschau könnte sich jedoch eine unerwünschte Arzneimittelwirkung zeigen. Außerdem sollten die pharmazeutischen Unternehmen es erfahren, wenn Präparate im Klinikbetrieb regelmäßig höher dosiert werden als vorgesehen. Auch das erlebe ich in der Praxis.

Welche praktischen Hürden sehen Sie bei der Einführung von KI-Systemen in Kliniken?

Das Hauptproblem ist nicht der Mangel an Ideen, sondern die Umsetzung. Es braucht Menschen, die solche Projekte verantworten. Aber selbst, wenn eine Klinik jetzt KI-Officer einsetzt – er oder sie braucht auch das Mandat, um klinikweite Entscheidungen durchsetzen zu können.

Und dann sind wir wieder beim Thema Datenschutz. Der ist wichtig, bremst aber sinnvolle KI-Entwicklungen allzu oft aus. Dabei ist die häufigste Datenschutzverletzung immer noch der Mensch – und eines der riskantesten Systeme die Faxmaschine.

In welchen Fällen sind Sie selbst besonders vorsichtig?

Bei allen Aussagen, die direkte Folgen für Patientinnen und Patienten haben. Ein KI-System kann überzeugend formulieren und trotzdem falsch liegen. Wenn es unbegründet vor einer Wechselwirkung warnt, dann wird womöglich eine wirksame Therapie verhindert. Umgekehrt kann eine übersehene Wechselwirkung genauso Schaden verursachen.

Die Plausibilitätsprüfung und Entscheidung müssen deshalb beim Menschen bleiben. Mein Vorteil ist, dass ich aus einer Zeit komme, in der solche KI-Systeme nicht verfügbar waren. Ich kann einschätzen, ob eine Antwort zu meinem bisherigen Wissen passt und ob ein Restrisiko besteht. Auf dieses Bauchwissen greife ich zurück, wenn ich am Telefon um eine Akut-Einschätzung oder -Beratung gebeten werde.

Mit Blick auf jüngere Kolleginnen und Kollegen frage ich mich, wie sich diese Fähigkeit entwickelt, wenn uns KI-Systeme nun immer mehr Entscheidungen abnehmen. Wir müssen nicht nur das richtige Prompten vermitteln. Wir müssen auch dafür sorgen, dass sich fachliches Wissen und ein eigenes Urteilsvermögen entwickeln.