Ziel dieses Arbeitspaketes ist zum einen die Entwicklung eines funktionierenden Piloten des Expert*innensystems zur Unterstützung von Mediziner*innen bei der Diagnose und Wahl eines geeigneten Antibiotikums.

Das Design des Expert*innensystems richtet sich nach der S3-Linie und Integriert Entscheidungsunterstützung bei der Erstkalkulation einer Therapie, sowie bei der Re-Evaluierung und ggf. Vergabe eines zielgenauen Antibiotikums. Das Modell zur Vorhersage der Wirksamkeit bzw. Unwirksamkeit eines Antibiotikums aus AP3 ist integraler Bestandteil des Expert*innensystems.

Der Pilot wird realisiert in Form einer Web-Applikation, die in einem ersten Schritt im Hinblick auf Nutzbarkeit entwickelt und getestet wird. Für die Entwicklung der Applikation werden zunächst Papier-Prototypen entwickelt, die potentiellen zukünftigen Nutzer*innen vorgelegt werden. Nach erfolgreicher Validierung der Konzepte wird der Prototyp als Web-Applikation umgesetzt. Die Nutzbarkeit wird mit Standard-Werkzeugen der Evaluierung im Bereich der Softwareentwicklung sichergestellt, insbesondere mit dem SUS Test. Die Usability-Evaluation berücksichtigt insbesondere den Zugang zur Software für Menschen mit Beeinträchtigungen und stellt die Barrierefreiheit des entwickelten Piloten sicher. Hier kommen Prinzipien des Universal Design zur Anwendung.

Jenseits der Nutzbarkeit soll in diesem Paket die Güte der Vorhersagen des prädiktiven Systems systematisch evaluiert werden, um die Unbedenklichkeit einer praktischen Anwendung des Tools sicherzustellen und damit die Grundlage für eine spätere Erprobung unter realen Versorgungsbedingungen zu schaffen. Dabei soll mit Hilfe des Piloten die Validität der abgegebenen Antibioseempfehlungen im Hinblick auf den Therapieerfolg untersucht werden.

Die Evaluation erfolgt retrospektiv auf Grundlage von Patient*innenfällen, die nicht für das Training der KI herangezogen wurden. Analog zur Operationalisierung des Therapieerfolgs im Rahmen der Modellentwicklung (AP3) wird für die beobachteten Testfälle festgelegt, ob eine getätigte Antibiotikagabe zu einem gewünschten Ergebnis geführt hat oder nicht. Die erklärenden Patient*innenparameter der Testfälle werden dann in das Prognosetool gegeben, welches Erfolgswahrscheinlichkeiten für verschiedene Antibiotikatypen ermittelt. Die Ergebnisse der Toolberechnungen werden dann mit den in den Testdaten beobachtbaren Antibiotikagaben vor dem Hintergrund des damit assoziierten Therapieerfolgs verglichen und anhand von zuvor zu definierenden Fehlertoleranzniveaus bewertet. Dabei ist geplant, auch die Auswirkungen einer Nicht-Verfügbarkeit einzelner Datenmodalitäten bezüglich der Güte der Prognosen in den Blick zu nehmen und den (ökonomischen) Mehrwert zusätzlich erhobener Daten anhand von Simulationen zu untersuchen.

Da die Umsetzung der beschriebenen Evaluation im Wesentlichen von der konkreten Ausgestaltung des prognostischen Modells abhängt, erfolgt die Planung der Evaluation in enger Zusammenarbeit mit der Modellentwicklung (AP3). Alle Auswertungen erfolgen unter besonderer Berücksichtigung möglicher Geschlechterunterschiede.

Insgesamt leistet die Evaluation einen Beitrag zur weiteren Feinjustierung des Prognosetools und schafft die Voraussetzungen für eine perspektivische Implementierung in der Versorgungspraxis. So lassen sich etwa auf Grundlage der Analysen zur Datenverfügbarkeit kritische Datenmodalitäten identifizieren, die im Einzelfall zwingend bereitstehen müssen, um das Tool praktisch nutzen zu können.

Nach erfolgreicher Evaluation der Prognosen können die tatsächlichen Versorgungseffekte des Entscheidungsunterstützungstools im Rahmen einer prospektiv angelegten kontrollierten Studie an der*dem Patient*in abgesichert werden. Hierfür wird im Rahmen des Arbeitspakets ein Studien-/Evaluationskonzept entwickelt, welches im Sinne der Nachhaltigkeit der Projektergebnisse die Grundlage für ein entsprechendes Folgeprojekt bildet.