ChatEHR in corsia a Stanford: i rischi emersi dopo il lancio

L’impiego di modelli linguistici di grandi dimensioni in ospedale è già realtà, non più solo sperimentazione. Il caso ChatEHR a Stanford Medicine mostra un utilizzo esteso di un sistema conversazionale collegato ai flussi della cartella clinica elettronica, con un ritorno economico stimato rilevante ma anche con criticità emerse solo dopo il rilascio in corsia.

L’articolo pubblicato su Nature Medicine e i materiali divulgativi collegati presentano ChatEHR come un banco di prova per capire cosa accade quando un modello linguistico entra davvero nel lavoro quotidiano di medici, specializzandi e personale amministrativo. L’esperienza mette in discussione l’idea che i soli benchmark di laboratorio possano garantire sicurezza e qualità, e sposta l’attenzione su monitoraggio continuo, governance interna e valutazione dell’impatto sui processi clinici.

Che cos’è ChatEHR e come è stato usato a Stanford Medicine

ChatEHR è descritto come un sistema generativo collegato ai flussi della cartella clinica elettronica, pensato per supportare attività come redazione di testi, sintesi di informazioni e gestione di comunicazioni amministrative. A Stanford è stato implementato come strumento generico, accessibile a un’ampia platea di professionisti, con l’obiettivo di semplificare compiti ripetitivi e liberare tempo clinico su attività a maggiore valore.

L’esperienza viene presentata come un deployment reale e non come semplice prototipo di ricerca: il sistema è stato integrato nei workflow esistenti, con metriche di utilizzo e una stima di ritorno economico superiore a 6 milioni di dollari nel primo anno. Questa dinamica è in linea con l’espansione di soluzioni come ChatGPT for Healthcare, già adottate da strutture di rilievo in contesti clinici e organizzativi, che sollevano interrogativi sui rischi dell’intelligenza artificiale in sanità.

Perché i benchmark non bastano a valutare un’AI in uso clinico reale

Il caso Stanford evidenzia che le prestazioni di un modello linguistico misurate su benchmark standard, come test di comprensione clinica o quesiti a risposta multipla, non descrivono in modo completo il comportamento del sistema quando viene usato da centinaia di professionisti in situazione reale. In corsia compaiono errori di contesto, usi imprevisti, dipendenze improprie e rischi di sovrafiducia difficili da anticipare con soli test in vitro.

Per questo l’esperienza ChatEHR viene proposta come esempio della necessità di introdurre indicatori di impatto operativo, sicurezza e aderenza alle policy interne, misurati sul campo con dati di utilizzo, audit mirati e analisi qualitativa dei casi problematici. Lo stesso ragionamento si sta estendendo ad altri ambiti di misurazione digitale, come gli endpoint clinici basati su dispositivi indossabili, che richiedono metriche specifiche rispetto agli endpoint tradizionali.

Impatto su sicurezza del paziente, responsabilità e governance

L’implementazione di ChatEHR a Stanford è avvenuta in un contesto che disponeva già di una policy formale su intelligenza artificiale generativa, applicata a studenti di medicina, clinici e ricercatori. Questo quadro normativo interno definisce ambiti d’uso consentiti, limiti chiari sul supporto alla decisione clinica e obblighi di supervisione umana, sottolineando che il sistema non sostituisce il giudizio professionale né la responsabilità del medico prescrittore o del clinico che firma la documentazione.

La lezione principale riguarda la sicurezza del paziente come criterio centrale: anche quando il sistema non prende decisioni autonome, può influenzare testi clinici, comunicazioni con pazienti e organizzazione dei percorsi, introducendo rischi indiretti se non monitorato. Per questo la governance deve includere registri d’uso, canali strutturati di segnalazione degli incidenti, revisione periodica dei prompt più frequenti e allineamento con le indicazioni regolatorie nazionali sulla regolamentazione dell’IA in sanità.

Come cambia il workflow ospedaliero con un modello linguistico in corsia

L’introduzione di ChatEHR ha mostrato che un modello linguistico integrato nella pratica quotidiana viene rapidamente usato in modi non previsti dai progettisti, ad esempio per bozza di lettere di dimissione, spiegazioni semplificate per i pazienti, sintesi di appunti clinici o supporto nella comunicazione tra servizi. Questo moltiplica i punti di contatto con il flusso di lavoro ospedaliero e rende difficile tracciare in anticipo tutti gli effetti, inclusi quelli non intenzionali.

Emergono quindi nuove esigenze organizzative: definire in quali passaggi il sistema può intervenire solo come generatore di bozze da rivedere, in quali contesti è vietato usarlo (per esempio per indicazioni terapeutiche dirette) e come formare il personale a mantenere un adeguato livello di vigilanza critica. L’esperienza di altre soluzioni di AI clinica, come quelle usate per l’ictus acuto, mostra che l’impatto sul flusso di lavoro deve essere valutato quanto la sola accuratezza, come nel caso dell’uso di RapidAI descritto per la diagnosi in emergenza alla ASL di Teramo.

Lezioni pratiche per l’adozione dell’AI in sanità in Italia

Per i sistemi sanitari che valutano strumenti simili a ChatEHR, l’esperienza Stanford suggerisce alcune priorità: chiarire fin dall’inizio che il modello non è un sistema di supporto decisionale clinico, predisporre una policy locale su intelligenza artificiale generativa, stabilire meccanismi di monitoraggio post-deployment e prevedere risorse per la revisione continua dei casi d’uso. Questi elementi dovrebbero essere integrati nelle procedure di gestione del rischio clinico e nelle valutazioni di tecnologia sanitaria.

In prospettiva italiana, il caso ChatEHR invita a considerare l’adozione di modelli linguistici in modo graduale, partendo da task amministrativi o di documentazione con basso impatto diretto sulle decisioni cliniche, e costruendo competenze interne di audit e controllo. L’attenzione al monitoraggio continuo, alla trasparenza verso il paziente e al rispetto delle normative nazionali ed europee può favorire un uso dell’AI come supporto e non come sostituto del rapporto medico-paziente, in linea con quanto discusso nei dibattiti su intelligenza artificiale e sistemi sanitari.

Nel complesso, ChatEHR a Stanford mostra che i modelli linguistici in sanità possono offrire benefici organizzativi rilevanti solo se inseriti in un quadro di governance robusto, con limiti d’uso chiari, misure di sicurezza per il paziente e monitoraggio sistematico dell’impatto reale sui processi clinici.

Questo contenuto ha finalità informative generali e non sostituisce il parere del medico, del farmacista o di altri professionisti sanitari di riferimento.

Per approfondire

Il Sole 24 Ore offre una panoramica in italiano sulle applicazioni dell’intelligenza artificiale in sanità e su come gli algoritmi vengano progressivamente affiancati ai medici nella pratica clinica, con esempi dal contesto ospedaliero.

Il Sole 24 Ore English edition presenta un’analisi in lingua inglese sui principali trend globali dell’intelligenza artificiale in ambito sanitario, utile per confrontare l’esperienza italiana con quella di grandi centri accademici internazionali.