Chatboty AI jednak nie zagrożą temu zawodowi. Mają jedną wadę

Dokładność chatbotów znacząco spada, gdy diagnoza musi być postawiona na podstawie dialogu z pacjentem. 

Ale trzeba też przyznać rację, że chatboty wypadają zaskakująco dobrze na profesjonalnych egzaminach lekarskich. I to jest godne pochwały. Jednak, jeśli chodzi o najważniejsze zadanie lekarza - rozmowę z pacjentem - nie potrafią sobie z tym poradzić. Nie są w stanie ani zebrać istotnych informacji medycznych, ani też postawić trafnej diagnozy. 

Podczas gdy duże modele językowe wykazują imponujące wyniki w testach wielokrotnego wyboru, ich dokładność znacznie spada w dynamicznych konwersacjach. Modele te mają szczególne problemy z otwartym rozumowaniem diagnostycznym.

- mówi Pranav Rajpurkar z Uniwersytetu w Harvardzie.  

Do takich wniosków doszli badacze, gdy opracowali metodę zdolności rozumowania klinicznego modelu AI, opartą na symulowanych rozmowach lekarz-pacjent. Eksperci dwukrotnie sprawdzili oceny. Przeanalizowali również rozmowy, aby sprawdzić poziom dokładności AI pacjenta i przekonać się, czy AI klinicznemu udało się zebrać odpowiednie informacje medyczne. Najbardziej imponująca dokładność diagnostyczna cechowała GPT-4, na drugim miejscu raz plasował się GPT-3,5, a innym razem Mistral. Najniższe wyniki na tym polu uzyskał model Llama firmy Meta. 

Wiadomo, że sztuczna inteligencka nie zastąpi lekarzy, ale może wkrótce stać się potężnym narzędziem wspomagającym pracę kliniczną.