במאמר שפורסם באתר Healio התברר כי בוט המבוסס בינה מלאכותית-ChatGPT, סיפק סקירה כללית יחסית מדויקת של מצבים אורתופדיים ביחס למידע מארגון רפואי מקצועי אך לוקה בחסר בהערכת טיפול וגורמי סיכון.
CHATGPT הוא בוט של תקשורת טקסטואלית המבוסס על טכנולוגיית בינה מלאכותית, ופותח על ידי חברת OpenAI. הוא מיועד לתקשורת אנושית באמצעות טקסט, ויכול לספק תשובות במגוון רחב של נושאים, ולנהל שיחות באופן שמזכיר את התקשורת בין אנשים. הבוט מאומן באמצעות מאגר מידע ענק שכולל כמות עצומה של דפי רשת, מאמרים וספרים, בטכניקה שנקראת "למידה לא מפוקחת" (Unsupervised Learning). בשיטה זו, מזינים למודל של בינה מלאכותית מידע לא מתוייג, והוא מפיק ממנו תובנות בכוחות עצמו.
ד"ר צ'נדלר א. ספארקס, מבית הספר לרפואה Hackensack Meridian בניו ג'רזי, ושותפיו ביקשו לבדוק את כמות ודיוק תגובות ChatGPT-3.5 לאפשרויות טיפול, גורמי סיכון וסימפטומים ל-40 תופעות אורתופדיות. לאחר הפעלת הבוט עם שאלות ממוקדות עבור מטופלים כלליים, הם השוו את התגובות עם אתר המידע הרפואי ""OrthoInfo של האקדמיה האמריקאית לכירורגיה אורתופדית לצורך הדיוק.
בהשוואה לאתר OrthoInfo של ה- AAOS, ספארקס ושותפיו מצאו כי ChatGPT מספק בערך אותו כמות של סימפטומים לכל תופעה. אולם, הם הבחינו כי הבוט מספק באופן משמעותי פחות אפשרויות טיפול (הבדל ממוצע = -2.5) וגורמי סיכון (הבדל ממוצע = -1.1) לכל תופעה. עוד נמצא כי ChatGPT מספק אפשרויות טיפול לא מספיק מפורטות עבור מחצית מהתופעות שנשאלו.
"ChatGPT מספק פלטים לפחות מעורבים במדיניות לשאלות כלליות הנוגעות לתופעות אורתופדיות, אך חסר בכמות המידע שהוא מספק לגבי גורמי הסיכון ואפשרויות הטיפול," כתבו ספארקס ושותפיו במחקרם. מנתח אורתופדי שנשאל על איכות התוצאות העיד כי ChatGPT היה יחסית מדויק בלמעלה מ-65% מהתופעות, אבל בשאר-35% דייק בצורה בינונית בתופעות.
על כן, ספארקס ושותפיו הסיקו כי ההנחייה הקלינית מארגונים מקצועיים נשארת המקור המועדף למידע אורתופדי בהשוואה לצ'אטבוטים של AI.
