מינוח אופתלמולוגי מתמחה מגביל את ההבנה עבור קלינאים ואנשי מקצוע שאינם מתחום האופתלמולוגיה, מה שמקשה על תקשורת בינתחומית וטיפול במטופלים. היישום הקליני של מודלים שפתיים גדולים בפרקטיקה טרם נחקר באופן מעמיק. חוקרים ביקשו להעריך סיכומים בשפה פשוטה (PLSs) המופקים על ידי מודלים שפתיים גדולים (LLMs) המשולבים ברשומות אופתלמולוגיות סטנדרטיות, ואת השפעתם על שיפור ההבנה האבחנתית, שביעות הרצון והבהירות. תוצאות המחקר התפרסמו ב-JAMA Ophthalmology.
עוד בעניין דומה
מחקר שיפור איכות אקראי זה נערך מ-1 בפברואר 2024 עד 31 במאי 2024 וכלל נתונים ממפגשים אשפוזיים ואמבולטוריים במרכז אקדמי שלישוני יחיד. המשתתפים היו קלינאים ואנשי מקצוע שאינם מתחום האופתלמולוגיה וכן אופתלמולוגים. הקריטריון היחיד להכללה היה כל רשומת מפגש שנוצרה על ידי אופתלמולוג במהלך תאריכי המחקר. קריטריוני הוצאה היו (1) חוסר בקלינאים ואנשי מקצוע שאינם מתחום האופתלמולוגיה עבור מפגשים אמבולטוריים ו-(2) מפגשי מטופלים לצורך הליכים בלבד.
ההתערבות היתה הוספת סיכומים בשפה פשוטה המופקים על ידי מודלים שפתיים גדולים לרשומות אופתלמולוגיות. התוצא העיקרי היה תגובות סקר מקלינאים ואנשי מקצוע שאינם מתחום האופתלמולוגיה שהעריכו הבנה, שביעות רצון ובהירות של רשומות אופתלמולוגיות. תוצאים משניים היו תגובות סקר מאופתלמולוגים שהעריכו את הסיכומים מבחינת זרימת עבודה קלינית ודיוק, מדדים אובייקטיביים של איכות סמנטית, וניתוח בטיחות.
התוצאים הראו כי סך הכל 362 (85%) קלינאים ואנשי מקצוע שאינם מתחום האופתלמולוגיה (שיעור תגובה 33.0%) העדיפו את הסיכומים בשפה פשוטה על פני רשומות אופתלמולוגיות סטנדרטיות. לא נאספו נתונים דמוגרפיים על גיל, גזע, אתניות ומין.
קלינאים ואנשי מקצוע שאינם מתחום האופתלמולוגיה דיווחו על שיפור בהבנה האבחנתית (עלייה של 9.0 נקודות אחוז; רווח בר-סמך של 95%: 0.3 עד 18.2; P = .01), עלייה בשביעות הרצון מפירוט הרשומה (עלייה של 21.5 נקודות אחוז; רווח בר-סמך של 95%: 11.4 עד 31.5; P < .001) ושיפור בבהירות ההסברים (עלייה של 23.0 נקודות אחוז; רווח בר-סמך של 95%: 12.0 עד 33.1; P < .001) עבור רשומות שהכילו סיכום בשפה פשוטה.
הוספת סיכום בשפה פשוטה הייה קשורה להפחתת פערי הבנה בין קלינאים שהרגישו בנוח ולא בנוח עם מינוח אופתלמולוגי (מ-26.1% [רווח בר-סמך של 95%: 13.7% עד 38.6%; P < .001] ל-14.4% [רווח בר-סמך של 95%: 4.3% עד 24.6%; P > .06]). ניתוח סמנטי של הסיכומים מצא שימור משמעות גבוה (ציון BERT ממוצע F1: 0.85) עם קריאות גבוהה יותר מרשומות אופתלמולוגיות סטנדרטיות (Flesch Reading Ease:י51.8 לעומת 43.6; Flesch-Kincaid Grade Level:י10.7 לעומת 11.9).
הוספת סיכום בשפה פשוטה היתה קשורה להפחתת פערי הבנה בין קלינאים שהרגישו בנוח ולא בנוח עם מינוח אופתלמולוגי, מ-26.1% (רווח בר-סמך של 95%: 13.7% עד 38.6%, P < .001) ל-14.4% (רווח בר-סמך של 95%: 4.3% עד 24.6%, P > .06). ניתוח סמנטי של הסיכומים מצא שימור משמעות גבוה עם ציון BERT ממוצע F1 של 0.85, וקריאות גבוהה יותר מרשומות אופתלמולוגיות סטנדרטיות עם Flesch Reading Ease של 51.8 לעומת 43.6, ו-Flesch-Kincaid Grade Level של 10.7 לעומת 11.9.
489 אופתלמולוגים השתתפו בסקר, עם שיעור תגובה של 84%. מתוך כלל המשתתפים, 355 דירגו את רמת הדיוק של הסיכומים,ו-90% מהם (320 מתוך 355) ציינו שהדיוק היה גבוה במידה רבה. ב-94.9% מהמקרים (464 מתוך 489), זמן הסקירה של הסיכום היה דקה או פחות. שיעור השגיאות שזוהו עמד על 26% (126 מתוך 489 סיכומים). מתוך השגיאות הללו, 83.9% (104 מתוך 126) הוערכו כבעלות סיכון נמוך לנזק, ולא נמצאה אף שגיאה שהיוותה סיכון לנזק חמור או למוות.
ממצאי מחקר זה מציעים כי שילוב סיכומים בשפה פשוטה המופקים על ידי מודלים שפתיים גדולים ברשומות אופתלמולוגיות יכול לשפר תקשורת בינתחומית, אם כי נדרשים יישום זהיר וניטור בטיחות לשילוב קליני מוצלח נוכח התמדת שגיאות למרות סקירה רפואית. הסיכומים הציגו הבנה אבחנתית טובה יותר, שביעות רצון גבוהה יותר מהרשומה ובהירות משופרת בהשוואה לרשומות אופתלמולוגיות סטנדרטיות בלבד.
מקור:
הירשמו לקבלת עדכונים בנושאים שעלו בכתבה
תגובות אחרונות