هوش مصنوعی به سرعت در بیمارستانها و کلینیکهای مراقبتهای بهداشتی در حال ادغام است. با این حال، مزایای ابزارهای هوش مصنوعی با خطرات جدیدی برای ایمنی بیمار و پرسشهایی درباره مسئولیتپذیری در صورت بروز مشکل همراه است.
به طور سنتی، مسئولیتها در مراقبتهای بهداشتی به وضوح مشخص شدهاند. پزشکان باید استانداردهای مشخصی از درمان را ارائه دهند. مؤسسات باید فرآیندهای درمانی ایمن را سازماندهی کنند. تولیدکنندگان باید دستگاههای پزشکی بدون نقص را عرضه کنند. نهادهای نظارتی و سازمانهای درگیر در صدور مجوز و اعتباربخشی میتوانند در صورت عدم رعایت استانداردهای مورد انتظار توسط هر یک از این طرفین، مداخله کنند. و دادگاهها میتوانند در صورت آسیب دیدن بیماران، طرف مسئول را ارزیابی کنند.
موج جدیدی از ابزارهای هوش مصنوعی پزشکی در حال محو کردن این مرزها است.
ابزارهای فعلی هوش مصنوعی عمدتاً به عنوان دستیار، با پشتیبانی بررسیهای انسانی، مشابه سایر دستگاههای پزشکی استفاده میشوند. به عنوان مثال، هنگامی که مدلهای هوش مصنوعی هشداری را مبنی بر در معرض خطر سپسیس (sepsis) بودن بیمار ایجاد میکنند، پزشک باید قبل از هر درمانی، منطق فیزیولوژیکی را بررسی و تأیید کند.
اما در چند سال آینده، انتظار میرود ابزارهای بالینی مبتنی بر هوش مصنوعی از ترکیب دادهها به عمل بر اساس آنها، با ورودی انسانی کمتر و کمتر، پیشرفت کنند. آنها تشخیصها را انجام میدهند، برنامههای درمانی را طراحی میکنند و تصمیمات مدیریت بیمار را اتخاذ میکنند که پزشکان نقش کمی یا هیچ نقشی در آنها ندارند. در حالی که خروجی بسیاری از ابزارهای موجود قابل درک است – به عنوان مثال، مدلهای سپسیس با ترکیب متغیرهای فیزیولوژیکی تعریف شده بر اساس یک فرمول شفاف کار میکنند – ابزارهای پیشرفتهتر میتوانند شامل فرآیندهای یادگیری عمیق «جعبه سیاه» (black-box) باشند. پزشکان دیگر قادر نخواهند بود به طور کامل استدلال ابزارها را دنبال کنند، حتی برای الگوریتمهایی که توضیحات محدودی برای قضاوتهای خود ارائه میدهند.
چنین ابزارهایی در میان قوانین مسئولیتپذیری قرار میگیرند. استدلال «جعبه سیاه» آنها تعیین زمان نقص آنها را دشوار میکند. و هنگامی که تصمیمات به طور مشترک توسط انسانها و یک مدل هوش مصنوعی مبهم گرفته میشوند، ارزیابی مسئولیت در صورت آسیب دیدن افراد در حین دریافت مراقبتهای بهداشتی دشوار میشود. چارچوبهای مسئولیتپذیری پزشکی موجود به این نقطه تلاقی نمیپردازند.
این عدم قطعیت قانونی به این معنی است که افرادی که آسیب میبینند ممکن است در شکافهای مسئولیتپذیری قرار گیرند که در آن هیچ کس به وضوح قانونی را نقض نکرده است. بیمارستانها احتمالاً از هوش مصنوعی برای عملکردهای بالقوه مفید به دلیل نگرانی در مورد خطرات قانونی اجتناب میکنند – نگرانیهایی که مکرراً توسط پزشکان به عنوان مانعی برای پذیرش ایمن هوش مصنوعی ذکر میشود و توسط برخی به عنوان دلیلی برای عدم استفاده از ابزارهای «جعبه سیاه» موجود تلقی میشود. و فروشندگان هوش مصنوعی ممکن است از تعهد خود برای نظارت بر ایمنی پس از ورود یک ابزار به بازار شانه خالی کنند، با اطمینان از اینکه در صورت بروز مشکل، تعیین تقصیر دشوار خواهد بود.
چارچوبهای مسئولیتپذیری روشن مورد نیاز است.
در اینجا ما نحوه دستیابی به این هدف را با تعریف هفت سطح از قابلیتهای هوش مصنوعی بر اساس سه عامل: خودمختاری، اتوماسیون و دامنه عملیاتی، تشریح میکنیم. در مورد هواپیماها و خودروهای خودران، نهادهای نظارتی از قبل از سطوح درجهبندیشده برای تعیین دقیق وظایفی که سیستمها باید انجام دهند، میزان استقلال آنها و زمان مورد انتظار برای مداخله انسان استفاده میکنند. مجموعه مشابهی از سطوح برای سیستمهای هوش مصنوعی پزشکی به نهادهای نظارتی، سیاستگذاران، دولتها، دادگاهها و سازمانهای حرفهای مراقبتهای بهداشتی کمک میکند تا برای ابزارهای آینده برنامهریزی کنند.
سه ویژگی نحوه استفاده از هوش مصنوعی در کلینیک را تعیین میکنند.
اول، خودمختاری: سیستم چقدر مستقل استدلال میکند، بدون نیاز به ورودی انسانی. مدلهای موجود خطر سپسیس ابزارهای هوش مصنوعی با خودمختاری پایین هستند. در مقابل، سیستمهای یادگیری عمیق (deep-learning) ممکن است از الگوهای هزاران متغیر به تشخیص برسند و استنتاجاتی را انجام دهند که پزشکان نمیتوانند آنها را ردیابی کنند.
دوم، اتوماسیون: یک سیستم هوش مصنوعی پزشکی چه وظایفی را میتواند به تنهایی انجام دهد. چنین سیستمی ممکن است از یک ربات با اتوماسیون پایین که جراح آن را کنترل میکند، تا سیستمی که نسخههای شیمیدرمانی را مستقیماً به داروخانه میفرستد، متغیر باشد.
سوم، دامنه عملیاتی: مرزهایی که سیستم در آن مجاز به کار است. یک سیستم تصویربرداری شبکیه که توسط یک سرویس تخصصی چشمپزشکی برای بررسی مجدد تصمیمات بالینی استفاده میشود، کمتر از همان ابزار که در یک کلینیک مراقبتهای اولیه برای تصمیمگیری مستقل در مورد ارجاع بیمار به متخصص استفاده میشود، خطرناک است.
هفت سطح زیر میتواند مبنایی برای تعریف خطرات پیرامون ابزارهای هوش مصنوعی پزشکی باشد. یک ابزار خاص ممکن است بسته به مکان و نحوه استفاده و توسط چه کسی، در سطوح مختلفی قرار گیرد.
سطح ۰: اطلاعاتی. یک سیستم هوش مصنوعی بدون خودمختاری، اتوماسیون متغیر و دامنه عملیاتی محدود. چنین سیستمهایی دادهها را طبق قوانین تعیین شده توسط انسانها ذخیره، جابجا و نمایش میدهند. مثالها شامل الگوریتمهایی برای مدیریت پروندههای الکترونیکی سلامت یا جریان دادهها از دستگاههای پوشیدنی که علائم حیاتی را ردیابی میکنند، هستند. رفتار الگوریتمی شفاف است و هر خروجی به طور مستقل قابل تأیید است.
این یک زمینه شناخته شده است. نهادهای نظارتی میتوانند ارزیابی کنند که آیا چنین ابزارهایی قابل اعتماد هستند و امنیت سایبری و حفاظت از دادهها را به اندازه کافی ارائه میدهند. دادگاهها میتوانند استانداردهای متعارف را برای ارزیابی مسئولیت اعمال کنند.
سطح ۱: کمکی. سیستمهای هوش مصنوعی با خودمختاری پایین، اتوماسیون پایین تا متوسط و دامنه عملیاتی محدود. چنین سیستمهایی میتوانند یک وظیفه واحد و به وضوح تعریف شده را تحت نظارت یک پزشک انجام دهند – مانند علامتگذاری ریتمهای مشکوک در مانیتور قلب یا برجسته کردن گرههای ریوی احتمالی در اسکن. استدلال الگوریتمی این ابزارها ممکن است مبهم باشد، اما خروجی را میتوان از طریق بررسی بالینی دادههای بیمار یا با «تکنیکهای توضیحپذیری» (explainability techniques) که همبستگی بین دادههای ورودی و خروجی مدل را بررسی میکنند، تأیید کرد.
این ابزارها به عنوان کمکهای تشخیصی، مشابه سیستمهای تشخیص کامپیوتری موجود برای ماموگرافی و کولونوسکوپی، تنظیم میشوند. بیمارستانها مسئول اطمینان از درک محدودیتهای آنها توسط کارکنان هستند. از کاربران انتظار میرود که به درستی قضاوت کنند که آیا هشدارها معنیدار هستند یا خیر.
سطح ۲: پشتیبانی تصمیم. ابزارهای هوش مصنوعی با خودمختاری پایین، اتوماسیون پایین تا متوسط و دامنه عملیاتی متوسط. این سیستمها چندین جریان داده را ترکیب میکنند – شاید شامل علائم، سابقه پزشکی قبلی، دادههای تصویربرداری و دستورالعملهای فعلی. ابزارهای موجود در این سطح میتوانند تشخیص و برنامه درمانی را تولید کنند، خلاصههای ترخیص دقیق را تهیه کنند و امتیازات خطر را برای تصمیمات تریاژ (triage) ایجاد کنند. همانند ابزارهای سطح ۱، آنها برای مشاوره طراحی شدهاند – استدلال آنها ممکن است مبهم باشد اما تا حدی قابل تأیید است، و از پزشکان انتظار میرود که تصمیم نهایی را بگیرند.
نهادهای نظارتی باید شواهد محکمی را درخواست کنند که این سیستمها مراقبت را بهبود میبخشند. بیمارستانها باید پزشکان را آموزش دهند تا خروجیها را به چالش بکشند به جای اینکه به طور پیشفرض آنها را بپذیرند، و دادگاهها باید تصمیم بگیرند که آیا اتکای پزشک به یک توصیه خاص در شرایط موجود منطقی بوده است یا خیر. این خطر وجود دارد که پزشکان تحت فشار زمانی بیش از حد به ابزارهای مشاورهای تکیه کنند. هیچ راه آسانی برای تعیین اینکه یک پزشک چقدر تحت تأثیر توصیه یک ماشین قرار گرفته است، وجود نخواهد داشت.
سطح ۳: اتوماسیون تحت نظارت. سیستمهای هوش مصنوعی با سطوح متوسط خودمختاری و اتوماسیون، و دامنه عملیاتی متوسط. سیستم، به جای پزشک، تصمیمگیرنده است. این ابزارها در حال حاضر نادر هستند (به «طبقهبندی هوش مصنوعی پزشکی فعلی» مراجعه کنید). در یک حوزه به شدت تعریف شده، آنها میتوانند به صورت پویا به نیازهای درمانی پاسخ دهند – به عنوان مثال، دستگاههای تحویل انسولین به طور خودکار دوزها را بر اساس قرائتهای مداوم گلوکز، با استفاده از الگوریتمهای تعبیه شده و محدودیتهای از پیش تعریف شده تنظیم میکنند. پزشک انتخاب میکند که کدام بیماران در سیستم قرار گیرند و تنها زمانی که چیزی اشتباه به نظر میرسد، مداخله میکند.
نهادهای نظارتی باید بر کیفیت دستورالعملهای استفاده و نگهداری این سیستمها و اطلاعات مربوط به خطرات ذاتی در ارائه مراقبت تمرکز کنند. سازمانهای مراقبتهای بهداشتی باید راهنماییهایی را برای پروتکلهای رضایت آگاهانه ارائه دهند که به انواع جدید خطرات ذاتی در درمان مبتنی بر هوش مصنوعی پاسخ میدهد، و ارائهدهندگان باید این خطرات را با بیماران در میان بگذارند.
با این سیستمها، پزشکان ممکن است به دلیل ثبت نام بیمار نامناسب، عدم پاسخگویی به آلارمهای دستگاه یا عدم درک محدودیتهای سیستم مورد انتقاد قرار گیرند. سازمانها ممکن است بر اساس نحوه انتخاب، اعتبارسنجی و نظارت بر فناوری قضاوت شوند. تولیدکنندگان ممکن است در صورت نقص در طراحی یا بهروزرسانیها که به آسیب منجر میشود، مسئول باشند. اما ارزیابیهای مسئولیتپذیری متعارف ممکن است برای این منظور نامناسب باشند، اگر پزشکان و سازمانها به طور منطقی عمل کرده باشند و آسیب ناشی از یک تصمیم الگوریتمی باشد که به وضوح اشتباه نیست.
سطح ۴: نظارت انسانی با تحریک هوش مصنوعی. ابزارهای هوش مصنوعی با سطوح متوسط تا بالای خودمختاری و اتوماسیون، و دامنه عملیاتی گسترده. این سیستمها کل دورههای درمانی را در زمینههایی مانند مراقبتهای ویژه مدیریت میکنند. آنها به طور مداوم بیماران را نظارت میکنند و درمانها را تنظیم میکنند – به عنوان مثال، تنظیمات ونتیلاتور و آرامبخش را در برابر چندین هدف فیزیولوژیکی به طور همزمان متعادل میکنند. آنها پروتکلهای پشتیبان مانند فراخوانی تیم واکنش سریع را در صورت بروز مشکل فعال میکنند. پزشکان یک شبکه ایمنی هستند و تنها زمانی که سیستم هشدار میدهد، عمل میکنند. استقرار سطح ۴ هنوز در پزشکی موفقیتآمیز نبوده است، اگرچه اجزای فنی مورد نیاز در حال ظهور هستند.
برای این سیستمها، نهادهای نظارتی باید شواهد قوی را درخواست کنند که نشان دهد حضور انسان در حلقه (human in the loop) ایمنی را کاهش میدهد. با توجه به اینکه پزشکان فرصت واقعی برای بررسی اقدامات این سیستمها نخواهند داشت، دادگاهها ممکن است در تعیین اینکه آیا یک نتیجه نامطلوب نشاندهنده سهلانگاری، نقص پنهان یا صرفاً خطرات ذاتی پزشکی است، با مشکل مواجه شوند.