پایگاه داده تینک فمیلی (Think Family) حاوی اطلاعات نزدیک به نیم میلیون نفر از ساکنان شهر بریستول، انگلستان است. برای سالها، بسیاری از این افراد چیزی درباره آن نمیدانستند.
این پایگاه داده که در سال ۲۰۱۶ توسط شورای شهر بریستول و پلیس منطقهای اَوون و سامرست راهاندازی شد، انواع اطلاعات حساس از جمله گزارشهای اطلاعاتی پلیس، وضعیت مسکن، سوابق سلامت روان، بارداریهای نوجوانان، شرکت در دورههای والدین و وعدههای غذایی رایگان مدرسه را ذخیره کرده است. علاوه بر این دادههای حساس، مقامات مدلهای یادگیری ماشین را برای تخصیص امتیاز به هزاران بزرگسال و کودک ساختند. آنها امیدوار بودند آنچه را که «تصویری از تهدید، آسیب و ریسک» در منطقه مینامیدند، ایجاد کنند. در رویدادی در اوایل سال ۲۰۲۲ که برای کمک به مقامات در مقابله با جرائم استثمار کودکان برگزار شد، یک دانشمند داده پلیس بخشی از این رویکرد را اینگونه توصیف کرد: «من اساساً تمام آن دادهها را در یک سطل بزرگ میریزم و با یک کاردک علم داده هم میزنم، و با یک امتیاز ریسک دوستداشتنی برای همه بیرون میآییم.»
این امتیازدهی ریسک در پایگاه داده تینک فمیلی تنها بخشی از برنامه گسترده تحلیلهای پیشبینیکننده پلیس اَوون و سامرست بود. در میان حداقل ۲۳ مدل جداگانه که این نیرو ایجاد کرده بود، الگوریتمهایی برای شناسایی خطر ارتکاب سرقت توسط افراد، عدم حضور در دادگاه، گم شدن، یا قربانی شدن خشونت خانگی وجود داشت. یک افسر ارشد، از ایجاد «جدول لیگ» خطرناکترین مجرمان منطقه سخن گفت – اشارهای آشکار به برنامه مدیریت مجرمان (Offender Management App)، که برای نگهداری اطلاعات حدود ۳۰۰,۰۰۰ نفر در منطقه طراحی شده بود.
چگونگی توسعه و استفاده پلیس از ابزارهای پیشبینیکننده همیشه برای عموم روشن نبوده است. جان پگرام، رهبر یک گروه محلی پاسخگویی پلیس در بریستول، میگوید تا سال ۲۰۲۳، سالها پس از ایجاد برنامه مدیریت مجرمان، از آن اطلاعی نداشت. وقتی از آن مطلع شد، گمان کرد که شاید خودش نیز در آن گنجانده شده باشد. پگرام میگوید: «فکر میکنم میدانستم که در این برنامه هستم.»
در اوایل سال ۲۰۲۴، پگرام درخواستی را برای اطلاع از نحوه استفاده پلیس از دادههای او ثبت کرد. پلیس از پاسخ دادن خودداری کرد. ماهها بعد، پس از اینکه پگرام وکیلانی را برای رسیدگی به پرونده خود استخدام کرد، پلیس تأیید کرد که او در برنامه هست، اما از ارائه جزئیات بیشتر خودداری کرد. مانند بسیاری دیگر در سراسر بریستول، بریتانیا و به طور فزایندهای در سراسر جهان، پگرام نمیدانست که آیا توسط یک الگوریتم امتیازدهی شده است، این امتیاز چقدر است و چگونه میتواند بر تعاملات او با مقامات تأثیر بگذارد.
وایرد (WIRED)، با همکاری با اتاق خبر غیرانتفاعی لیبرتی اینوستگیتس (Liberty Investigates)، به علاوه بریستول کِیبِل (Bristol Cable) و لایثهاوس ریپورتس (Lighthouse Reports)، صدها صفحه مستندات را از درخواستهای ثبت عمومی به دست آورد تا جامعترین تصویر را از آزمایش منطقهای اَوون و سامرست با جمعآوری دادهها و تحلیلهای پیشبینیکننده ارائه دهد. (لیبرتی، سازمان مادر لیبرتی اینوستگیتس، در اوایل در یک چالش حقوقی احتمالی برای این برنامه دخالت داشت و همچنان از دعوی پگرام حمایت میکند.)
این تحقیق نشان میدهد که حداقل دو مورد از این مدلهای امتیازدهی ریسک پس از آنکه کارکنان شورای شهر بریستول آنها را غیرقابل اعتماد دانستند، بیسروصدا کنار گذاشته شدند. اسنادی که قبلاً گزارش نشدهاند نشان میدهند که بازرسان دولتی و بازبینان مستقل به کمبود نگرانکنندهای از شفافیت در مورد برخی عناصر برنامه اشاره کرده و هشدار دادهاند که این سیستمها میتوانند اعتماد عمومی را تضعیف کنند. دادههای پلیس که به وایرد فاش شدهاند – شامل بیش از ۳۶,۰۰۰ امتیاز عملکرد مدل – در برخی موارد «عملکرد پیشبینیکننده واقعاً ضعیفی» را نشان میدهند، به گفته یک تحلیلگر مستقل که دادهها را برای وایرد بررسی کرده است.
این یافتهها در حالی منتشر میشود که بریتانیا ظاهراً آماده پذیرش تحلیلهای پیشبینیکننده و هوش مصنوعی در سراسر سیستم عدالت کیفری است. چهرهای آشنا به این روند کمک میکند: رئیس پلیس سابق اَوون و سامرست، اندی مارش، که اکنون ریاست نهاد ملی تعیین استانداردها برای نیروهای پلیس در سراسر انگلستان و ولز را بر عهده دارد. مارش به عنوان مدیرعامل کالج پلیس (College of Policing)، گفته است که هوش مصنوعی موثر باید «مانند هروئین تزریق شود» تا کار پلیس بریتانیا را تسریع بخشد. در یک مصاحبه اخیر، مارش گفت که سازمان او حدود ۱۰۰ ابزار هوش مصنوعی در حال استقرار، از جمله برای پلیس پیشبینیکننده، را بررسی میکند. «وظیفه ما این است که آنهایی را که به درستی کار میکنند، با ارزیابی دقیق آزمایش کرده و سپس آنها را مانند آتش در سراسر پلیس گسترش دهیم.»
در سال ۲۰۱۴، پلیس اَوون و سامرست از چندین جهت تحت فشار بود. این نیرو، مانند سایر نیروهای پلیس در بریتانیا، شاهد کاهش بودجه خود بود. رئیس پلیس آن تعلیق شده بود. یک گزارش رسمی بر عدم پایبندی آن به رویهها برای حفاظت از برخی قربانیان خشونت خانگی تأکید کرده بود. پس از انتشار آن گزارش، رئیس بخش عملکرد نیرو گفت: «ما معتقدیم تحلیلهای پیشبینیکننده راه حل است.»
گری دیویس، سرپرست ارشد پلیس سابق که دو سال قبل به شورای شهر بریستول منتقل شده بود، نیز تفکرات مشابهی داشت. دیویس تیمی را در شورا رهبری میکرد که از کودکان و خانوادهها حمایت میکرد. او میگوید: «وقتی خانوادهها در بحران بودند، این کاملاً آشکار بود.» اما شناسایی کسانی که در آستانه یک سراشیبی قرار داشتند، بسیار دشوارتر بود.
دیویس معتقد بود که پاسخ در دادهها نهفته است. ممکن است مدرسه یک کودک سوابق افزایش غیبتها را داشته باشد، در حالی که پلیس ممکن است بداند که کودک اخیراً برای اولین بار شاهد خشونت خانگی بوده است. به تنهایی، اینها ممکن است برای تحریک مداخله از خدمات اجتماعی کافی نباشند. اما با هم؟ او میگوید: «اگر میتوانستید کل تصویر را ببینید، متوجه میشدید که مسیر آنها در جهت اشتباهی پیش میرود.»
از سال ۲۰۱۵، گروه کوچکی از کارکنان شورای شهر بریستول و پلیس اَوون و سامرست به یکی از ایستگاههای پلیس شهر نقل مکان کردند تا روی راه حلی برای آن مشکل با هم کار کنند. تیم اینسایت بریستول (Insight Bristol) به سرپرستی دیویس، شروع به جمعآوری دادهها از سراسر بخش عمومی کرد تا تمام اطلاعاتی را که ممکن است کارگران خط مقدم در مورد کودکان و خانوادهها نیاز داشته باشند، فراهم کند.
تیم اینسایت بریستول برای استفاده از دادههای ساکنان در پایگاه داده تینک فمیلی، رضایت آنها را نگرفت. در عوض، دیویس توضیح میدهد که تیم به «دروازههای قانونی» متکی بود – اصطلاحی که به زمانی اشاره دارد که اشتراکگذاری دادهها برای برآوردن تعهدات قانونی یک آژانس، مانند نیاز به حفاظت از کودکان، ضروری تلقی میشود. «اگر این تصور را میدادید که مردم رضایت دارند، این یک توهم کاذب ایجاد میکرد، زیرا در واقع، ما به عنوان یک مقام محلی یا پلیس یا هر کس دیگری، باید آن سوابق را نگه داریم.» در ابتدا، ساکنان نمیتوانستند از پایگاه داده خارج شوند؛ بعدها، شورا گزینه انصراف را در نامههای مالیاتی خود به ساکنان گنجاند.
دیویس، که اخیراً بازنشسته شده است، معتقد است که این پروژه به حفاظت از کودکان کمک کرده است. او میگوید: «درک ریسک و آسیبپذیری برای کودکان و خانوادهها را بهبود بخشید.» او میافزاید: «این اطلاعات را به شیوهای بسیار کارآمدتر فراهم کرد.» وقتی صحبت از اطلاعرسانی به عموم شد، دیویس میگوید: «جلب اشتیاق یا علاقه از گروههای مردم بسیار دشوار بود.» او به یاد میآورد که کسانی که مشارکت کردند، گفتند که نیاز به استفاده از دادههای شخصی را درک میکنند و بازخورد آنها را اینگونه خلاصه میکند: «ما مخالف استفاده شما از آن برای حمایت از ما نیستیم، اما نمیخواهیم از آن علیه ما استفاده کنید.»
در حالی که تیم اینسایت بریستول مشغول ایجاد پایگاه داده تینک فمیلی بود، پلیس اَوون و سامرست شروع به بررسی پتانسیل تحلیلهای پیشبینیکننده کرده بود. در مارس ۲۰۱۶، کمیته اخلاق این نیرو برای بررسی نحوه ادامه کار تشکیل جلسه داد. اعضا توصیه کردند که «باید توجه دقیقی به دادههای مورد استفاده» و «متغیرهای مورد استفاده در فرآیند» شود و نتیجه گرفتند: «استفاده از سیستم باید با احتیاط برخورد شود و باید اطمینان حاصل شود که هیچ سوگیری وجود ندارد.» این کمیته توصیه کرد که اگر کار تحلیلهای پیشبینیکننده این نیرو ادامه یابد، «عموم مردم باید از چرایی و چگونگی انجام چنین فرآیندهایی مطلع شوند.»
پس از اتمام کار گردآوری پایگاه داده تینک فمیلی، یک دانشمند داده پلیس توسعه مدلهای پیشبینی ریسک را برای این پروژه رهبری کرد. یکی از آن مدلها با هدف شناسایی کودکانی که در معرض خطر استثمار جنسی هستند، طراحی شد. مدل CSE، همانطور که شناخته میشد، از طیف گستردهای از مجموعه دادههای نگهداری شده توسط پلیس، شورا و سایر آژانسهای عمومی استفاده کرد. خیریه حفاظت از کودکان «بارناردوس» (Barnardos) دادههای ناشناس شامل ۱۰۰۰ کودک که مشخص شده بود مورد سوءاستفاده جنسی قرار گرفتهاند، را فراهم کرد. این مدل برای شناسایی کودکانی با ویژگیهای مشابه طراحی شده بود. سیستم اتصالات اجتماعی کودکان را تحلیل میکرد تا مشخص کند آیا آنها با کسی که آسیبپذیر به استثمار یا عامل احتمالی آن تلقی میشود، ارتباط دارند یا خیر. طبق اسناد، «نیاز داشتن»، غیبت «مداوم» از مدرسه یا نگرانیهای مربوط به سلامت روان، امتیازات ایجاد شده توسط مدل CSE را افزایش میداد.
تلاشهای پلیس برای استفاده از چنین طیف گستردهای از دادهها، نگرانیهای اولیه را ایجاد کرد. در سال ۲۰۱۸، محققان آزمایشگاه عدالت داده دانشگاه کاردیف (Cardiff University’s Data Justice Lab) چندین برنامه امتیازدهی شهروندان بریتانیا، از جمله کار در بریستول، را بررسی کردند و اشاره کردند: «متغیرهای مورد استفاده در عمل میتوانند نماینده فقر باشند.» دیویس به یاد میآورد که بیشتر کودکانی که بالاترین امتیازات ریسک را داشتند، قبلاً در کانون توجه مقامات بودند. او میگوید: «آنها کودکانی پیچیده بودند که قبلاً با مددکاران اجتماعی و خانوادهها کار میشدند.» «بیشتر خروجی به شما میگفت که قبلاً چه میدانستید.»
با این حال، اشتیاق پلیس به تحلیلهای پیشبینیکننده کاهش نیافت. یک مدیر اطلاعات تجاری پلیس در سال ۲۰۱۸ گفت: «ما میخواهیم امروز انتخابهایی انجام دهیم که از وقوع جرم در وهله اول جلوگیری کند.» یک مدل برای پیشبینی استثمار مجرمانه کودکان (CCE)، که طبق گفته شورای شهر بریستول در سال ۲۰۱۹ معرفی شد، باز هم از دادههای طیف گستردهای از آژانسهای عمومی استفاده میکرد، از جمله اینکه آیا خانوادهای از حمایت مسکن برخوردار است یا اجارهبهای عقبافتاده دارد و آیا کودکی وعدههای غذایی رایگان مدرسه دریافت میکند. در همان سال، رئیس پلیس اندی مارش اعلام کرد: «در ۱۲ ماه آینده، تمام بخشهای پلیس اَوون و سامرست از طریق تحلیلهای پیشبینیکننده و بصریسازی اداره خواهد شد.»
در سراسر بریتانیا، سایر نهادهای اجرای قانون آزمایشهای خود را در زمینه پلیس پیشبینیکننده انجام داده بودند – با نتایج متفاوت. پلیس کِنت (Kent Police)، اولین نیروی بریتانیایی که این فناوری را آزمایش کرد، اخیراً قرارداد خود را با شرکت آمریکایی PredPol لغو کرده بود و گفته بود که نشان دادن کاهش جرم توسط این برنامه «چالشبرانگیز» بوده است. پلیس دورهام (Durham Constabulary) به دلیل استفاده از دادههای جامعهشناختی برای پیشبینی خطر بازگشت به جرم مورد انتقاد قرار گرفته بود. در مقایسه، پلیس اَوون و سامرست یک داستان موفقیتآمیز به نظر میرسید.
با این حال، در پشت صحنه، کار تحلیلهای پیشبینیکننده پلیس به گفته اِل پیِرسون، محقق دانشگاه رویال هالووی لندن (Royal Holloway University of London) که در حال اتمام دکترای خود در زمینه مطالعه این برنامههاست، «نامنظم» به نظر میرسید. پیرسون که با بیش از دوازده نفر از کارکنان پلیس و شوراهای محلی مصاحبه کرده است، میگوید: «وقتی شروع کردم، هیچ کس نمیتوانست به من بگوید چه دادههایی دارند یا از کجا آمدهاند یا کدام سیستم از کدام داده استفاده میکند.»
به مرور زمان، پیرسون «خزش عملکرد» (function creep) را مشاهده کرد، که سیستمها گستردهتر شدند، دادههای بیشتری را ترکیب کردند و فراتر از اهداف اصلی خود گسترش یافتند. پیرسون میگوید در حالی که تیمهای «وظیفهشناس» بر توسعه تحلیل دادهها نظارت داشتند، شفافیت کمی وجود داشت. پیرسون میگوید: «در برخی موارد، ممکن است تنها یک نفر مدلهای ریسک را ایجاد کند که تصمیماتی را اتریبا» بر صدها هزار نفر تأثیر میگذارد.»
تا سال ۲۰۲۱، طبق بررسی اینسایت بریستول در سوابق دولتی که توسط وایرد به دست آمد، مقامات مرکز اخلاق و نوآوری دادهها (Centre for Data Ethics and Innovation) (که از آن زمان منحل شده است) از «تنشهای اخلاقی» مرتبط با این پروژه میشنیدند. بازبینان گفتند که «مقادیر زیادی از دادههای حساس» وارد امتیازات ریسک شده است و اشاره کردند که این دادهها با استفاده از «دروازههای قانونی» و نه با ایجاد اعتماد با مردم محلی جمعآوری شدهاند. آنها گفتند: «قانونی بودن همان مشروعیت نیست.»
دو سال بعد، سازمان غیرانتفاعی «سوشال فایننس» (Social Finance) یک بررسی مستقل از پایگاه داده تینک فمیلی و کار دادهای اینسایت بریستول انجام داد. این بررسی ۱۰۰ صفحهای، که ظاهراً تنها پس از درخواست سوابق از وایرد منتشر شده است، توسط شورای شهر بریستول و شورای سامرست (Somerset Council) که در حال برنامهریزی یک سیستم مشابه بود، سفارش داده شد. این بررسی نشان داد که پایگاه داده تینک فمیلی و تجسمهای آن برای کارکنان حفاظت از کودکان مفید بوده و میتواند «منجر به پاسخهای به موقعتر شود.»
با این حال، این بررسی مدلهای امتیازدهی ریسک را «ضعیفترین عنصر» پروژه توصیف کرد و اشاره کرد که «عدم دقت» پتانسیل آنها برای مفید بودن را تضعیف کرده است. کارکنان شورا در مورد مدلهای طراحی شده برای ارزیابی خطر استثمار جنسی کودکان (CSE) و استثمار مجرمانه کودکان (CCE) تردیدهایی را مطرح کرده بودند. این بررسی تقریباً همزمان با توقف استفاده شورا از این مدلها تکمیل شد، که کارکنان اخیراً آنها را «برای استفاده عملیاتی مناسب نیست» توصیف کرده بودند.
در حالی که قبلاً مدلهای CSE و CCE عمدتاً به کارکنان میگفتند که چه چیزی را قبلاً میدانستند، طبق گفته گری دیویس، رئیس سابق تیم اینسایت بریستول، همان مددکاران اجتماعی به بازبینان سوشال فایننس گفتند که الگوریتمها را به طور فزایندهای «نادرست» میدانند. در ایمیلی درباره مدل CSE، یکی از کارکنان نوشته بود: «افرادی هستند که در ماه گذشته قربانی جرائم جنسی بودهاند، اما امتیازشان از کسانی که مرتکب سرقت شدهاند، کمتر است.»
طبق بررسی سوشال فایننس، دلیل افت ناگهانی کیفیت درک شده وجود داشت: پلیس استفاده از دادههای شورای شهر بریستول را متوقف کرده بود. این بررسی میگوید که مقامات میخواستند «کودکان را در سراسر منطقه پلیس اَوون و سامرست» – پنج شورای جداگانه – با همان رویکرد الگوریتمی «پروفایلبندی» کنند. در حالی که این نیرو تلاش کرد تا با سایر مقامات محلی قراردادهای اشتراکگذاری دادهها را منعقد کند، این تلاشها متوقف شد، به این معنی که تنها دادهای که میتوانست برای توسعه الگوریتم استفاده کند، دادههای خودش بود. این شامل عاملان و قربانیان جرم میشد، اما نه مجموعه گستردهای از عوامل اجتماعی حساس که مدل قبلاً از آنها استفاده کرده بود.
پس از این تغییر، کارکنان شورای شهر بریستول گفتند کودکانی که باید به عنوان آسیبپذیر شناسایی میشدند، در نتایج «فهرست نشده بودند». یکی از کارکنان به سوشال فایننس گفت: «شخصاً، من از استفاده از آن برای راهنمایی کارمان احساس راحتی نمیکنم، به دلیل عدم شفافیت در مورد منبع اعداد و نحوه توسعه آن.»
یکی دیگر گفت: «به یک جلسه نمیرفتم و نمیگفتم این را در TFD دیدهام، زیرا مطمئن نبودم که آنقدر دقیق باشد.» یکی دیگر به بازبینان گفت: «میدانیم که دختران جوانی هستند که مورد استثمار مجرمانه قرار میگیرند، اما آنها ظاهر نمیشوند، ما درباره آنها صحبت نمیکنیم چون مناسب نیستند.» یکی دیگر افزود: «قبلاً وقت زیادی را صرف میکردم تا به طور روشمند ۳۰ نام را بررسی کنم، به افراد ایمیل بزنم و تمام جزئیات را چک کنم، اما آنقدر وقتم را میگرفت که تقریباً آن را متوقف کردم.»
وقتی بازبینان سوشال فایننس میخواستند آزمایشهای خود را روی مدلهای امتیازدهی ریسک انجام دهند، به کمبود نگرانکنندهای از اطلاعات در دسترس پی بردند. این گزارش میگوید: «کد منبع و متغیرهایی که نحوه ایجاد این مدلها را جزئیات میدهند، یافت نشد، که مانع از تکمیل این عنصر از ارزیابی ما شد.» (سوشال فایننس از اظهار نظر در مورد گزارش خود خودداری کرد.)
به همین ترتیب، پاسخها به درخواستهای ثبت عمومی از شورا و پلیس نشان میدهد که هیچ یک از مقامات سوابقی در مورد تصمیم توقف استفاده از مدلهای CSE و CCE تا ژوئن ۲۰۲۳ نگهداری نکردهاند.
راب پراکتر، استاد انفورماتیک اجتماعی در دانشگاه وارویک (University of Warwick)، به عنوان مشاور متخصص در بررسی سوشال فایننس فعالیت کرد. او میگوید: «فرآیند ساخت مدلها به هیچ وجه به اندازه کافی جزئیات نداشت.» از نظر او، کار در بریستول نیاز حیاتی به شفافیت و بحث عمومی در مورد مزایای چنین رویکردی را هر زمان که در نظر گرفته میشود، نشان میدهد. او میگوید: «این واقعاً این سؤال را مطرح میکند که چگونه باید مردم را در تصمیمگیری برای توسعه و استقرار این نوع ابزارها مشارکت داد و به نگرانیهای موجه مردم که این میتواند منجر به هدف قرار گرفتن اشتباه افراد شود، رسیدگی کرد.» او اضافه میکند: «باید تأثیر حتی یک هشدار مثبت کاذب را بر خانوادهای در نظر گرفت، اگر کودکی در معرض خطر استثمار مجرمانه یا جنسی قرار گیرد.»
دیگران نیز نگرانیهای مشابهی را ابراز میکنند. دبی واتسون، استاد رفاه کودک و خانواده در دانشگاه بریستول (University of Bristol)، از سال ۲۰۲۲ تیمی را رهبری میکند که روی پروژه تینک فمیلی تحقیق میکند. واتسون میگوید نگرانیهایی در مورد «آسیبهای تاریخی» که ممکن است توسط مدلهای امتیازدهی ریسک ایجاد شده باشد، دارد. «در حالی که ممکن است آنها دیگر عملیاتی نباشند، به نظر میرسد استفاده از آنها به روشهایی که به طور جدی برخی از جوانان شهر را تحت تأثیر قرار داده است، قابل توجه بوده.»
شورای شهر بریستول درخواستهای مصاحبه در مورد استفاده از سیستمهای امتیازدهی ریسک پیشبینیکننده را رد کرد و به سؤالات تفصیلی ارسال شده توسط وایرد پاسخ کاملی نداد. کریسین تاونزِند، رئیس کمیته سیاستگذاری کودکان و جوانان، در بیانیهای کتبی گفت: «این اداره هیچ تحلیل پیشبینیکنندهای را به جز کمک به شناسایی کودکانی که در معرض خطر عدم تحصیل، اشتغال یا آموزش (NEET) پس از اتمام مدرسه هستند، استفاده نمیکند.» وی افزود: «استفاده از تحلیلها هرگز جایگزین قضاوت یا تصمیمگیری حرفهای انسانی نشده است.»
دیویس میگوید هرگونه تأثیر حداقلی بوده است، زیرا کارکنان او هرگز به امتیازات ریسک تکیه نکردهاند. او میگوید: «آنها واقعاً از آن برای حمایت از قضاوتهای خود استفاده نمیکردند، زیرا آن را نمیفهمیدند و به آن ارزش نمیدادند.» اما عدم وجود هر گونه سوابق در مورد نحوه عملکرد مدلهای امتیازدهی ریسک، یا اینکه دقیقاً چرا آنها کنار گذاشته شدند، دانستن را غیرممکن میکند. هر کسی که تحت تأثیر قرار گرفته باشد، احتمالاً هرگز دلیل آن را نخواهد فهمید. همانطور که یکی از کارکنان شورای شهر بریستول به بازبینان سوشال فایننس گفت: «چیزی که همیشه در ذهن من است – آیا افرادی که درباره آنها صحبت میکنیم میدانند که ما این دادهها را داریم؟»
هنگامی که جان پگرام در سال ۲۰۲۴ تأیید دریافت کرد که در برنامه مدیریت مجرمان قرار دارد، به یاد میآورد که با خود فکر کرد: «من قبلاً هم اینجا بودهام و میدانم چه کاری میخواهید با من بکنید.»
پگرام در نوجوانی به توجه پلیس عادت کرده بود. او به یاد میآورد که دهها بار توسط پلیس متوقف شده است، چیزی که او آن را به یک نوجوان دورگه بودن در شهری عمدتاً سفیدپوست نسبت میدهد. برای او کمتر مشخص بود که چرا در این برنامه قرار گرفته است. در یک اعتراض ضد فاشیستی در بریستول در سال ۲۰۱۷، او به دلیل ضربه زدن به صورت یک افسر پلیس دستگیر شد. در حالی که افسر پذیرفت که این یک حادثه به نظر میرسیده، پگرام به حمله محکوم شد. هفت سال گذشته بود، اما آیا این حادثه به این معنی بود که او همچنان به عنوان یک مجرم احتمالی پرچمگذاری میشد؟ او اعتماد کمی به دقت هرگونه پیشبینیای که در مورد او یا دیگران انجام میشد، داشت. او میگوید: «سوگیری زیادی در دادههای پلیس وجود دارد. مسائل زیادی وجود دارد که نمیتوان آن را اخلاقی و منصفانه انجام داد.»
در پاسخ به درخواستهای ثبت عمومی وایرد، پلیس اَوون و سامرست حجم عظیمی از دادههای عملکرد را برای ۱۳ مدل ریسک مورد استفاده بین سالهای ۲۰۱۷ تا ۲۰۲۴ ارائه داد – از جمله مدلهایی که برای پیشبینی افراد گمشده، رفتار ضداجتماعی و کسانی که به احتمال زیاد مرتکب جرم میشوند یا قربانی جرم میشوند، استفاده میشد. وایرد این دادهها، همراه با سایر اطلاعات متنی در مورد برنامه علم داده پلیس اَوون و سامرست را، برای بررسی به شرکت مستقل حسابرسی هوش مصنوعی «اتیکاس» (Eticas) ارسال کرد. حکم آن ویرانگر بود.
بررسی دادهها نشان داد: «بیشتر این مدلها نمرات دقت پایینی تولید میکنند، به این معنی که نسبت بالایی از افرادی که به عنوان ریسک پرچمگذاری میشوند، به اشتباه شناسایی میشوند.» به گفته دادههای پلیس، یک مدل که برای کمک به پیشبینی سارقان استفاده میشد، برای بیش از سه سال با نرخ دقتی کمتر از ۱۰ درصد عمل میکرد. طبق گفته اتیکاس، این به معنای آن بود که کمتر از یک نفر از هر ۱۰ نفری که به عنوان پرخطر شناسایی میشدند، واقعاً مرتکب جرم میشدند. نگرانیهای دیگر شامل تغییرات شدید معیارهای عملکرد برای مدلهای مختلف بود. حسابرسی مشاهده کرد: «این برای مدلهای با حاکمیت خوب در استفاده عملیاتی معمول نیست.»
سخنگوی پلیس اَوون و سامرست به وایرد گفت که این نیرو تصمیم گرفت برخی از مدلهای توسعهیافته خود، از جمله مدل مربوط به سرقتها را به کار نگیرد. در پاسخ به این سؤال که چرا این نیرو سالها داده حسابرسی و عملکرد برای مدلهایی که استفاده نمیکرد، در اختیار داشت، سخنگو گفت که فرآیند حسابرسی «خودکار» بود و از دادههای یک «فایل ثابت که هنگام تصمیمگیری برای عدم استقرار مدل حذف نشد» استفاده میکرد.
نیروی پلیس درخواستهای مصاحبه در مورد کار علم داده خود را رد کرد و به لیست تفصیلی سؤالات پاسخ کاملی نداد. سخنگوی پلیس اَوون و سامرست در بیانیهای گفت: «هر مدل بر اساس عملکرد خود امتیازدهی میشود، و در جایی که مسائل شناسایی شوند، به روزرسانی یا خاموش میشوند»، و افزود که مدلها قبل از استقرار توسط یک کارشناس موضوعی پلیس بررسی میشوند.
مشخص نیست که پلیس اَوون و سامرست چه اقداماتی را برای رسیدگی به خطرات مطرح شده توسط کمیته اخلاق خود در اوایل کار علم داده خود انجام داد. طبق افشای درخواستهای ثبت سوابق، به نظر نمیرسد این کمیته پس از سال ۲۰۱۷ دوباره درباره تحلیلهای پیشبینیکننده بحث کرده باشد. و در حالی که پلیس اَوون و سامرست در وبسایت خود میگوید که «هر محصول و پروژه» که به عنوان بخشی از کار علم داده خود دنبال میشود، توسط یک گروه اخلاق اختصاصی بررسی میشود، سخنگو به وایرد گفت «تاکنون جلسهای برگزار نشده است»، زیرا «هیچ مدلی تولید نشده است که مسائل اخلاقی بالقوه در آن شناسایی شده باشد.»
در پاسخ به یک درخواست ثبت عمومی، پلیس اَوون و سامرست یک اسکرینشات از یک «برنامه بررسی سوگیری» ارائه داد که به نظر میرسید میانگین امتیازات ریسک برای افراد سفیدپوست و افراد رنگینپوست را نظارت و مقایسه میکند و نتیجه گرفت که «تفاوت معنیداری بین این دو وجود ندارد.» بررسی اتیکاس گفت: «صرف گنجاندن قومیت به عنوان یک متغیر نظارتی معادل آزمایش این نیست که آیا مدل نتایج تبعیضآمیزی تولید میکند»، و عدم آزمایش دقیقتر بر اساس قومیت، جنسیت و وضعیت اجتماعی-اقتصادی را «یک حذف قابل توجه» توصیف کرد.
در پاسخ به این سؤال که آیا او معتقد است تحلیلهای پیشبینیکننده نقشی در کار پلیس یا مددکاری اجتماعی ایفا میکنند، دیویس میگوید کارهای بیشتری لازم است. او میگوید: «وقتی ما سعی میکردیم این کار را انجام دهیم، به دلایل درست و به روش درست انجامش میدادیم، اما ظرفیت لازم را نداشتیم.» او میگوید بخشی از آن کار باید به این بپردازد که چگونه مدلهای ریسک میتوانند کارکنان را بدون سوق دادن آنها به نتیجهگیریهای از پیش تعیینشده، مطلع سازند. «این خطر وجود دارد که کارکنان ببینند کامپیوتر چیزی میگوید و سپس از قضاوت خود استفاده نکنند.»
تحلیلهای پیشبینیکننده همچنان نقش مهمی در کار پلیس و خدمات عمومی در منطقه ایفا میکنند. شورای شهر بریستول هنوز از یک مدل امتیازدهی ریسک برای ارزیابی احتمال خارج شدن یک کودک از آموزش، اشتغال یا آموزش استفاده میکند. آخرین دادههای حسابرسی پلیس اَوون و سامرست، که در ژوئیه سال گذشته ارائه شد، نشان میدهد که مدلی که توسط برنامه مدیریت مجرمان استفاده میشود، تنها یک نفر از هر سه نفری را که واقعاً مرتکب جرم میشوند، به درستی پیشبینی میکند، در حالی که یک نفر از هر چهار نفری که به عنوان مجرم احتمالی پرچمگذاری میشوند، مرتکب جرم نمیشوند.
سال گذشته، پلیس اَوون و سامرست به پگرام گفت که در حالی که او یک پروفایل در برنامه مدیریت مجرمان داشت، امتیازی به او داده نشده بود، زیرا او در دو سال گذشته با هیچ جرمی مرتبط نشده بود. او هنوز نمیداند چه دادههای دیگری نگهداری میشود یا چگونه ممکن است بر تعاملات او با پلیس تأثیر بگذارد. در ژوئیه ۲۰۲۵، وکلای پگرام دوباره به پلیس اَوون و سامرست نوشتند و قصد خود را برای طرح یک چالش حقوقی به این نیرو اطلاع دادند. سخنگوی پلیس اَوون و سامرست از ارائه هرگونه اظهار نظر در مورد پرونده پگرام یا مراحل قانونی خودداری کرد، اگرچه آنها گفتند که نیروی پلیس اکنون «یک طرف مستقل را برای بررسی مدلهای خود شناسایی میکند.»
پگرام میخواهد جزئیات او از برنامه حذف شود، اما همچنین میخواهد پلیس اَوون و سامرست این برنامه را به طور کامل کنار بگذارد. او میگوید: «این فقط من نیستم. فکر نمیکنم یک مدل هوش مصنوعی باید چنین قدرتی بر زندگی مردم داشته باشد.»
اما مسیر حرکت روشن به نظر میرسد. دولت بریتانیا اخیراً «پلیس هوش مصنوعی» (PoliceAI) را ایجاد کرده است، نهادی با پشتیبانی ۷۵ میلیون پوندی که به گسترش انواع ابزارهای هوش مصنوعی به ۴۳ نیروی پلیس در سراسر انگلستان و ولز کمک خواهد کرد. این گروه توسط کالج پلیس، به رهبری اندی مارش، اداره میشود. سارا جونز، وزیر پلیس بریتانیا، در هنگام راهاندازی این پروژه در اوایل ماه جاری گفت: «این آینده پلیس است – و اکنون در حال وقوع است.»