مدينة نيويورك – تعيش راشيل إس في حي يمكن المشي فيه في بروكلين، نيويورك. في معظم الأيام تكون قادرة على العيش بشكل مريح بدون سيارة. تعمل عن بعد في كثير من الأحيان ولكن في بعض الأحيان تحتاج للذهاب إلى المكتب. هذا هو المكان الذي يصبح فيه وضعها صعبًا بعض الشيء. لا يمكن الوصول بسهولة إلى مساحة عملها بواسطة وسائل النقل العام.
ولأنها لا تحتاج إلى القيادة كثيرًا، فقد تقدمت بطلب للحصول على منصة Zipcar لمشاركة السيارات لتلبية احتياجاتها العرضية. تتم عملية التقديم بسرعة كبيرة مما يسمح للمستهلكين بالسير على الطريق باستخدام أسطولها من السيارات بسرعة نسبية.
لسوء الحظ، لم يكن هذا هو الحال بالنسبة لراشيل. بمجرد ضغطها على زر الإرسال، تم اعتبارها غير مؤهلة بواسطة برنامج الذكاء الاصطناعي الذي تستخدمه الشركة. في حيرة من أمرها، اتصلت راشيل بفريق خدمة العملاء بالشركة.
بعد كل شيء، ليس لديها أي عيوب تشير إلى أنها سائقة غير مسؤولة. ليس لديها أي نقاط على رخصتها. كان الخطأ الوحيد هو مخالفة المرور التي تلقتها عندما كانت في السابعة عشرة من عمرها وتم سداد هذا المبلغ منذ سنوات.
على الرغم من تصحيح الاقتباس المروري منذ ذلك الحين، إلا أنها الآن في الثلاثينيات من عمرها لا تزال تتعامل مع العواقب.
لقد تحدثت إلى فريق خدمة العملاء في Zipcar دون جدوى. على الرغم من سجل القيادة النظيف، فقد تم رفضها. وتدعي أن الشركة قالت إنه ليس لديها حق الرجوع وأنه لا يمكن لأي إنسان أن يستبدل القرار.
وقالت راشيل لقناة الجزيرة مستذكرة محادثتها مع الشركة: “لم يكن هناك طريق أو عملية لجذب إنسان، وعلى الرغم من أنه من المعقول أن الطريقة الوحيدة للمحاولة مرة أخرى هي إعادة التقديم” والتي توجد مقابلها رسوم طلب غير قابلة للاسترداد.
ولم تستجب شركة Zipcar لطلب الجزيرة للتعليق.
راشيل هي واحدة من العديد من المستهلكين الذين تم رفض القروض والعضويات وحتى فرص العمل من قبل أنظمة الذكاء الاصطناعي دون أي سياسة طعن أو استئناف حيث تستمر الشركات في الاعتماد على الذكاء الاصطناعي لاتخاذ القرارات الرئيسية التي تؤثر على الحياة اليومية.
يتضمن ذلك D الذي فقد وظيفته مؤخرًا.
كشرط للمقابلة، طلب “د” أن نستخدم الحروف الأولى من اسمهم فقط احترامًا لخصوصيتهم. بحث د دينياً عن فرصة جديدة دون جدوى.
بعد أشهر من البحث، حصلت “د” أخيرًا على وظيفة ولكن كانت هناك مشكلة كبيرة – التوقيت.
لقد مرت عدة أسابيع قبل أن يبدأ “د” وظيفته الجديدة، ومرت عدة أسابيع بعد أن تلقى “د” أول راتب.
للحصول على بعض المساعدة الإضافية، تقدم D بطلب للحصول على قرض شخصي على منصات متعددة في محاولة للتحايل على قروض يوم الدفع المفترسة، فقط من أجل الاستمرار في هذه الأثناء.
تم رفض D لجميع القروض التي تقدموا بها. على الرغم من أن D لم يؤكد أي شركة محددة، إلا أن القطاع لديه خيارات متعددة بما في ذلك Upstart وUpgrade وSoFi وBest Egg وHappy Money وغيرها.
يقول “د” عندما اتصلوا بالشركات بعد تقديم الطلب عبر الإنترنت، لم يتمكن أحد من المساعدة ولم تكن هناك أي طعون.
عندما كان “د” في أوائل العشرينات من عمره، كان لديه بطاقة ائتمان فشلوا في دفع الفواتير بها. وكانت تلك بطاقتهم الائتمانية الوحيدة. كما أنهم يستأجرون شقة ويعتمدون على وسائل النقل العام.
وفقا للمقرضين عبر الإنترنت الذين يعتمدون على الذكاء الاصطناعي، فإن افتقارهم إلى التاريخ الائتماني والضمانات يجعلهم غير مؤهلين للحصول على قرض على الرغم من سداد ديونهم المستحقة قبل ستة أعوام.
لم يؤكد D الشركات المحددة التي حاولوا الحصول عليها للحصول على قرض. تواصلت الجزيرة مع كل من تلك الشركات للتعليق على عملياتها – استجابت شركتان فقط – Upgrade و Upstart – بحلول وقت النشر.
“هناك حالات حيث نكون قادرين على تغيير القرار بشأن القرض بناءً على معلومات إضافية، أي إثبات مصادر الدخل الأخرى، والتي لم يتم تقديمها في الطلب الأصلي، ولكن عندما يتعلق الأمر بـ “الحكم البشري”، وقال متحدث باسم شركة الترقية في رسالة بالبريد الإلكتروني إلى الجزيرة: “هناك مجال كبير للتحيز الشخصي وهو أمر بذل المنظمون وقادة الصناعة قصارى جهدهم لإزالته”. “لقد جلبت التكنولوجيا الموضوعية والعدالة إلى عملية الإقراض، حيث يتم الآن اتخاذ القرارات على أساس الجدارة الحقيقية لمقدم الطلب.”
وتضخمت التحيزات التاريخية
لكن الأمر ليس بهذه البساطة. غالبًا ما يتم تضخيم التحيزات التاريخية القائمة باستخدام التكنولوجيا الحديثة. وفقًا لتحقيق أجراه موقع The Markup عام 2021، فإن الأمريكيين السود أكثر عرضة بنسبة 80 بالمائة للرفض التلقائي من قبل وكالات منح القروض مقارنة بنظرائهم البيض.
قال نعيم صديقي، كبير المستشارين في شركة SAS، وهي شركة عالمية للذكاء الاصطناعي والبيانات، حيث يقدم المشورة للبنوك بشأن مخاطر الائتمان: “إن الذكاء الاصطناعي هو مجرد نموذج تم تدريبه على البيانات التاريخية”.
ويغذي ذلك التاريخ الطويل للولايات المتحدة من الممارسات التمييزية في مجال الأعمال المصرفية تجاه المجتمعات الملونة.
وقال صديقي: “إذا أخذت بيانات متحيزة، فإن كل ما سيفعله الذكاء الاصطناعي أو أي نموذج هو تكرار ما غذيته”.
“تم تصميم النظام لاتخاذ أكبر عدد ممكن من القرارات بأقل قدر ممكن من التحيز والحكم البشري لجعله قرارًا موضوعيًا. وأضاف صديقي: “هذه هي مفارقة الوضع… بالطبع، هناك البعض الذين سقطوا من خلال الشقوق”.
ولا يقتصر الأمر على أساس العرق فقط. حتى أن شركات مثل أبل وجولدمان ساكس اتُهمت بمنح حدود ائتمانية أقل للنساء مقارنة بالرجال بشكل منهجي.
وهذه المخاوف تمتد إلى الأجيال أيضاً. يقول صديقي إن مثل هذا الإنكار يحد بشكل كبير من الحراك الاجتماعي بين الأجيال الشابة، مثل جيل الألفية الأصغر سنا (المولودين بين عامي 1981 و1996) والجيل Z (المولود بين عامي 1997 و2012)، عبر جميع المجموعات السكانية.
وذلك لأن اللقب القياسي للصحة المالية القوية – بما في ذلك بطاقات الائتمان والمنازل والسيارات – عند تقييم المسؤولية المالية لشخص ما أصبح أقل أهمية على نحو متزايد. فقط حوالي نصف جيل Z لديهم بطاقات ائتمان. وهذا تراجع عن جميع الأجيال السابقة.
من غير المرجح أيضًا أن يحصل الجيل Z على ضمانات مثل السيارة للمراهنة عليها عند التقدم بطلب للحصول على قرض. ووفقا لدراسة حديثة أجرتها شركة ماكينزي، فإن الفئة العمرية أقل احتمالا لاختيار الحصول على رخصة قيادة مقارنة بالأجيال السابقة. فقط ربع الأطفال في سن 16 عامًا و45% من الأطفال في سن 17 عامًا يحملون رخص قيادة. وهذا يمثل انخفاضًا بنسبة 18 بالمائة و17 بالمائة على التوالي.
قام مكتب الحماية المالية للمستهلك بتعزيز إجراءاته الوقائية للمستهلكين. وفي سبتمبر، أعلنت الوكالة أن وكالات الإقراض الائتماني ستحتاج الآن إلى شرح الأسباب الكامنة وراء رفض القرض.
“غالبًا ما يقوم الدائنون بتغذية هذه الخوارزميات المعقدة بمجموعات بيانات كبيرة، بما في ذلك في بعض الأحيان البيانات التي يمكن جمعها من مراقبة المستهلك. ونتيجة لذلك، قد يُحرم المستهلك من الائتمان لأسباب قد لا يعتبرها ذات صلة بشكل خاص بأمواله.
ومع ذلك، فإن الوكالة لا تعالج مسألة عدم وجود عملية استئناف بشرية كما يدعي “د” أنه تعامل معها شخصيًا.
وقال “د” إنهم اضطروا إلى تأجيل دفع بعض الفواتير مما سيضر بصحتهم المالية على المدى الطويل ويمكن أن يؤثر على قدرتهم على الحصول على قرض بأسعار فائدة معقولة، على كل حال، في المستقبل.
“مستبعد من الفرص”
يقترح صديقي أنه يجب على المقرضين البدء في النظر في البيانات البديلة عند اتخاذ قرار بشأن القروض التي يمكن أن تشمل مدفوعات الإيجار والمرافق وحتى سلوك وسائل التواصل الاجتماعي بالإضافة إلى أنماط الإنفاق.
تعد عمليات تسجيل الوصول الأجنبية على وسائل التواصل الاجتماعي مؤشرًا رئيسيًا.
ويضيف صديقي: “إذا كان لديك المزيد من المال، فإنك تميل إلى السفر أكثر، أو إذا كنت تتابع صفحات مثل بلومبرج، وفايننشال تايمز، ورويترز، فمن المرجح أن تكون مسؤولاً مالياً”.
لا تقتصر مشكلة الرفض التلقائي على طلبات القروض والعضوية فحسب، بل إنها تتعلق أيضًا بفرص العمل. عبر منصات التواصل الاجتماعي مثل مستخدمو Reddit ينشرون رسائل البريد الإلكتروني الخاصة بالرفض التي يتلقونها فور تقديم الطلب.
قال ماثيو مولن، الملصق الأصلي، لقناة الجزيرة: “لقد استوفيت جميع المتطلبات وقمت بالضغط على جميع الكلمات الرئيسية، وفي غضون دقيقة من تقديم طلبي، حصلت على إقرار بالطلب وخطاب الرفض”.
يقول محرر الفيديو ومقره كونيتيكت أن هذا كان الأول بالنسبة له. يقول خبراء مثل لاكية عيلام، رئيسة شركة استشارات الموارد البشرية Magnificent Differences Consulting، إنه بين أنظمة تتبع المتقدمين والأدوات الأخرى التي تعتمد على الذكاء الاصطناعي، أصبح هذا موضوعًا أكبر بشكل متزايد ويثير إشكالية متزايدة.
غالبًا ما تتجاهل أنظمة تتبع المتقدمين المهارات القابلة للتحويل والتي قد لا تتماشى دائمًا على الورق مع مجموعة مهارات المرشح.
وقال عيلام لقناة الجزيرة: “في كثير من الأحيان يتم استبعاد المتقدمين الذين لديهم مسار وظيفي غير خطي، والذين يأتي الكثير منهم من خلفيات متنوعة، من الفرص”.
وقال عيلام: “أظل أقول للمنظمات إنه يتعين علينا الحفاظ على اللمسة الإنسانية في هذه العملية”.
لكن المؤسسات تعتمد بشكل متزايد على برامج مثل ATS وChatGPT. تقول عيلام إن ذلك يستبعد العديد من المتقدمين للوظائف الجديرة بالاهتمام بما في ذلك نفسها.
قال عيلام: “إذا اضطررت إلى المرور عبر نظام الذكاء الاصطناعي اليوم، فأنا أضمن أنه سيتم رفضي”.
حصلت على GED – معادلة شهادة الدراسة الثانوية – بدلاً من شهادة مدتها أربع سنوات.
وأضاف عيلام: “إنهم يرون GED في سيرتي الذاتية ويقولون إن علينا الابتعاد عن هذا”.
وهذا هو السبب جزئيًا وراء عدم رغبة الأمريكيين في مشاركة الذكاء الاصطناعي في عملية التوظيف. وفقًا لتقرير صدر في أبريل 2023 من مركز بيو للأبحاث، يعتقد 41% من الأمريكيين أنه لا ينبغي استخدام الذكاء الاصطناعي لمراجعة طلبات العمل.
وقالت راشيل: “إنها جزء من محادثة أكبر حول فقدان المسار إلى الإجراءات القانونية الواجبة”.