In this Article
يتحدث الجميع عن نماذج الذكاء الاصطناعي، وبنياتها، ومعاملاتها، ومقاييس أدائها. لكن عددا أقل بكثير يتحدث عن الجزء الذي يحدد نجاح هذه النماذج أو فشلها: البيانات.
يبدو جمع البيانات لتدريب الذكاء الاصطناعي مباشرا نظريا. اجمع كميات ضخمة، ونظفها، وأدخلها في خط المعالجة، ثم كرر ذلك. لكن عمليا، حتى الفرق المتمرسة تجد نفسها تعود إلى المشكلات ذاتها. ومن أكثرها شيوعا عدم استقرار الوصول، والعينات المنحازة، أو مجموعات البيانات التي تبدو مثيرة للإعجاب بحجمها لكنها تنهار أمام تقلبات الواقع.
تظهر أخطاء جمع البيانات لاحقا عندما تبدأ الدقة بالتراجع لأسباب لا يستطيع أحد تتبعها. وعندها تكون تكلفة إصلاح الأساس أعلى بكثير من بنائه بشكل صحيح منذ البداية.
أنواع البيانات المستخدمة في تدريب الذكاء الاصطناعي
ليست البيانات بمقاس واحد يناسب الجميع.
بعض مجموعات البيانات منظمة ومنسقة بدرجة عالية. وغالبا ما ترتب في جداول أو جداول بيانات كسجلات للمعاملات، وعمليات تصدير CRM، وسجلات مالية. وهذا هو النوع من البيانات الذي تستطيع النماذج معالجته بكفاءة لأن بنيته قابلة للتنبؤ.
ثم هناك البيانات غير المهيكلة. لا تنسيق ثابت ولا أعمدة مرتبة. فكر في المستندات النصية، والصور، والملفات الصوتية، ومنشورات وسائل التواصل الاجتماعي. إنها فوضوية وغنية بالسياق، وغالبا ما تعكس العالم الحقيقي بدرجة أكبر بكثير. ويتطلب التدريب على هذا النوع من البيانات معالجة مسبقة وتفسيرا إضافيين.
وبين النوعين توجد البيانات شبه المهيكلة المرنة، مثل استجابات JSON، وصفحات HTML، ومخرجات API. وهي تتبع أنماطا، لكنها ليست جدولا صارما. وبالنسبة إلى كثير من خطوط معالجة الذكاء الاصطناعي، هنا يحدث جمع البيانات على نطاق واسع فعليا.
مشكلات جودة البيانات الحديثة: نقص الدقة
كيف تبني نموذجا للتعلم؟ تبدأ بتدريبه. لذلك فإن ثراء البيانات مهم جدا.
كثيرا ما تركز الفرق على بنية النموذج قبل طرح سؤال أبسط: من أين تأتي البيانات فعليا؟ تجريف الويب. واجهات API، وهي موثوقة لكنها مكلفة أحيانا. الاستبيانات. المستودعات العامة مثل Kaggle. قواعد البيانات الداخلية. السجلات. تفاعلات المستخدمين. المصادر موجودة في كل مكان.
لكن الحصول على البيانات لا يساوي الحصول على البيانات المناسبة. فالبيانات غير الدقيقة إحدى أكثر المشكلات استمرارا في أنظمة الذكاء الاصطناعي الحديثة. إنها تشوهات صغيرة تضعف مجموعة البيانات. أضف سجلات مكررة، أو إدخالات قديمة، أو عينات ذات تسميات خاطئة، فيبدأ النموذج بالتعلم من الضوضاء بدلا من الإشارة. والأسوأ من ذلك أن صوامع البيانات، وهي مجموعات معلومات معزولة لا تتواصل عبر الأنظمة، تمنع الفرق من رؤية الصورة الكاملة.
تدخل عمليات جمع البيانات الضعيفة تحيزا أو قيما مفقودة منذ البداية. وقد تضع خطوط المعالجة المؤتمتة تسميات خاطئة للبيانات على نطاق واسع إذا تعطل شيء في مرحلة سابقة. كما أن الإدخال اليدوي للبيانات، الذي لا يزال شائعا على نحو مدهش، يسبب أخطاء بشرية. وبمرور الوقت تتدهور حتى البيانات النظيفة. وإذا لم تنتقل التحديثات عبر الأنظمة، يتحول السجل الدقيق بالأمس إلى عبء قديم اليوم.
عندما تجمع البيانات بعناية، تتحسن النتائج مهما كان القطاع. ففي الأبحاث الدوائية، أصبحت أنظمة الذكاء الاصطناعي أكثر موثوقية بعد تضمين البيانات التجريبية والتجارب الفاشلة، وليس نتائج المختبر الناجحة فقط. والتعلم من النتائج السلبية يجعل النماذج أكثر متانة ودقة.
أخطاء مزمنة في جمع بيانات الذكاء الاصطناعي
1. الحجم على حساب القيمة
الخطأ التقليدي الذي ترتكبه الفرق هو تفضيل الكمية على الجودة. تبدو مجموعات البيانات الأكبر مثيرة للإعجاب، لكن البيانات ذات الإشارة القوية هي ما يحسن النماذج فعليا. ومشكلة أخرى؟ عدم تحديث مجموعات البيانات. فمن دون حلقات تعلم نشط، تتدهور النماذج تدريجيا.
2. التدريب على النهايات السعيدة فقط
تحسن الفرق الأداء للسيناريوهات النظيفة والاعتيادية. إذا لم ير نظام قيادة ذاتية الأحداث النادرة مطلقا، فلن يعرف كيف يتصرف عند وقوعها.
3. التحيز الخفي
يبدأ التحيز عادة في وقت أبكر مما تتوقع الفرق. ففي اللحظة التي تقرر فيها ما الذي ستجمعه وأي المصادر ستعتمد عليها، تكون قد بدأت بالفعل في تشكيل الطريقة التي سيرى بها النموذج العالم. وإذا كانت مجموعات أو سيناريوهات أو حالات طرفية معينة غائبة، فلن يعوض النموذج هذا النقص. بل سيتعلم ببساطة الأنماط السائدة ويعاملها بوصفها القاعدة.
4. كثرة البيانات الاصطناعية
البيانات الاصطناعية مفيدة، لكن حين يبدأ الذكاء الاصطناعي بالتدرب في الغالب على مخرجات أنشأها الذكاء الاصطناعي، تتلاشى الفروق الدقيقة. ومع الوقت، تتعرض النماذج لخطر ما يسمى غالبا انهيار النموذج، حيث تصبح المخرجات متكررة ومصطنعة.
5. الإغفال القانوني
تنسى فرق كثيرة توثيق مصدر بياناتها. وقد توقف مجموعات البيانات المجمعة بالتجريف، من دون سجل تدقيق واضح، المشاريع أثناء مراجعات الامتثال. وفي البيئات المنظمة، ليس ذلك خطأ صغيرا.
تسرب الهدف في أنظمة الذكاء الاصطناعي: لماذا يحدث؟
يحدث التسرب عندما يحصل النموذج على معلومات لا يمكنه واقعيا امتلاكها في لحظة التنبؤ. وأوضح مثال على ذلك هو تضمين بيانات مستقبلية. قد تبدو الدقة مثالية، لكن النموذج ينهار في بيئة الإنتاج لأن تلك المعلومات ببساطة غير متاحة.
أخطاء التحقق المتقاطع نوع آخر من المشكلات. يعمل التحقق المعتاد بأسلوب K-fold بصورة جيدة عندما تكون جميع نقاط البيانات مستقلة. لكن إذا كانت بياناتك ذات ترتيب زمني أو علاقات مجمعة مثل الجلسات أو المستخدمين، فقد يضع K-fold المعلومات ذاتها أو المرتبطة بها عن غير قصد في مجموعتي التدريب والاختبار معا. ويبقى التقييم صحيحا من الناحية التقنية، لكنه مضلل عمليا.
حتى التغييرات الدقيقة في العملية قد تؤدي إلى تسرب. فتعديل منطق التسمية، أو تغيير مجموعات بيانات التقييم في منتصف المشروع، أو الإخفاق في ضبط انجراف التحقق، قد يشوه مقاييس الأداء.
يجعل التسرب النماذج تبدو أفضل مما هي عليه، وهنا يكمن الخطر تحديدا.
اكتشف وأصلح
جمع البيانات مهمة دقيقة. ومن الضروري اكتشاف الأخطاء قبل أن تسبب عدم الاستقرار. ومعرفة كيفية إصلاحها بالشكل المناسب تصنع الفارق كله.
نصائح للاكتشاف:
- انتبه إلى كل سمة. اسأل نفسك: هل ستكون هذه متاحة حقا عندما يجري النموذج تنبؤاته؟ إن لم تكن كذلك، فهذه مشكلة.
- تحقق من التكرارات والفجوات والإدخالات الغريبة. يمكن للبيانات المكررة أو المفقودة أن تتسبب في فشل مشروعك.
- حلل التوزيعات. الارتفاعات المفاجئة أو المناطق الفارغة علامات تحذير.
- راجع خط المعالجة. تأكد من أن التحويلات لم تسرب المعلومات عن غير قصد بين مجموعتي التدريب والاختبار.
- راقب مقاييسك. غالبا ما تخفي القفزات غير المتوقعة في الأداء أخطاء خفية.
نصائح للإصلاح:
- اختر التقسيمات المناسبة. استخدم التقسيم الزمني لكل ما هو زمني، والتقسيم المجمع للمستخدمين أو الجلسات أو الكيانات. افصل بياناتك دائما قبل تطبيق التحويلات.
- حدث البيانات بانتظام. استخدم حلقات التعلم النشط أو التحديثات المستمرة.
- عالج التحيز. تأكد من عدم تجاهل أي مجموعة أو سيناريو أو حالة طرفية.
- تحقق من البيانات الاصطناعية. تحافظ مراجعة الإنسان ضمن الحلقة (HITL) على واقعية البيانات الاصطناعية وملاءمتها.
- وثق كل شيء. تتبع مصدر البيانات، ووقت جمعها، وما الذي تم عليها.
- استخدم بروكسيات عند الحاجة. فهي تثبت بياناتك، وتحاكي الظروف الحقيقية، وتمنع التداخلات أو التكرارات.
اكتشف الأخطاء مبكرا، وأصلحها بعناية، وسيتعلم الذكاء الاصطناعي فعليا ما يفترض أن يتعلمه.