In this Article
كيفية تجريف Google Scholar هي عادة السؤال الأول الخطأ. يقيّد Scholar الوصول الآلي ويطبّق ذلك بصرامة، في حين أن الحقول التي تحتاجها معظم المشاريع، بما في ذلك العناوين والمؤلفين والدوريات وDOIs والمراجع وأعداد الاستشهادات، متاحة من خلال واجهات API أكاديمية مفتوحة مجانية وموثقة ومصممة خصيصا لهذا الغرض.
يرسم هذا الدليل خريطة المصادر، ويوضح ما يحتفظ به Scholar وحده، ويقدم النسخة الصادقة من عملية الجمع منه: صغيرة وبطيئة ومجمّعة وواعية بالقواعد. إذا كان مشروعك مراجعة أدبيات، أو لوحة معلومات ببليومترية، أو رسما بيانيا للاستشهادات، فمن المرجح أن تنتهي بشكل أسرع دون التعامل مع Scholar على الإطلاق.
حقائق أساسية
- Scholar هو أصعب طريق إلى أسهل البيانات. تجيب واجهات API أكاديمية مفتوحة، مجانية وموثقة ومصممة للوصول الجماعي، عن معظم أسئلة الاستشهادات والبيانات الوصفية.
- تغطي Crossref وOpenAlex وSemantic Scholar معا DOIs والعناوين والمؤلفين والدوريات والمراجع وأعداد الاستشهادات عبر عشرات الملايين من الأعمال.
- ما يملكه Scholar وحده هو رسمه البياني الخاص للاستشهادات وصفحات الملفات الشخصية، وهي فجوة ضيقة وهي السبب الصادق الوحيد للبحث هناك.
- يقيّد Scholar الوصول الآلي ويكون عدوانيا بشكل غير معتاد في ذلك، وهو بيان نية أكثر منه تحديا هندسيا.
- الملفات الشخصية للمؤلفين بيانات شخصية، لذا فإن الجمع الجماعي لسجلات الباحثين يحمل التزامات لا يحملها عدد الاستشهادات.
ما هي المصادر التي تحتفظ بالبيانات الأكاديمية؟
ثلاثة مصادر، وهي تتداخل أكثر مما تدرك معظم الفرق. نطلق عليها نموذج البيانات الأكاديمية من 3 أجزاء.
| الجزء | ما يغطيه | الوصول |
|---|---|---|
| 1. بيانات التسجيل | DOIs والعناوين والمؤلفون والانتماءات المؤسسية والدوريات وتواريخ النشر والمراجع التي يودعها الناشرون | Crossref، عبر API مفتوحة من نوع REST، مناسبة للوصول الجماعي |
| 2. الرسوم البيانية المجمّعة | الأعمال والمؤلفون والمؤسسات والمفاهيم وروابط الاستشهادات المجمّعة من مصادر متعددة | OpenAlex وSemantic Scholar، واجهات API مفتوحة بحدود موثقة |
| 3. Scholar نفسه | فهرسه الخاص وأعداد الاستشهادات، والملفات الشخصية للمؤلفين، وقوائم استُشهد به من قبل، والإصدارات، وتجميع الأوراق ما قبل النشر | صفحات عامة، مع تقييد الوصول الآلي |
النتيجة العملية لذلك هي قرار قصير. إذا كانت حقولك موجودة في الجزء الأول أو الثاني، فاستخدمها: البيانات أنظف، والمعرّفات مستقرة، وتحصل على وصول جماعي دون احتكاك. انتقل إلى الجزء الثالث فقط من أجل الأشياء المحددة التي ينفرد بها، ثم اجمع الحد الأدنى فقط.
ما الذي يملكه Scholar ولا تملكه واجهات API المفتوحة؟
أعداد الاستشهادات الخاصة به، ورؤيته الخاصة لما يُعد نسخة من العمل. يفهرس Scholar الأوراق ما قبل النشر والأطروحات والمستودعات المؤسسية والأدبيات الرمادية التي غالبا ما تغفلها مجموعات البيانات المودعة من الناشرين، ويجمّع هذه العناصر في عمل واحد بعدد استشهادات مجمّع. بالنسبة لبعض الأسئلة الببليومترية، هذا الفارق هو النتيجة نفسها.
كما يعرض ملفات شخصية للمؤلفين تتضمن مؤشر h-index وروابط المؤلفين المشاركين. هذا فريد بالفعل، وهو أيضا الجزء الذي يتحول فيه الجمع إلى معالجة بيانات شخصية عن باحثين يمكن التعرف عليهم، بكل ما يترتب على ذلك.
كل ما عدا ذلك، وهو معظم ما تحتاجه المشاريع فعليا، موجود في مكان آخر. تختلف أعداد الاستشهادات من OpenAlex وSemantic Scholar عن أعداد Scholar، لكن بالنسبة لتحليل الاتجاهات، فإن الثبات على مصدر واحد أهم من هوية المصدر نفسه.
إذا كنت لا تزال بحاجة إلى Scholar، فكيف يبدو العمل المبرر؟
صغيرا وبطيئا وضيقا بما يكفي لتبريره. الشكل أهم من الأدوات المستخدمة.
- حدد المجموعة الدقيقة مسبقا. قائمة مسماة من الأعمال أو المؤلفين، وليس زحفا عبر مجال بأكمله. إذا لم تستطع سرد المجموعة، فإن المشروع واسع أكثر مما ينبغي.
- حدد لنفسك معدلا أقل بكثير مما تظن أنه مؤدب. ثوانٍ بين كل طلب وآخر، وعامل واحد، وسقف يومي صارم. هذه خدمة عامة مجانية موجهة للباحثين.
- خزّن كل شيء مؤقتا ولا تُعد الجلب أبدا خلال فترة زمنية معينة. تتحرك أعداد الاستشهادات ببطء؛ وعادة ما يكون التحديث الشهري أدق مما تحتاجه المسألة.
- اجمع بيانات مجمّعة. أعدادا وتواريخ بدلا من أرشيفات الملفات الشخصية، ولا سجلات شخصية لا يمكنك تبرير الاحتفاظ بها.
- توقف عند أول رفض مستمر. التحديات المتكررة هي طريقة الخدمة في قول لا. يشرح دليلنا حول أخطاء 403 Forbidden كيفية قراءة الاستجابة.
استخدم بروكسي هنا عندما يعتمد سؤالك على المنطقة الجغرافية، أو عندما يتعرض عنوان مؤسسي مشترك للتقييد لأسباب لا علاقة لك بها. تجنب استخدام البروكسي لتجاوز معدل أشارت إليه الخدمة، لأن هذا هو الخط الفاصل الذي يتحول عنده مشروع بحثي إلى شكوى إساءة استخدام.
أي طريق يناسب أي مشروع؟
مصفوفة القرار قصيرة، لأن الإجابة الصادقة عادة ما تكون واحدة.
| المشروع | الاستخدام | تجنّب عندما |
|---|---|---|
| مراجعة الأدبيات، البحث المنهجي | Crossref مع OpenAlex | تحتاج إلى تجميع خاص بـ Scholar للأدبيات الرمادية، وهو ما تغطيه هذه المصادر بشكل أقل اكتمالا |
| لوحة معلومات ببليومترية، اتجاهات الاستشهادات | OpenAlex أو Semantic Scholar، مع الثبات على مصدر واحد | يجب عليك إعادة إنتاج رقم أبلغ عنه Scholar بدقة تامة، وفي هذه الحالة وثّق السبب |
| تغطية المستودعات المؤسسية | OpenAlex مع تغذية OAI-PMH الخاصة بالمستودع | ليس سببا أبدا للزحف عبر Scholar بشكل واسع |
| مجموعة قصيرة ومحددة يحتفظ بها Scholar وحده | جمع يدوي أو محدود، بوتيرة بطيئة جدا | تكون المجموعة كبيرة أو غير محدودة أو مكونة من ملفات شخصية للمؤلفين |
بروكسيات DataImpulse السكنية تبلغ تكلفتها $1 لكل غيغابايت في 195 دولة مع إمكانية استهداف الدولة، وهو أمر مفيد عندما تعتمد النتائج على المنطقة الجغرافية. إنها ليست وسيلة لرفع حد المعدل، ونفضّل أن نقول ذلك بوضوح بدلا من الترويج لها على هذا الأساس.
ما هي الحدود والقواعد؟
يقيّد Scholar الوصول الآلي. هذه هي الحقيقة الحاكمة لهذه الصفحة، وتوجد واجهات API المفتوحة كبديل مقبول للعمل الجماعي.
بيانات المؤلفين هي بيانات شخصية. تحدد الملفات الشخصية هوية الباحثين، لذا يحتاج الجمع الجماعي إلى أساس قانوني، وسياسة احتفاظ بالبيانات، وغرض مبرر، وليس مجرد أداة تجريف.
محتوى الناشرين محمي بحقوق النشر. البيانات الوصفية والملخصات فئة واحدة؛ والنصوص الكاملة فئة أخرى، وعادة ما تأتي حقوق الوصول من خلال مؤسستك وليس من خلال أداة زحف.
قابلية إعادة الإنتاج تتفوق على الاكتمال. تنتج المصادر المختلطة أعداد استشهادات تتناقض مع نفسها. اختر مصدرا واحدا، وأذكره في منهجيتك، وحافظ على ثباته.
معلومات عامة وليست استشارة قانونية؛ راجع هل تجريف الويب قانوني للحصول على الإطار الأوسع، ودليل حالة استخدام تجريف الويب لأنماط الجمع.
الأسئلة الشائعة
هل يمكنني تجريف Google Scholar؟
يقيّد Scholar الوصول الآلي ويطبّق ذلك بصرامة، لذا فإن الإجابة العملية لأي مشروع جماعي هي لا. الحقول التي تحتاجها معظم المشاريع، بما في ذلك العناوين والمؤلفين والدوريات وDOIs والمراجع وأعداد الاستشهادات، متاحة من Crossref وOpenAlex وSemantic Scholar عبر واجهات API مفتوحة وموثقة مصممة للوصول الجماعي.
ما هو أفضل بديل لتجريف Scholar؟
Crossref لبيانات التسجيل المودعة من الناشرين، وOpenAlex للحصول على رسم بياني مجمّع للأعمال والاستشهادات، وSemantic Scholar كرسم بياني بديل يتضمن الملخصات. تغطي هذه المصادر مجتمعة الغالبية العظمى من الأسئلة الببليومترية، بمعرّفات مستقرة ودون مشكلة حظر.
لماذا تختلف أعداد الاستشهادات بين المصادر؟
لأن كل مصدر يفهرس مجموعة نصوص مختلفة: يتضمن Scholar الأوراق ما قبل النشر والأطروحات والأدبيات الرمادية التي قد تغفلها مجموعات البيانات المودعة من الناشرين، ويجمّع كل مصدر الإصدارات بطريقة مختلفة. بالنسبة لتحليل الاتجاهات، فإن الثبات على مصدر واحد أهم من المصدر الذي تختاره، ويجب أن تذكر منهجيتك أي مصدر استخدمت.
هل تساعد البروكسيات مع Google Scholar؟
فقط في حالة النتائج المعتمدة على المنطقة الجغرافية، أو عندما يتعرض عنوان مؤسسي مشترك للتقييد لأسباب لا علاقة لها بعملك. إنها ليست وسيلة لتجاوز معدل أشارت إليه الخدمة، والتعامل معها على هذا الأساس يحوّل مشروعا بحثيا إلى شكوى إساءة استخدام.
هل يُسمح بجمع الملفات الشخصية للمؤلفين؟
تحدد الملفات الشخصية للمؤلفين هوية الأفراد، لذا فإن الجمع الجماعي هو معالجة لبيانات شخصية ويحتاج إلى أساس قانوني وغرض وسياسة احتفاظ بالبيانات. بالنسبة لمعظم الأسئلة، تجيب الأعداد المجمّعة عما تحتاجه دون الاحتفاظ بسجلات الباحثين على الإطلاق.
اجمع البيانات الأكاديمية بطريقة مستدامة
تنتهي معظم المشاريع الأكاديمية بشكل أسرع باستخدام واجهات API المفتوحة مقارنة بأي أداة تجريف. وحيثما يحتاج عملك فعليا إلى نتائج خاصة بمنطقة معينة، توفر بروكسيات DataImpulse السكنية نقاط خروج دقيقة جغرافيا بسعر $1 لكل غيغابايت في 195 دولة مع إمكانية استهداف الدولة مضمّنة. أنشئ حسابا، أو اقرأ دليلنا حول بروكسيات تجريف الويب أولا.
أدلة ذات صلة: تشغيل Crawl4AI مع بروكسي · بيانات مراجعات Google · أخطاء 403 Forbidden.
آخر تحديث: 17 سبتمبر 2026.