Google Sheets كأداة لتجريف الويب

يُستخدم Google Sheets، وهو تطبيق جداول بيانات مجاني، على نطاق واسع في أماكن العمل لإدارة البيانات وإعداد التقارير والتعاون. إذا احتجت يوماً إلى تتبع أسعار المنتجات أو مراقبة المنافسين أو جمع بيانات بحثية، فربما أتيحت لك بالفعل فرصة العمل باستخدام هذا التطبيق المستند إلى الويب.

في هذا الدليل، ستتعرّف إلى الوظائف الرئيسية في Google Sheets، مثل IMPORTXML، IMPORTHTML، وغيرها، والأخطاء التي قد تحدث أثناء العملية، إلى جانب نصائح عملية.

لماذا يُعد Google Sheets مثالياً لتجريف الويب؟

بوجه عام، لا يُعد Google Sheets أداة تقليدية لتجريف البيانات. لكن توجد أسباب وجيهة لتجربته. يلجأ كثير من الأشخاص إلى لغات البرمجة ومكتبات البرمجة لتجريف الويب. لذلك يُعد ذلك من أكثر استعلامات البحث شيوعاً على Google. إذا كنت تحتاج إلى جمع بيانات محددة، لكنك لا تريد أن يرهقك تعلّم مهارات جديدة، فقد يكون Google Sheets مساعداً ممتازاً يوفر وقتك. وهذا أحد الأسباب التي تجعل التفكير فيه مستحقاً.

إضافة إلى ذلك، يمكنك عبر حساب واحد فقط الوصول إلى تشكيلة واسعة من خدمات Google. فكل من Calendar وGmail وDocs وDrive تشكّل منظومة Google متكاملة يعمل فيها كل شيء بانسجام. يمكنك ببساطة تخزين بياناتك ومشاركتها واستخدامها عبر جميع المنصات: استخرج البيانات باستخدام Google Sheets، وأنشئ نسخة احتياطية منها في Google Drive، وأبقِ مهامك قيد المتابعة.

يتميز Google Sheets بسهولة الاستخدام. تتيح القائمة العلوية خيارات سريعة لأمور مثل ملف وتحرير وعرض. ويساعدك شريط الأدوات على التراجع والإعادة وتنسيق بياناتك. ويمكنك رؤية الصيغ أو القيم في شريط الصيغة. وتتيح لك علامات تبويب الأوراق التنقل بين صفحات مختلفة في الملف نفسه. أما منطقة الشبكة فهي المكان الذي تُدخل فيه بياناتك وتنظمها. يبدو البدء به سهلاً جداً، أليس كذلك؟

وفوق ذلك، يمكنك الوصول إلى جداول بياناتك وتحريرها من أي مكان في العالم. لا داعي بعد الآن للقلق من فقدان عملك بسبب تعطل الحاسوب أو ضياع الملفات. فكل شيء يُحفظ تلقائياً في Google Drive آمن. وبمجرد وجود رابط، يمكن لأي شخص تدعوه عرض الملف أو تحريره، وفقاً لطريقة تخصيصك للأذونات.

الوظائف الأساسية لتجريف الويب

لنستكشف الآن أبرز وظائف تجريف الويب في Google Sheets. وبفضل قدراته المرنة على استيراد البيانات وتصديرها، سنركز على أشهر وظائف IMPORT لمساعدتك على تجريف البيانات باحتراف.

IMPORTXML: استخراج البيانات من صفحات الويب

يتمتع IMPORTXML بنطاق استخدام واسع. تُستخدم هذه الوظيفة للحصول على بيانات منظمة من صفحات الويب باستخدام استعلامات XPath، بدءاً من الأجزاء الجزئية وصولاً إلى المحتوى بأكمله. ويمكنه معالجة أنواع بيانات مثل XML وHTML وCSV وTSV وRSS. ويبدو بناء الصيغة كما يلي:

=IMPORTXML(“URL”, “xpath_query”, “locale”)

تتضمن الصيغة URL لصفحة الويب، واستعلام XPath يحدد ما تريد استيراده، وإعداداً محلياً اختيارياً للغة والمنطقة. تشمل استعلامات XPath الشائعة الاستخدام في Google Sheets ما يلي:

• //h1، //h2، //h3: تحدد وسوم العناوين.
• //img/@src: تستخرج URL للصور.
• //ul/li: تحدد عناصر القوائم غير المرتبة.
• //p: تحدد جميع الفقرات.
• //span: تحدد جميع عناصر span.
• //div: تحدد جميع عناصر div للمحتوى المنظم.

على سبيل المثال، لنستخرج سعر سهم Apple من Google Finance. سنُدخل في الصيغة رابط المصدر أولاً.

بعد ذلك، نُدخل استعلام XPath. فهو يتنقل عبر بنية HTML من الجذر (/html/body/…) للحصول على سعر سهم Apple. للحصول على XPath، انقر بزر الماوس الأيمن على البيانات التي تريد تصديرها في المتصفح، واختر فحص، ثم انسخ XPath الكامل من علامة تبويب العناصر. استخدم XPath المنسوخ في وظيفة IMPORTXML لاستيراد البيانات من صفحة الويب.

تُعد معلمة الإعداد المحلي اختيارية، لكنها تُستخدم في معظم الحالات للمحتوى النصي بلغات مثل en_US. وستبدو الصيغة النهائية كما يلي:

=IMPORTXML(“https://www.google.com/finance/quote/AAPL:NASDAQ?sa=X&ved=2ahUKEwiZyb2g38r-AhUMs6QKHQOjDeEQ3ecFegQIKBAY”,”/html/body/c-wiz[2]/div/div[4]”)

في هذه الحالة:

• يشير URL إلى صفحة سهم Apple على Google Finance.
• يحدد استعلام XPath العنصر الذي يحتوي على سعر السهم.

يجب أن يطابق XPath بنية صفحة الويب. تحقق دائماً من شروط خدمة موقع الويب للتأكد من أن التجريف مسموح به!

IMPORTHTML: سحب البيانات من الجداول والقوائم إلى HTML

أحياناً تحتاج إلى بيانات منظمة، مثل قائمة بالمدن، لكن مجموعات البيانات المتاحة قد تكون غير مكتملة أو منسقة على نحو غير صحيح. بدلاً من البحث والنسخ يدوياً، يمكنك تجريف الصفحات باستخدام وظيفة IMPORTHTML في Google Sheets. يتضمن بناء الصيغة URL متاحاً للجمهور أو رابط صفحة الويب، واستعلاماً («list» أو «table»)، وفهرساً يمثل موضع القائمة أو الجدول في صفحة الويب:

=IMPORTHTML(“URL”, “query”, index)

لنستورد قائمة بجميع مدن المملكة المتحدة من Wikipedia. ابحث أولاً عن صفحة ويب تحتوي هذه البيانات. انقر بزر الماوس الأيمن في أي مكان على صفحة الويب واختر فحص، واضغط F12 أو Ctrl+Shift+I على Windows، أو Cmd+Option+I على Mac. انتقل إلى علامة تبويب العناصر وابحث عن وسوم <table> لمعرفة ترتيب الجدول الذي تريده. في حالتنا، توجد قائمة مدن المملكة المتحدة في أول جدول بالصفحة. افتح ورقة Google جديدة. وفي خلية، أدخل الصيغة:

=IMPORTHTML(“https://en.wikipedia.org/wiki/List_of_cities_in_the_United_Kingdom”, “table”, 1)

اضغط Enter، وسيظهر الجدول في جدول بياناتك خلال ثوانٍ.

لنفترض أنك تريد استخراج بنية قائمة موقع ويب لتحليلها سريعاً. يمكنك اتباع النهج نفسه مع IMPORTHTML. سنستخرج عناصر القائمة الرئيسية من الشريط الجانبي لـ Wikipedia، وهو منظم في هيئة قائمة (<ul>…</ul>). بعد ذلك، اختر خلية تريد أن تظهر فيها البيانات واستخدم هذه الصيغة:

=IMPORTHTML(“https://en.wikipedia.org/wiki/Main_Page”, “list”, 1)

اضغط Enter، وسيسحب Google Sheets تلقائياً القائمة الأولى (<ul>…</ul>) من الصفحة الرئيسية في Wikipedia. وسترى أن هذه الصيغة تستخرج أول قائمة غير مرتبة من Wikipedia. ويمكنك تكييف هذه الطريقة مع مواقع ويب أخرى.

باستخدام IMPORTHTML، يمكنك جمع البيانات المنظمة بسرعة، سواء أكانت جداول معلومات أم قوائم عناصر، من دون نسخ ولصق يدويين.

IMPORTDATA: الوصول إلى البيانات من ملفات CSV وTSV

تساعد هذه الوظيفة على استيراد البيانات بسهولة من URL بتنسيق CSV، أي قيم مفصولة بفواصل، أو TSV، أي قيم مفصولة بعلامات جدولة، إلى ورقة عمل Google Sheets. وبناء وظيفة IMPORTDATA هو:

=IMPORTDATA(“URL”)

تعمل هذه الوظيفة مع تنسيقي CSV وTSV فقط. يجب أن يكون URL رابطاً مباشراً إلى الملف. وإذا كان الملف يتطلب مصادقة، فلن تعمل IMPORTDATA. وباستخدام هذه الوظيفة، يمكنك استيراد مجموعة بيانات لأي إحصاءات مباشرة إلى Google Sheets من دون تنزيل يدوي.

IMPORTFEED: استيراد موجزات RSS وATOM إلى Google Sheets

تُستخدم هذه الوظيفة لاستيراد البيانات من موجز RSS أو Atom وعرضها في جدول بيانات. إليك بناء الصيغة:

=IMPORTFEED(“url, [query], [headers], [num_items]”)

الاستعلام والرؤوس وعدد عناصر الموجز عناصر اختيارية. في هذا المثال، سنستخدم موجز RSS الخاص بالتغييرات الحديثة في Wikipedia. ويمكنك اختيار موقع ويب آخر يتضمن موجز RSS. افتح Google Sheets واستخدم الصيغة مع URL الصحيح. ستسحب هذه الوظيفة أحدث التغييرات من موجز Wikipedia وتعرضها في جدول بياناتك.

IMPORTRANGE: ربط البيانات بين جداول Google Sheets

تتيح لك وظيفة IMPORTRANGE استيراد البيانات من ورقة Google إلى أخرى. وتُحدّث أي تغييرات تُجرى في الورقة الأصلية تلقائياً. وبناء الصيغة هو:

=IMPORTRANGE(spreadsheet_url, range_string)

أولاً، يجب أن تكون الورقة الأصلية متاحة عبر رابط. وتحقق أيضاً من حساسية حالة الأحرف والمسافات في اسم المستند.

لاستخدام هذه الوظيفة، اختر خلية فارغة واكتب =IMPORTRANGE(). لننظر إلى المثال:

بعد ذلك، أدخل URL، أي الرمز الواقع بين الشرطتين المائلتين فقط، لجدول البيانات الذي تريد استيراده، ثم أدخل النطاق. في حالتنا، نريد نقل قائمة المعلمين إلى قائمة المواد. نطاق قائمة المعلمين لدينا هو A1:A7، حيث تمثل A1 أول خلية مطلوبة في الأعلى، وتمثل A7 آخر خلية في الأسفل.

وهكذا تبدو الصيغة النهائية والنتيجة:

أنا كتلة نصية. انقر فوق زر التحرير لتغيير هذا النص. هذا نص تجريبي يُستخدم عادةً لملء المساحات في التصميم.

أخطاء يُرجح أن تواجهها

أنت محظوظ جداً إذا لم تواجه أي أخطاء أثناء عملية التجريف. وقد يشعر كثير من المبتدئين بالحيرة عند ظهور رسالة غير مألوفة. إليك بعضاً من أكثر الأخطاء شيوعاً التي قد تصادفها:

• #N/A: عندما لا تكون قيمة متاحة أو لا تكون موجودة في النطاق المشار إليه.
• REF!: قد يظهر عندما تشير وظيفة إلى خلية غير موجودة، مثل حالة حذف صفوف أو أعمدة.
• النتيجة كبيرة جداً: يعني أن الناتج كبير جداً بحيث لا تتمكن الورقة من معالجته. حاول تقليل كمية البيانات.
• لم يتم توسيع نتيجة المصفوفة: يُحتمل أن تكون بيانات موجودة في الخلايا المجاورة تحجب ناتج الوظيفة.
• #VALUE!: عندما يكون الإدخال من نوع خاطئ، مثل قيمة نصية بينما يُتوقع رقم.

انتبه إلى قيود Google Sheets

يوجد حد للخلايا في Google Sheets. يمكن أن يحتوي جدول البيانات على 10 مليون خلية أو 18,278 عموداً فقط. إضافة إلى ذلك، لكل خلية في Google Sheets حد للبيانات. لا يمكن أن تحتوي الخلية على أكثر من 50,000 حرف. وهو لا يدعم جميع أحجام البيانات لمنع الأخطاء. توصي Google بعدم الإفراط في استخدام الوظائف المعقدة مثل IMPORTXML أو IMPORTDATA، لأن ذلك قد يبطئ الورقة.

يعمل Google Sheets جيداً لتجريف البيانات الثابتة، لكنه يواجه صعوبة مع المحتوى الذي يُحمّل بواسطة JavaScript. كما أن له حدوداً للمعدل تقيد عدد الطلبات خلال فترة قصيرة. وهذه العوامل تجعله غير مناسب لتجريف البيانات على نطاق واسع أو لاستخراج محتوى يتطلب تفاعلات معقدة.

لماذا تحتاج إلى بروكسيات لتجريف الويب في Google Sheets؟ إذا أردت ضمان الأداء السلس لـ Google Sheets، فقد تساعدك العناوين البديلة على موازنة الحمل. وباستخدامها، يمكنك توجيه الطلبات عبر عناوين IP مختلفة وتعزيز سمعة IP واستقرار الوصول. وفي الوقت نفسه، يمكنك تصفح البيانات الخاصة بكل منطقة والبقاء مجهول الهوية.

ألا يناسبك Google Sheets؟ جرّب أدوات التجريف الآلية

إذا كان مشروعك كبيراً جداً بالنسبة إلى Google Sheets أو كانت البيانات محمية بإجراءات متقدمة لمكافحة التجريف، ففكر في استخدام أدوات متخصصة لتجريف الويب واستخراج البيانات على المدى القصير. إليك بعض أدوات التجريف الآلية:

• Octoparse – تطبيق لتجريف الويب من دون برمجة، لاستخراج البيانات من مواقع الويب من دون مهارات برمجية. صُممت هذه الأداة لتجريف البيانات من مواقع الويب الديناميكية التي تحمّل المحتوى عبر JavaScript. يقدم Octoparse تجربة مميزة لمدة 14 يوماً.
• Scrapy – إطار عمل Python مجاني ومفتوح المصدر للزحف إلى الويب واستخراج البيانات. وهو غير قائم على السحابة، ويتطلب من المستخدمين إعداد كل شيء بأنفسهم، بما في ذلك البروكسيات وCAPTCHA ومواقع الويب التي تستخدم JavaScript. وقد لا تكون هذه الأداة الخيار الأفضل للمبتدئين.
• Beautiful Soup – مكتبة Python. وهي تبسّط التنقل في المستندات وتعديلها بأقل قدر من الشفرة، وتعالج الترميز تلقائياً، وتعمل مع محللات مثل lxml وhtml5lib بمرونة وسرعة.
• Apify – منصة سحابية لتجريف الويب توفر أدوات تجريف وأتمتة جاهزة. تقدم Apify عناصر جاهزة، أي أدوات تجريف، لمواقع الويب الشائعة، ما يجعل عملية التجريف أسرع. ويمكن للمستخدمين أيضاً إنشاء مسارات عمل مخصصة بواسطة محررها من دون برمجة أو عبر API. وهي تقدم تجربة مجانية، لكن نموذج التسعير قد يصبح مكلفاً بحسب استخدامك.

مع ذلك، قد تواصل بعض مواقع الويب ذات وسائل الحماية القوية من الروبوتات حظر أدوات التجريف. ولأداء أفضل، استخدم البروكسيات وأدوات التجريف معاً.

في DataImpulse، نركز على ما يحتاج إليه عملاؤنا أكثر من غيره: خدمات بروكسي عالية الجودة ومصادرها أخلاقية. احصل على سرعة فائقة، وادفع لكل GB، واستفد من دعم بشري على مدار 24/7، ونهج شخصي، وغير ذلك الكثير مع بروكسيات DataImpulse.

*المعلومات المقدمة لأغراض تعليمية فقط!