ในบทความนี้

Crawl4AI proxy configuration explained - browser, proxy, extraction and throttle - DataImpulse

ในบทความนี้

Crawl4AI เป็นครอว์เลอร์แบบโอเพนซอร์สที่สร้างขึ้นเพื่อแปลงหน้าเว็บให้เป็นข้อความและข้อมูลเชิงโครงสร้างที่สะอาดและพร้อมใช้งานกับ LLM โดยมันขับเคลื่อนเบราว์เซอร์จริงเพื่อทำงานนี้ ข้อเท็จจริงเพียงข้อเดียวนี้เป็นตัวกำหนดว่า proxy จะเข้ามามีบทบาทอย่างไร นั่นคือ คุณต้องกำหนดค่าที่ชั้นเบราว์เซอร์ ซึ่งจะมีผลกับเอกสารและทรัพยากร สคริปต์ และ XHR ทุกรายการที่หน้าเว็บนั้นเรียกใช้

ดังนั้น Crawl4AI proxy จึงเป็นการตั้งค่าระดับเบราว์เซอร์ที่มีความหมายเชิงเซสชันผูกอยู่ด้วย ไม่ใช่ตัวเลือกที่กำหนดต่อคำขอแต่ละครั้ง คู่มือนี้ครอบคลุมตำแหน่งที่ proxy ควรอยู่ในสแต็ก วิธีรักษาความสอดคล้องของเซสชัน วิธีควบคุมอัตราโดยไม่ทำลายปริมาณงาน และวิธีป้องกันไม่ให้การครอว์ลที่ใช้ LLM มีต้นทุนสูงกว่าผลตอบแทนที่ได้รับ


ข้อเท็จจริงสำคัญ

  • Crawl4AI ขับเคลื่อนเบราว์เซอร์จริง ดังนั้น proxy จึงถูกกำหนดค่าที่ชั้นเบราว์เซอร์และมีผลกับทุกคำขอที่หน้าเว็บสร้างขึ้น ไม่ใช่แค่เอกสารเท่านั้น
  • สี่ชั้นที่ต้องตั้งค่าให้ถูกต้อง: เบราว์เซอร์ proxy การดึงข้อมูล (extraction) และการควบคุมอัตรา (throttle) ต้นทุนส่วนใหญ่และการถูกบล็อกส่วนใหญ่มาจากสองชั้นหลังที่คนมักปรับแต่งเป็นลำดับสุดท้าย
  • หนึ่งเซสชัน หนึ่งจุดออก (exit) บริบทเบราว์เซอร์ (browser context) ที่เก็บคุกกี้ไว้ในขณะที่คำขอมาจากที่อยู่ที่หมุนเวียนเปลี่ยนไปนั้นขัดแย้งกันเอง และจะถูกท้าทายด้วยการตรวจสอบ (challenge)
  • การเรนเดอร์คือส่วนที่มีต้นทุนสูง ไม่ใช่แบนด์วิดท์ ให้เรนเดอร์เฉพาะหน้าที่จำเป็นต้องใช้ และดึงข้อมูลหน้าที่เหลือแบบธรรมดา
  • ต้นทุนการดึงข้อมูลด้วย LLM แปรผันตามน้ำหนักของหน้าเว็บ ดังนั้นการตัดลดขนาด DOM ก่อนส่งถึงโมเดลจึงมักเป็นจุดที่ประหยัดต้นทุนได้มากที่สุดเพียงจุดเดียวในกระบวนการทั้งหมด

proxy ควรอยู่ตรงไหนในการรัน Crawl4AI?

อยู่ที่การกำหนดค่าเบราว์เซอร์ ไม่ใช่ต่อคำขอแต่ละครั้ง Crawl4AI เปิดเบราว์เซอร์ขึ้นมาและนำทางมัน ดังนั้น proxy ที่ตั้งไว้ที่บริบทเบราว์เซอร์จะกำหนดเส้นทางทุกอย่างที่หน้าเว็บนั้นทำ การตั้งค่าไว้ที่จุดอื่นจะก่อให้เกิดผลลัพธ์ที่แย่ที่สุดเท่าที่จะเป็นไปได้ นั่นคือ เอกสารมาถึงผ่านที่อยู่หนึ่ง ในขณะที่สคริปต์และการเรียก API ของมันมาผ่านอีกที่อยู่หนึ่ง ซึ่งเป็นความขัดแย้งที่ระบบตรวจจับใด ๆ ก็สามารถอ่านออกได้ทันที

สิ่งนี้มีนัยเชิงปฏิบัติสองประการ ประการแรก ข้อมูลรับรอง (credentials) ควรอยู่ในการกำหนดค่าตอนเปิดเบราว์เซอร์ ซึ่งครอว์เลอร์สามารถส่งต่อได้ โดยใช้ gateway host พอร์ต ชื่อผู้ใช้ และรหัสผ่านที่ผู้ให้บริการของคุณมอบให้ ประการที่สอง การรันครอว์ลหนึ่งครั้งควรใช้จุดออก (exit) เดียวตลอดระยะเวลาที่ทำงาน เพราะเบราว์เซอร์จะเก็บคุกกี้และ local storage ไว้ตลอดการนำทางหลายหน้า และสิ่งเหล่านี้ผูกติดกับที่อยู่ที่ได้รับมันมา

หากคุณครอว์ลหลายเว็บไซต์ในงานเดียว ให้แต่ละเว็บไซต์มีบริบทเบราว์เซอร์และเซสชันเป็นของตัวเอง แทนที่จะใช้บริบทเดียวซ้ำข้ามโฮสต์ที่ไม่เกี่ยวข้องกัน


การกำหนดค่าที่สมบูรณ์มีลักษณะอย่างไร? โมเดลการกำหนดค่าการครอว์ล 4 ชั้น

โมเดลการกำหนดค่าการครอว์ล 4 ชั้น ที่จริงคือ โมเดลการกำหนดค่าการครอว์ล 4 ชั้น แยกการตั้งค่าต่าง ๆ ที่คนมักปรับแต่งผิดลำดับออกจากกัน

ชั้น สิ่งที่ควบคุม ข้อผิดพลาดที่พบบ่อย
1. เบราว์เซอร์ โหมด headless, viewport, locale, timezone, user agent, automation flags ใช้ locale แบบสหรัฐอเมริการ่วมกับ exit ของเยอรมนี หรือใช้ user agent มือถือกับ viewport เดสก์ท็อป
2. Proxy Gateway ข้อมูลรับรอง การกำหนดเป้าหมายประเทศ (country targeting) rotating เทียบกับ sticky session หมุนเวียน (rotate) ต่อคำขอ ในขณะที่เบราว์เซอร์ยังคงคุกกี้ชุดเดียวไว้
3. การดึงข้อมูล (Extraction) สิ่งที่จะถูกแปลงเป็น markdown หรือผลลัพธ์เชิงโครงสร้าง และจะใช้ LLM หรือไม่ ส่ง DOM ทั้งหมดให้โมเดล ทั้งที่การจำกัดขอบเขตด้วย CSS ก็เพียงพอแล้ว
4. การควบคุมอัตรา (Throttle) Concurrency, delay, retries, timeouts, caching ถูกปรับแต่งเป็นลำดับสุดท้าย หรือไม่ถูกปรับแต่งเลย ซึ่งเป็นสาเหตุที่แท้จริงที่ทำให้การครอว์ลถูกบล็อก

เมื่อมีอะไรเสียหาย ให้ไล่ตรวจสอบย้อนกลับจากชั้นที่ 4 เก้าในสิบครั้ง การครอว์ลที่เริ่มล้มเหลวนั้นไม่ได้เจอกับการป้องกันใหม่ แต่เจอกับอัตราที่มันเคยรอดพ้นมาได้โดยบังเอิญ


จะรักษาความสอดคล้องของเซสชันได้อย่างไร?

ผูกบริบทเบราว์เซอร์หนึ่งเข้ากับจุดออก (exit) เดียวตลอดอายุการใช้งาน และปล่อยให้การครอว์ลทำงานจนจบเว็บไซต์ก่อนที่เซสชันจะเปลี่ยน

  • ใช้ sticky session สำหรับเว็บไซต์ใด ๆ ที่มีการนำทางข้ามหลายหน้า และกำหนดตัวระบุเซสชันของตัวเองให้แต่ละเว็บไซต์ เพื่อไม่ให้สถานะรั่วไหลข้ามโฮสต์
  • จับคู่ locale ให้ตรงกับภูมิศาสตร์ หาก exit อยู่ในเยอรมนี locale และ timezone ของเบราว์เซอร์ก็ควรระบุเป็นเยอรมนีด้วยเช่นกัน
  • คงคุกกี้ไว้ต่อบริบท (context) แทนที่จะล้างทิ้งระหว่างหน้า เพราะผู้เข้าชมที่มาถึงโดยไม่มีคุกกี้ในทุกการเข้าชมหน้าเว็บนั้นดูไม่เหมือนผู้เข้าชมจริง
  • หมุนเวียน (rotate) ระหว่างการรันแต่ละครั้ง ไม่ใช่ภายในการรันเดียวกัน ที่อยู่ใหม่สำหรับการครอว์ลครั้งถัดไปเป็นเรื่องปกติที่ดี แต่ที่อยู่ใหม่กลางเซสชันเป็นความขัดแย้งในตัวเอง

คู่มือของเราเรื่องแนวทางปฏิบัติที่ดีที่สุดในการหมุนเวียน proxyครอบคลุมโมเดลเซสชันในภาพรวม และหลักการเดียวกันนี้ก็ใช้ได้กับPlaywrightและPuppeteerซึ่งเป็นพื้นฐานที่อยู่เบื้องหลังครอว์เลอร์หลายประเภทเช่นนี้


จะป้องกันไม่ให้การครอว์ลด้วย LLM มีต้นทุนสูงเกินไปได้อย่างไร?

ลดสิ่งที่ส่งถึงโมเดล และเรนเดอร์ให้น้อยลง ทั้งสองอย่างนี้เป็นเรื่องของการกำหนดค่า ไม่ใช่ความชาญฉลาดพิเศษใด ๆ

จำกัดขอบเขตของการดึงข้อมูล ชี้ครอว์เลอร์ไปที่คอนเทนเนอร์ของเนื้อหาแทนที่จะเป็นทั้งหน้า เมนูนำทาง ฟุตเตอร์ แบนเนอร์คุกกี้ และแถบบทความที่เกี่ยวข้อง ล้วนเป็นต้นทุนโทเค็นล้วน ๆ ที่ไม่มีคุณค่าเชิงข้อมูลใด ๆ

เลือกใช้การดึงข้อมูลแบบ schema แทนแบบอิสระ เมื่อทราบฟิลด์ที่ต้องการแล้ว schema แบบ CSS หรือ XPath จะให้ผลลัพธ์ที่แน่นอน ไม่มีค่าใช้จ่าย และเร็วกว่าการให้โมเดลค้นหาเอง และคุณสามารถสงวนการใช้โมเดลไว้สำหรับหน้าที่โครงสร้างมีความแปรผันจริง ๆ

แคชอย่างจริงจัง การครอว์ลหน้าที่ไม่มีการเปลี่ยนแปลงซ้ำนั้นมีต้นทุนทั้งแบนด์วิดท์ เวลาในการเรนเดอร์ และโทเค็น ให้แคชตาม URL พร้อมกำหนดช่วงเวลาความสดใหม่ (freshness window) และตรวจสอบความแตกต่าง (diff) ก่อนประมวลผลซ้ำ

เรนเดอร์อย่างเลือกสรร ไม่ใช่ทุกหน้าที่ต้องใช้เบราว์เซอร์ หากเนื้อหาอยู่ใน HTML ที่เรนเดอร์จากฝั่งเซิร์ฟเวอร์แล้ว การ fetch แบบธรรมดาจะมีต้นทุนถูกกว่าหลายเท่าตัว และกระบวนการแบบผสมที่ fetch ก่อนแล้วเรนเดอร์เฉพาะเมื่อล้มเหลวเท่านั้น ก็ให้ผลดีในทางปฏิบัติ

ทั้งสี่แนวทางนี้เมื่อรวมกันมักจะลดต้นทุนของการครอว์ลที่ใช้งานได้จริงได้มากกว่าการตัดสินใจเรื่อง proxy ใด ๆ เพียงอย่างเดียว


proxy ประเภทไหนเหมาะกับการครอว์ลลักษณะนี้?

จับคู่ exit ให้เข้ากับเป้าหมายและรูปแบบเซสชัน ไม่ใช่เข้ากับตัวครอว์เลอร์

เป้าหมาย ใช้ ควรหลีกเลี่ยงเมื่อ
เว็บไซต์ที่ให้บริการผู้บริโภคทั่วไป การนำทางหลายหน้า Sticky residential หนึ่งเซสชันต่อหนึ่งเว็บไซต์ เว็บไซต์เป็น API แบบเปิดหรือเอกสารประกอบ ซึ่งใช้ datacenter ก็เพียงพอและมีต้นทุนถูกกว่า
การครอว์ลแบบกว้างและตื้นข้ามหลายโฮสต์ Rotating residential หนึ่งเซสชันต่อหนึ่งโฮสต์ แต่ละโฮสต์ต้องการเซสชันที่คงสถานะยาวนาน ซึ่งการ rotate จะทำลายสิ่งนี้
เอกสารประกอบ ข้อมูลเปิด บริการของคุณเอง Datacenter เป้าหมายถือว่าช่วง IP ของ hosting เป็นสัญญาณของระบบอัตโนมัติ
เนื้อหาหรือราคาที่เฉพาะเจาะจงตามภูมิภาค Residential ที่ล็อกตายตัวตามประเทศ เนื้อหาเหมือนกันทุกที่ ซึ่งต้นทุนที่เพิ่มขึ้นจะไม่ได้อะไรกลับมาเลย

DataImpulse residential มีราคา $1 ต่อ GB ครอบคลุม 195 ประเทศ รองรับ HTTP, HTTPS และ SOCKS5 ทั้งแบบ rotating และ sticky พร้อมการกำหนดเป้าหมายตามประเทศ (country targeting) รวมอยู่ด้วย การครอว์ลที่ขับเคลื่อนด้วยเบราว์เซอร์จะดึงทั้งทรัพยากรและเอกสาร ดังนั้นวินัยด้านแบนด์วิดท์จึงสำคัญ บล็อกรูปภาพและฟอนต์ที่คุณไม่จำเป็นต้องใช้ แล้วงบประมาณเท่าเดิมก็จะใช้ได้นานขึ้นหลายเท่าตัว


ข้อจำกัดใดบ้างที่ควรรู้ไว้?

proxy ไม่ใช่ใบอนุญาต อ่าน robots.txt และข้อกำหนดของเว็บไซต์ที่คุณครอว์ล ปฏิบัติตามอย่างเคร่งครัด และเลือกใช้ API ทางการเมื่อมีให้ใช้งาน บทความภาพรวมของเราเรื่องการทำ web scraping ถูกกฎหมายหรือไม่ครอบคลุมกรอบคิดในภาพกว้างกว่านี้

การเรนเดอร์มีขีดจำกัดของมัน การครอว์ลที่ขับเคลื่อนด้วยเบราว์เซอร์กินหน่วยความจำและ CPU มาก concurrency ที่ดูเหมือนไม่มีปัญหาบนแล็ปท็อปอาจทำให้คอนเทนเนอร์ขนาดเล็กล่มได้ ให้วัดจำนวนหน้าต่อนาทีต่อกิกะไบต์ของ RAM ก่อนขยายระบบในแนวนอน (scale horizontally)

การดึงข้อมูลด้วย LLM ไม่ได้ฟรีหรือแม่นยำเสมอไป โมเดลอาจถอดความใหม่ บางครั้งก็สร้างข้อมูลขึ้นเอง และมีต้นทุนต่อหน้า ให้ตรวจสอบตัวอย่างเทียบกับต้นฉบับ และคงการดึงข้อมูลแบบแน่นอนไว้สำหรับฟิลด์ที่ต้องถูกต้องแม่นยำ

การถูกบล็อกมักมาจากจังหวะการทำงาน (pacing) หากการครอว์ลที่เคยใช้งานได้เมื่อวานล้มเหลวในวันนี้ ให้ตรวจสอบอัตราและการจัดการเซสชันก่อนที่จะซื้ออะไรเพิ่ม คู่มือของเราเรื่องข้อผิดพลาด 403 Forbidden เมื่อทำ scrapingจะพาคุณไล่วินิจฉัยไปทีละขั้นตอน


คำถามที่พบบ่อย

ต้องตั้งค่า proxy ตรงไหนใน Crawl4AI?

ที่การกำหนดค่าเบราว์เซอร์ เพื่อให้มีผลกับเอกสารและทรัพยากร สคริปต์ และ XHR ทุกรายการที่หน้าเว็บเรียกใช้ การตั้งค่าต่อคำขอแต่ละครั้งจะทำให้หน้าเว็บโหลดทรัพยากรของตัวเองผ่านที่อยู่ที่ต่างกัน ซึ่งเป็นความขัดแย้งที่ระบบตรวจจับสามารถอ่านออกได้ทันที

ควรใช้ rotating หรือ sticky session ดี?

ใช้ sticky สำหรับเว็บไซต์ใด ๆ ที่การครอว์ลนำทางข้ามหลายหน้า เพราะเบราว์เซอร์จะเก็บคุกกี้ไว้ และสิ่งเหล่านี้ผูกติดกับที่อยู่ที่ได้รับมันมา การ rotate ระหว่างการรันแต่ละครั้งเป็นเรื่องปกติที่ดี แต่การ rotate ภายในเซสชันเดียวกันในขณะที่ยังคงคุกกี้ไว้ คือสิ่งที่ก่อให้เกิดการตรวจสอบ (challenge)

จะลดต้นทุนโทเค็นในการครอว์ลที่ใช้ LLM ได้อย่างไร?

จำกัดขอบเขตการดึงข้อมูลไว้ที่คอนเทนเนอร์ของเนื้อหาแทนที่จะเป็น DOM ทั้งหมด ใช้ schema แบบ CSS หรือ XPath เมื่อทราบฟิลด์ที่ต้องการ และสงวนการใช้โมเดลไว้สำหรับหน้าที่มีโครงสร้างแปรผันจริง ๆ แคชตาม URL พร้อมกำหนดช่วงเวลาความสดใหม่ และเรนเดอร์เฉพาะหน้าที่จำเป็นต้องใช้เบราว์เซอร์เท่านั้น

ต้องใช้ residential proxy สำหรับ Crawl4AI หรือไม่?

เฉพาะในกรณีที่เป้าหมายสมควรใช้เท่านั้น เช่น เว็บไซต์ที่ให้บริการผู้บริโภคทั่วไปและเนื้อหาเฉพาะภูมิภาค ส่วนเอกสารประกอบ ข้อมูลเปิด และ API นั้นใช้ exit แบบ datacenter ก็เพียงพอและมีต้นทุนถูกกว่า ให้ตัดสินใจเป็นรายเป้าหมาย แทนที่จะกำหนดประเภท exit เดียวสำหรับครอว์เลอร์ทั้งหมด

การครอว์ลของฉันเคยใช้งานได้เมื่อวาน แต่วันนี้ล้มเหลว เกิดอะไรขึ้น?

ส่วนใหญ่แล้วมักเป็นเพราะอัตราของฝั่งคุณเอง ไม่ใช่การป้องกันของฝั่งเป้าหมาย ให้ลดลงเหลือ worker เดียวพร้อม jitter แล้วทดสอบใหม่ หากสำเร็จ แสดงว่าสาเหตุคือจังหวะการทำงาน (pacing) และการ rotate ที่อัตราเดิมจะไม่ช่วยแก้ปัญหา ควรทดสอบว่า exit ประเภทอื่นจะเปลี่ยนผลลัพธ์หรือไม่ หลังจากขั้นตอนนี้เท่านั้น


ให้การครอว์ลแต่ละครั้งมี exit ที่มั่นคง

สำหรับการครอว์ลที่ขับเคลื่อนด้วยเบราว์เซอร์ เซสชันที่ผูกกับ exit เดียวที่ตรงตามภูมิศาสตร์คือสิ่งที่รักษาความสอดคล้องของสถานะไว้ได้ DataImpulse residential proxies มอบเซสชันแบบ sticky หรือ rotating ในราคา $1 ต่อ GB ครอบคลุม 195 ประเทศ พร้อมการกำหนดเป้าหมายตามประเทศรวมอยู่ด้วย รองรับ HTTP, HTTPS และ SOCKS5 สร้างบัญชีแล้วเชื่อมต่อที่ชั้นเบราว์เซอร์ จากนั้นดูกรณีการใช้งาน web scrapingของเราสำหรับการตั้งค่าในภาพกว้างกว่านี้

คู่มือที่เกี่ยวข้อง: เหตุใดครอว์เลอร์จึงถูกบล็อก · เป้าหมายที่เป็นรูปธรรม: ร้านค้า Shopify · proxy สำหรับ web scraping.

อัปเดตล่าสุด: 17 กันยายน 2026


Share article: