ในบทความนี้
รายการ HTTP status codes ทั่วไปหาได้ไม่ยาก แต่รายการที่เขียนขึ้นสำหรับคนที่รัน crawler โดยเฉพาะนั้นหาได้ยากกว่า หน้านี้จึงถูกสร้างขึ้นมาเพื่อสิ่งนั้น คือการอธิบายว่าแต่ละโค้ดหมายถึงอะไรเมื่อ scraper ของคุณได้รับ ควร retry หรือไม่ และโค้ดใดที่บ่งชี้ถึงปัญหาจากการตั้งค่าของคุณเองมากกว่าจากฝั่งเป้าหมาย
แนวคิดหลักนั้นเรียบง่าย ทุกการตอบกลับจะบอกให้คุณทำอย่างหนึ่งในสี่อย่างนี้เท่านั้น คือดำเนินการต่อ รอ เปลี่ยนตัวตนที่ปรากฏ หรือหยุด การจับคู่สิ่งนี้ให้ถูกต้องคือสิ่งสำคัญที่สุดที่แยก crawler ที่ทำงานได้นานหลายเดือนออกจาก crawler ที่เผา pool จนหมดภายในสัปดาห์เดียว
ข้อเท็จจริงสำคัญ
- Status code คือการตัดสินใจด้านทิศทาง ไม่ใช่ผลลัพธ์ retry, ถอยกลับ, เปลี่ยนตัวตน หรือหยุด ทุกโค้ดจะจับคู่กับหนึ่งในสี่อย่างนี้เสมอ และการสับสนระหว่างกันคือสาเหตุที่ crawler เผา address pool จนหมด
- 200 ไม่ได้แปลว่าสำเร็จเสมอไป 200 ที่มาพร้อมข้อมูลว่างเปล่าหมายความว่าประตูปล่อยให้คุณผ่านเข้ามาแล้ว แต่หน้าเพจ render ฝั่ง client ซึ่งเป็นปัญหาด้านการแยกวิเคราะห์ข้อมูล ไม่ใช่ปัญหาด้านการเข้าถึง
- 407 เป็นความผิดของคุณ 403 เป็นความผิดของเป้าหมาย 407 หมายความว่าข้อมูลรับรอง proxy ของคุณผิด ส่วน 403 หมายความว่าเป้าหมายปฏิเสธคุณ ทั้งสองดูคล้ายกันใน log แต่ต้องแก้ไขในทางตรงข้ามกัน
- 429 บอกเรื่องอัตราการส่งคำขอ 403 บอกเรื่องตัวตน 429 ที่มี Retry-After คือการต่อรอง ส่วน 403 ที่มี body สั้น ๆ คือคำตัดสิน
- อย่า retry แบบไม่ดูตาม้าตาเรือ การ retry 404 หรือ 451 เป็นการสิ้นเปลืองงบประมาณ และในกรณีของ pool ที่ใช้ร่วมกัน ยังทำลายชื่อเสียงที่งานอื่น ๆ ต้องพึ่งพาอีกด้วย
scraper ควรตีความ status code อย่างไร กฎการจัดลำดับความสำคัญ 4 ขั้นตอน
จัดหมวดหมู่ทุกการตอบกลับให้อยู่ในหนึ่งในสี่ขั้นตอนก่อนที่จะเขียนโค้ดสำหรับจัดการ เราเรียกสิ่งนี้ว่า กฎการจัดลำดับความสำคัญ 4 ขั้นตอน
| ขั้นตอน | โค้ด | การดำเนินการ |
|---|---|---|
| 1. ดำเนินการต่อ | 200, 201, 204, 206, 301, 302, 304 | แยกวิเคราะห์ ติดตามลิงก์ หรือข้ามไป ไม่มีอะไรต้องแก้ไข แม้ว่า 200 ยังต้องตรวจสอบเนื้อหาอยู่ดี |
| 2. รอ | 429, 503, 504, 408 | ถอยกลับพร้อม jitter ปฏิบัติตาม Retry-After ลดจำนวนการทำงานพร้อมกัน เป้าหมายกำลังบอกคุณว่าอัตราการส่งคำขอผิดปกติ |
| 3. เปลี่ยนตัวตน | 403, 401 ในกรณีที่การเข้าถึงเป็นสาธารณะ, 421 | วินิจฉัยก่อนลงมือทำ ได้แก่ exit address, ความสอดคล้องกันของ TLS และ header, runtime การ retry โดยไม่เปลี่ยนแปลงอะไรจะไม่ได้ผลลัพธ์อะไรเลย |
| 4. หยุด | 400, 404, 405, 410, 451, 403 ที่เกิดซ้ำในเส้นทางเดียวกัน | คำขอผิดพลาด ทรัพยากรถูกลบไปแล้ว หรือการเข้าถึงถูกปฏิเสธโดยเจตนา บันทึกไว้แล้วดำเนินการต่อไป |
ความผิดพลาดที่ต้องแลกด้วยราคาแพงคือการปฏิบัติต่อขั้นตอนที่สามเหมือนเป็นขั้นตอนที่สอง ตัวตนที่ถูกบล็อกแล้วถูก retry ซ้ำนับร้อยครั้งก็เท่ากับเป็นข้อมูลอีกนับร้อยจุดที่ยืนยันการจัดประเภทนั้น และในกรณีของ pool ที่ใช้ร่วมกัน มันยังทำให้ address ที่งานอื่น ๆ กำลังใช้อยู่เสื่อมสภาพลงด้วย
โค้ดใดที่พบได้จริงในการ scraping และหมายถึงอะไร
| โค้ด | ความหมายสำหรับ crawler | Retry หรือไม่ |
|---|---|---|
| 200 OK | ผ่านประตูเข้ามาแล้ว แต่เนื้อหาอาจยังขาดไปหากหน้าเพจ render ฝั่ง client | ไม่ควร แต่ให้ตรวจสอบ (assert) ฟิลด์ที่คาดว่าจะมี |
| 204 No Content | การตอบกลับที่ถูกต้อง แต่ไม่มีอะไรให้แยกวิเคราะห์ พบได้บ่อยใน endpoint สำหรับ tracking และ API | ไม่ควร |
| 301 / 302 | ถูกย้ายที่อยู่ ห่วงโซ่ของการ redirect ไปยังหน้า login หรือ gateway ของประเทศคือสัญญาณ ไม่ใช่สัญญาณรบกวน | ติดตามลิงก์ต่อไป แต่บันทึก URL สุดท้ายไว้ |
| 304 Not Modified | คำขอแบบมีเงื่อนไขของคุณทำงานถูกต้องและหน้าเพจไม่มีการเปลี่ยนแปลง เป็นการตอบกลับที่ประหยัดที่สุดเท่าที่จะเป็นไปได้ | ไม่ควร และควรพยายามให้ได้ผลลัพธ์แบบนี้มากขึ้น |
| 400 Bad Request | คำขอของคุณมีรูปแบบผิดพลาด มักเกิดจาก query string หรือ header ที่เสียหาย | ไม่ควร ให้แก้ไขโค้ดแทน |
| 401 Unauthorized | เป้าหมายต้องการข้อมูลรับรอง สำหรับข้อมูลสาธารณะ นี่มักหมายความว่าคุณไปเจอเส้นทางที่ถูกจำกัดการเข้าถึง | ไม่ควร |
| 403 Forbidden | เข้าใจคำขอแล้วแต่ปฏิเสธ อาจเกี่ยวกับตัวตน ชื่อเสียง หรือรูปแบบการส่งคำขอ และบางครั้งก็เป็นเพียงกฎด้านภูมิศาสตร์ทั่วไป | ไม่ควร retry โดยไม่เปลี่ยนแปลงอะไร |
| 404 Not Found | ทรัพยากรหายไปแล้ว หรือเป็น soft 404 ที่ส่งกลับหน้าเพจที่ไม่มีข้อมูล | ไม่ควร |
| 405 Method Not Allowed | ใช้ verb ผิด โดยทั่วไปคือ endpoint ที่ต้องใช้ POST แต่ถูกเรียกด้วย GET | ไม่ควร ให้แก้ไขโค้ดแทน |
| 407 Proxy Authentication Required | ข้อมูลรับรอง proxy ของคุณขาดไปหรือผิดพลาด ไม่มีส่วนเกี่ยวข้องกับเป้าหมายแต่อย่างใด | ไม่ควร ให้แก้ไขการตั้งค่าแทน |
| 408 Request Timeout | เซิร์ฟเวอร์เลิกรอแล้ว มักเกิดจาก proxy hop ที่ช้า | ควร โดยใช้ backoff |
| 410 Gone | ถูกลบออกโดยเจตนา มีความหมายชัดเจนกว่า 404 | ไม่ควร และให้ลบออกจากคิว |
| 421 Misdirected Request | การเชื่อมต่อถูกนำมาใช้ซ้ำสำหรับ host ที่ไม่ได้ให้บริการ พบได้กับการ coalescing ของ HTTP/2 ผ่าน proxy | ควร โดยใช้การเชื่อมต่อใหม่ |
| 429 Too Many Requests | ถูกจำกัดอัตราการส่งคำขอ อ่านค่า Retry-After เพราะเป็น header ที่ตรงไปตรงมาที่สุดในโลกของ scraping | ควร หลังจากรอแล้ว |
| 451 Unavailable For Legal Reasons | ถูกบล็อกด้วยเหตุผลทางกฎหมายหรือกฎระเบียบ มักเกี่ยวกับภูมิศาสตร์ | ไม่ควร |
| 500 Internal Server Error | เป็นบั๊กของฝั่งเป้าหมาย หรือ payload ของคุณเป็นตัวกระตุ้นให้เกิดบั๊กนั้น | ควร หนึ่งหรือสองครั้ง แล้วหยุด |
| 502 / 504 | ข้อผิดพลาดของ gateway อาจมาจากฝั่ง edge ของเป้าหมาย หรือจาก proxy hop ของคุณเอง | ควร โดยใช้ backoff |
| 503 Service Unavailable | โหลดเกินขนาด หรือกำลังลดโหลดโดยเจตนา ซึ่งรวมถึงการลดโหลดเพื่อป้องกัน bot | ควร แต่ให้ทำอย่างช้า ๆ |
| 520 ถึง 526 | เฉพาะของ Cloudflare คือ origin ส่งค่าที่ไม่ถูกต้องกลับมา หมดเวลาการเชื่อมต่อ หรือการทำ TLS handshake กับ origin ล้มเหลว | ควร แต่หากเกิดซ้ำ ๆ ให้ถือเป็นสัญญาณ |
โค้ดใดที่บ่งชี้ถึงปัญหาจาก proxy ของคุณ มากกว่าจากเว็บไซต์
มีอยู่สามโค้ด และการสับสนกับการปฏิเสธจากฝั่งเป้าหมายจะทำให้เสียเวลาไปหลายวัน
407 Proxy Authentication Required gateway ปฏิเสธข้อมูลรับรองของคุณ ตรวจสอบรูปแบบ username, password และดูว่า session หรือ country suffix ของคุณมีรูปแบบที่ถูกต้องหรือไม่ ไม่ว่าจะ retry หรือ rotate กี่ครั้งก็ไม่ช่วยอะไร เพราะคำขอไม่เคยไปถึงเป้าหมายเลย
502 และ 504 ที่เกิดขึ้นทันทีหลังเปลี่ยน route ข้อผิดพลาดของ gateway ที่ปรากฏขึ้นทันทีที่คุณสลับ exit และหายไปเมื่อสลับกลับ มักมาจากจุดเชื่อมต่อ (hop) มากกว่า origin ให้ทดสอบ URL เดียวกันโดยตรงและผ่าน exit ตัวที่สองก่อนที่จะโทษเว็บไซต์
421 Misdirected Request พบได้น้อย และเกือบทุกครั้งเกิดจากการนำการเชื่อมต่อไปใช้ซ้ำข้าม host ผ่าน proxy ภายใต้ HTTP/2 ให้ปิดการทำ connection coalescing หรือกำหนดให้หนึ่งการเชื่อมต่อใช้ได้กับหนึ่ง host เท่านั้น
วิธีที่เร็วที่สุดในการแยกแยะทั้งสองฝั่งคือการทำ control request คือการเรียก URL ที่คุณรู้ว่ามีความเสถียร เช่น บริการ IP echo ผ่าน exit เดียวกัน หากคำขอนั้นล้มเหลวด้วย แสดงว่าปัญหาอยู่ที่ route ของคุณ แต่ถ้าสำเร็จ แสดงว่าเป้าหมายกำลังปฏิเสธคุณ คู่มือของเราเรื่อง 403 Forbidden errors when scraping จะอธิบายขั้นตอนการแยกแยะปัญหาแบบเต็มรูปแบบ
นโยบายการ retry แบบใดที่ได้ผลจริง
กฎสี่ข้อครอบคลุมเกือบทุกกรณี และตั้งใจให้ดูน่าเบื่อโดยเจตนา
- ให้ retry เฉพาะขั้นตอนที่สอง และข้อผิดพลาดด้าน infrastructure บางส่วนในขั้นตอนที่สี่เท่านั้น ได้แก่ 429, 503, 504, 408, 500 หนึ่งหรือสองครั้ง ห้าม retry 400, 404, 405, 410, 451 เด็ดขาด และห้าม retry 403 โดยไม่เปลี่ยนแปลงอะไรเด็ดขาด
- ใช้ exponential backoff ร่วมกับ jitter โดยเริ่มที่ประมาณหนึ่งวินาทีและจำกัดเพดานไว้ที่หนึ่งนาที หากไม่มี jitter worker ที่ทำงานพร้อมกันจะ retry ในเวลาเดียวกันและสร้าง burst แบบเดิมที่เป็นสาเหตุของการถูกจำกัดขึ้นมาใหม่
- ปฏิบัติตามค่า Retry-After อย่างตรงตัว หากเว็บไซต์บอกให้รอสามสิบวินาที การรอเพียงห้าวินาทีก็เท่ากับเป็นการเลือกที่จะถูกจำกัดอัตราซ้ำอีกครั้ง
- ใช้ circuit breaker แยกตามแต่ละ host เมื่อจำนวนความล้มเหลวติดต่อกันถึงเกณฑ์ที่กำหนด ให้หยุดใช้ host นั้นทั้งหมดในช่วงเวลาพักหนึ่ง แทนที่จะปล่อยให้เสื่อมสภาพลงเรื่อย ๆ จนถูกแบนในที่สุด
| สถานการณ์ | ควร retry เมื่อ | ควรเลี่ยงการ retry เมื่อ |
|---|---|---|
| 429 พร้อม Retry-After | คุณปฏิบัติตามระยะเวลาที่กำหนดและลดจำนวนการทำงานพร้อมกันหลังจากนั้น | คุณจะ retry ภายในช่วงเวลาที่กำหนด ซึ่งรับประกันได้ว่าจะถูกจำกัดอัตราเป็นครั้งที่สอง |
| 503 หรือ 504 | ความล้มเหลวเกิดขึ้นเป็นระยะ ๆ ในหลาย host ซึ่งบ่งชี้ว่าเป็นเรื่องของโหลด | host เดียวล้มเหลวอย่างต่อเนื่อง นั่นคือการลดโหลดที่มุ่งเป้ามาที่คุณ |
| 500 | เกิดขึ้นครั้งเดียวกับ URL ที่ปกติใช้งานได้ดี | เกิดซ้ำกับ payload เดิม ซึ่งหมายความว่าคำขอของคุณเป็นตัวกระตุ้นบั๊กของฝั่งเป้าหมาย |
| 403 | ห้าม retry โดยไม่เปลี่ยนแปลงอะไรเด็ดขาด ทำได้ก็ต่อเมื่อได้แยกแยะตัวแปรใดตัวแปรหนึ่งออกมาแล้ว | ควรเลี่ยงเสมอ จนกว่าคุณจะได้ทดสอบ exit, client และความเร็วในการส่งคำขอแยกกันแล้ว |
| 404, 410, 451 | ห้าม retry เด็ดขาด | ควรเลี่ยงเสมอ เนื่องจากทรัพยากรหายไปแล้ว หรือการเข้าถึงถูกปฏิเสธตามนโยบาย |
ตัวเลขสองตัวช่วยให้สิ่งนี้วัดผลได้ คือความล้มเหลวแยกตามโค้ดต่อ host ต่อชั่วโมง และอัตราส่วนของการ retry ต่อคำขอที่สำเร็จ เมื่อตัวเลขที่สองเพิ่มขึ้นเกินประมาณหนึ่งในห้า แสดงว่าความเร็วในการส่งคำขอของคุณผิดพลาด ไม่ว่าตัวเลขแรกจะบอกอะไรก็ตาม
เพราะเหตุใด 200 บางครั้งจึงหมายถึงความล้มเหลว
เพราะการผ่านประตูเข้ามาและการได้รับข้อมูลเป็นสองเหตุการณ์ที่แยกจากกัน มีสี่กรณีที่ทำให้ได้รับ 200 โดยไม่มีข้อมูลที่เป็นประโยชน์อยู่เลย
การ render ฝั่ง client HTML เป็นเพียงเปลือกและข้อมูลจะมาถึงผ่าน XHR วิธีแก้คือใช้ browser engine หรือวิธีที่ดีกว่าคือค้นหา endpoint ของ JSON ที่หน้าเพจนั้นเรียกใช้งานเอง
Soft 404 เว็บไซต์ส่งหน้า not-found ที่ดูเป็นมิตรพร้อม status 200 ให้ตรวจสอบ (assert) จาก element ที่รู้จักแทนการดูจาก status code
หน้า challenge เป็นหน้าคั่นกลางที่ส่งกลับ 200 ในขณะที่ขอให้ client พิสูจน์ตัวเอง ให้ตรวจจับจากขนาดของข้อมูลและการมีอยู่ของ challenge script แทนการดูจาก status
Geo wall หรือ consent wall 200 ที่ส่งกลับ cookie banner หรือ gateway ของประเทศแทนเนื้อหาจริง นี่คือเหตุผลที่ประเทศของ exit ควรอยู่ในชุดข้อมูลของคุณด้วย
กฎที่ใช้ได้จริงคือ อย่าปฏิบัติต่อ status code เสมือนเป็นการยืนยันความสำเร็จ ให้ตรวจสอบ (assert) จากเนื้อหา นับจำนวนแถวต่อการรันแต่ละครั้ง และตั้งแจ้งเตือนเมื่อแหล่งข้อมูลลดลงเกินเกณฑ์ที่กำหนด ไม่ใช่เมื่อเกิด error
ข้อจำกัดของการอ่านโค้ดเพียงอย่างเดียวมีอะไรบ้าง
Status code อธิบายเพียง hop สุดท้าย ไม่ใช่เรื่องราวทั้งหมด 200 อาจเป็น challenge ก็ได้ 403 อาจเป็นกฎของประเทศมากกว่าคำตัดสินว่าเป็น bot ก็ได้ และ 502 อาจเป็นปัญหาจาก proxy ของคุณเองก็ได้ ให้ปฏิบัติต่อโค้ดเสมือนเป็นสัญญาณแรกในการวินิจฉัย จากนั้นยืนยันด้วยขนาดของ body, header และ control request
ในเรื่องของกฎเกณฑ์ การถูกปฏิเสธซ้ำ ๆ คือการตัดสินใจของเว็บไซต์ และการตอบสนองที่ถูกต้องคือการเคารพการตัดสินใจนั้น ตรวจสอบ robots.txt และข้อกำหนดการใช้งาน และเลือกใช้ API ที่เป็นทางการหากมีให้ใช้งาน ข้อมูลส่วนบุคคลก่อให้เกิดคำถามอีกประเด็นหนึ่งเกี่ยวกับฐานทางกฎหมายที่ชอบธรรม เนื้อหานี้เป็นข้อมูลทั่วไป ไม่ใช่คำแนะนำทางกฎหมาย ดูเพิ่มเติมได้ที่ web scraping ถูกกฎหมายหรือไม่
สำหรับปัญหาที่เกี่ยวข้อง ได้แก่ การจัดลำดับความสำคัญของ 403, การ rotation และ session และ ระบบตรวจจับให้คะแนนคำขออย่างไร
คำถามที่พบบ่อย
403 หมายถึงอะไรเมื่อทำการ scraping
เซิร์ฟเวอร์เข้าใจคำขอแล้วแต่ปฏิเสธ สำหรับ crawler สิ่งนี้มักหมายถึงตัวตน ชื่อเสียง หรือรูปแบบของคำขอ มากกว่าคำขอที่ผิดพลาด และบางครั้งก็เป็นเพียงกฎด้านภูมิศาสตร์ทั่วไป การ retry โดยไม่เปลี่ยนแปลงอะไรจะไม่ได้ผลอะไรเลย ให้เปลี่ยนตัวแปรทีละหนึ่งอย่าง โดยเริ่มจาก exit address จากนั้นเป็น client และสุดท้ายคือความเร็วในการส่งคำขอ
403 และ 429 แตกต่างกันอย่างไร
429 เป็นการบอกเกี่ยวกับอัตราการส่งคำขอ และมักมี header Retry-After มาด้วย ดังนั้นวิธีแก้คือชะลอความเร็วลง ส่วน 403 เป็นการบอกเกี่ยวกับตัวคุณเอง ดังนั้นวิธีแก้คือเปลี่ยนลักษณะที่ client ของคุณปรากฏ การปฏิบัติต่อ 403 เหมือนเป็นการจำกัดอัตราแล้วเพียงแค่รอ คือสาเหตุที่ crawler หยุดชะงักไปหลายชั่วโมงโดยไม่ได้เรียนรู้อะไรเลย
เพราะเหตุใดจึงได้รับ 407
ข้อมูลรับรอง proxy ของคุณขาดไปหรือมีรูปแบบผิดพลาด ทำให้ gateway ปฏิเสธคำขอก่อนที่จะไปถึงเป้าหมาย ตรวจสอบรูปแบบของ username รวมถึง session หรือ country suffix ใด ๆ, password และดูว่า port ตรงกับ protocol หรือไม่ การ rotation และการ retry ไม่สามารถแก้ปัญหา 407 ได้
ควร retry 500 หรือไม่
ควร retry หนึ่งหรือสองครั้งพร้อม backoff แล้วหยุดและบันทึกไว้ 500 ที่เกิดขึ้นซ้ำ ๆ กับ URL เดียวมักหมายความว่า payload ของคุณเป็นตัวกระตุ้นบั๊กในฝั่งเป้าหมาย และการยิงคำขอซ้ำ ๆ ไม่ได้ประโยชน์อะไรและยังไม่สมควรอีกด้วย หาก 500 ปรากฏขึ้นในหลาย URL พร้อมกัน แสดงว่าเว็บไซต์กำลังเกิดเหตุการณ์ผิดปกติ และควรพักงานทั้งหมดไว้ก่อน
เพราะเหตุใดจึงได้รับ 200 แต่ไม่มีข้อมูล
เพราะประตูผ่านเข้ามาแล้วแต่เนื้อหาไม่มาถึง อาจเป็นเพราะหน้าเพจ render ฝั่ง client เว็บไซต์ส่ง soft 404 หรือหน้า challenge คั่นกลางพร้อม status 200 หรือคุณไปเจอ consent wall หรือ geo wall ให้ตรวจสอบ (assert) จาก element ที่รู้จักใน body แทนการดูจาก status code และนับจำนวนแถวต่อการรันแต่ละครั้ง เพื่อให้การลดลงแบบเงียบ ๆ กลายเป็นการแจ้งเตือน
การถูกปฏิเสธที่น้อยลงเริ่มต้นจาก exit ที่เหมาะสม
เมื่อการจัดลำดับความสำคัญชี้ไปที่ตัวตนมากกว่าความเร็วในการส่งคำขอ residential proxies ของ DataImpulse มอบ exit ที่ตรงกับตำแหน่งทางภูมิศาสตร์จริง ในราคา $1 ต่อ GB ครอบคลุม 195 ประเทศ ทั้งแบบ rotating หรือ sticky ผ่าน HTTP, HTTPS และ SOCKS5 สร้างบัญชี และทดสอบกับเป้าหมายหนึ่งเป้าหมายก่อนที่จะขยายขนาดการใช้งาน
บทความที่เกี่ยวข้อง: 403 Forbidden เมื่อทำการ scraping · proxy สำหรับ web scraping · use case ของ web scraping
อัปเดตล่าสุด: 17 กันยายน 2026
