ในบทความนี้
ไม่ว่าคุณจะทำ web scraping หรือใช้ API ทั้งหมดล้วนเกี่ยวกับการส่งคำขอ HTTP และรับการตอบกลับ ยิ่งกำหนดรายละเอียดคำขอได้ชัดเจนเท่าไร ข้อมูลที่ได้รับก็ยิ่งแม่นยำ นั่นคือเหตุผลที่คุณต้องใช้ headers โดย headers มาในรูปคู่คีย์-ค่า คั่นด้วยโคลอน และเป็นส่วนของการตอบกลับ HTTP ที่มีรายละเอียดเพิ่มเติม เช่น ประเภทเนื้อหาหรือคำสั่งการแคช Headers ช่วยให้คุณได้รายละเอียดที่ต้องการ หรือกรองการตอบกลับเพื่อไม่ให้เห็นรายการที่ไม่เกี่ยวข้อง ในบทความนี้ เราจะเรียนรู้พื้นฐานเชิงปฏิบัติของการส่ง HTTP headers ด้วย cURL และวิธีที่มันช่วยงานของคุณได้
ทำไมต้องใช้ cURL?
เมื่อทราบแล้วว่า HTTP headers คืออะไร มาดู cURL แบบคร่าวๆ กัน cURL เป็นเครื่องมือบรรทัดคำสั่งที่ใช้งานง่ายสำหรับถ่ายโอนข้อมูลไปยัง server ปลายทางและกลับมายังคอมพิวเตอร์ของคุณ จึงเหมาะอย่างยิ่งสำหรับการส่ง headers ข้อดีมีดังนี้:
- มีขนาดเบา
- รองรับโปรโตคอลมากมาย รวมถึง HTTP(S), SMTP, FTP และอื่นๆ
- ไม่ต้องใช้ไลบรารีเพิ่มเติม
- ใช้งานร่วมกับระบบปฏิบัติการยอดนิยมอย่าง Windows, Linux และ macOS ได้
- ใช้งานได้ฟรีและมักติดตั้งมาให้ล่วงหน้า
- มีเอกสารละเอียดและชุมชนผู้ใช้ขนาดใหญ่ ดังนั้นหากพบปัญหา คุณจะหาทางแก้ได้อย่างรวดเร็ว
ด้วยเหตุนี้ cURL จึงถูกใช้อย่างแพร่หลาย แม้จะมีเครื่องมืออื่นอีกมากที่ส่ง HTTP headers ได้
ควรส่ง HTTP headers เมื่อใด
เมื่อคุ้นเคยกับเครื่องมือทั้งหมดแล้ว มาดูกรณีใช้งานของการส่ง HTTP headers กัน
- การยืนยันตัวตนและการอนุญาต
เมื่อเรียก API หรือขอเนื้อหาที่ต้องได้รับอนุญาต คุณอาจต้องให้ token หรือข้อมูลอื่นเพื่อรับข้อมูล การส่ง Authorization header ด้วย cURL จะให้ข้อมูลที่จำเป็นแก่ server เพื่ออนุญาตให้เข้าถึง คุณต้องใช้ตัวเลือก -H ในคำขอของคุณ ด้านล่างเป็นตัวอย่างคำขอ cURL ไปยัง httpbin.org ซึ่งเป็นบริการพิเศษสำหรับคำขอและการตอบกลับ
- การเจรจารูปแบบเนื้อหา
เมื่อส่งเนื้อหาในรูปแบบเฉพาะ เช่น JSON หรือ XML และต้องการให้ server ตีความได้ถูกต้อง คุณต้องใส่ Content-type HTTP header ไว้ในคำขอ server ปลายทางจะทราบวิธีประมวลผลเนื้อหาเพื่อลดโอกาสเกิดข้อผิดพลาดหรือความล่าช้า
- CORS (การแชร์ทรัพยากรข้ามต้นทาง)
Application อาจให้เข้าถึงบริการหรือข้อมูลโดยพิจารณาว่าใครกำลังขอ ในสถานการณ์เช่นนี้ ซึ่งต้นทางของคำขอมีบทบาทสำคัญ คุณอาจระบุต้นทางใน Origin HTTP header โปรดอย่าสับสนกับการยืนยันตัวตน เพราะกรณีใช้งานคล้ายกันและมักเกิดร่วมกัน แต่ยังเป็นคนละเรื่อง
- การระบุ user-agent
ประเภท client ไม่ว่าจะเป็น mobile หรือ web app, API เป็นต้น ก็ส่งผลต่อการตอบกลับที่ได้รับ คุณสามารถกำหนดประเภท client ในคำขอและรับการตอบกลับที่จำเป็นได้
- การปรับการตั้งค่าควบคุมแคช
การจัดการการตั้งค่าแคชจำเป็นในหลายสถานการณ์ และ HTTP headers อาจช่วยคุณได้ เพียงใส่ Cache-control header ในคำขอและระบุค่า การตอบกลับจะถูกแคชตามการตั้งค่าที่คุณกำหนด
- การส่งคำขอแบบกำหนดเอง
บางครั้ง apps ที่คุณใช้ต้องการ custom headers เพื่อประมวลผลคำขอหรือดำเนินการตามที่ต้องการ ในกรณีนี้จึงจำเป็นต้องใส่ headers ดังกล่าวในคำขอ บางครั้ง headers เหล่านี้จำเป็นเพื่อป้องกันช่องโหว่และการโจมตี คุณควรอ่านเอกสารก่อนใช้ app เพื่อทราบว่า custom headers ใดมีให้ใช้และจำเป็น
- การส่งคำขอตามเงื่อนไข
คุณควรใช้ conditional headers หากต้องการเฉพาะข้อมูลที่ตรงตามเงื่อนไขที่กำหนด headers เหล่านี้ช่วยประหยัดเวลาด้วยการรับเฉพาะข้อมูลที่ต้องการ และประหยัด bandwidth เพราะไม่สิ้นเปลือง GBs กับการโหลดข้อมูลที่ไม่จำเป็น If-Match หรือ If-Modified-Since เป็นตัวอย่างของ headers ประเภทนี้
cURL: คุณสมบัติอื่นๆ
- วิธีส่ง headers หลายรายการ
บางครั้งคุณอาจต้องส่ง headers หลายรายการสำหรับคำขอเดียวกัน หากเป็นเช่นนั้น คุณระบุทั้งหมดได้ด้วยคำสั่ง cURL เดียวกัน อย่าลืมใช้ตัวเลือก –H ทุกครั้งที่ป้อนคู่คีย์-ค่าใหม่
- วิธีตรวจสอบ response headers
การดู response headers จาก server ปลายทางมีประโยชน์ต่อการแก้ปัญหาและติดตามประสิทธิภาพ เพราะบอกระยะเวลาที่ใช้ประมวลผลคำขอหรือปัญหาการยืนยันตัวตน คุณดูได้ด้วยตัวเลือก -I หรือ –head ตัวเลือกใดตัวเลือกหนึ่ง ทั้งคู่จะแสดงเฉพาะ headers
หากต้องการดูทั้ง headers และเนื้อหา ให้ใช้ตัวเลือก -i หรือ –include
- วิธีส่ง headers ที่ว่างเปล่า
API บางรายการต้องการ headers เฉพาะในคำขอ แม้ headers นั้นไม่มีค่า บางครั้ง headers ที่ว่างเปล่าทำให้ header ทำงานในลักษณะเฉพาะ นักพัฒนายังใช้เพื่อดูว่า server ตอบสนองต่อสถานการณ์เช่นนี้อย่างไร และตรวจสอบว่าไม่มีช่องโหว่ให้ hackers ใช้ประโยชน์ หากต้องการส่ง header ดังกล่าว ให้ระบุชื่อของมันตามด้วยอัฒภาคโดยไม่ต้องใส่ค่า
- วิธีลบ header
cURL เพิ่ม headers บางรายการโดยค่าเริ่มต้น เช่น User-Agent header หากไม่ต้องการและอยากลบ ให้พิมพ์ชื่อ header ตามด้วยโคลอน โดยไม่ต้องระบุค่า
- วิธีเปิดใช้ verbose mode
ใช้คุณสมบัตินี้เมื่อต้องการเข้าใจว่า server ดำเนินการกับคำขอของคุณอย่างไร เมื่อเปิดใช้ mode นี้ cURL จะแสดงรายละเอียดมากมาย รวมถึงรายละเอียดคำขอและการตอบกลับ, HTTP method, version, status code, ข้อมูลกระบวนการเชื่อมต่อ และอื่นๆ mode นี้มีประโยชน์ต่อการ debugging เพราะให้ข้อมูลของแต่ละขั้นตอนการสื่อสาร คุณเปิดใช้ได้ด้วยตัวเลือก -v หรือ –verbose option.
- วิธีบันทึก headers
การ debugging และติดตามประสิทธิภาพมักต้องบันทึก headers เพื่อวิเคราะห์และเก็บเป็นบันทึก ดังนั้นคุณจึงบันทึก headers ลงไฟล์เพื่อใช้ภายหลังได้ โดยทำดังนี้:
- ใช้ตัวเลือก -d หรือ –dump-header
- หากต้องการบันทึกเนื้อหาของคำขอด้วย ให้เพิ่มตัวเลือก -o หรือ –output
- หลังคำสั่ง อย่าลืมระบุชื่อไฟล์ที่คอมพิวเตอร์ควรบันทึก headers
หมายเหตุ: โดยทั่วไป HTTP headers ไม่คำนึงถึงตัวพิมพ์เล็กใหญ่ อย่างไรก็ตาม API บางรายการคาดหวัง headers เฉพาะและจะทำงานได้ก็ต่อเมื่อใช้ตัวพิมพ์ใหญ่ตามที่กำหนด นี่จึงเป็นเหตุผลที่ต้องตรวจสอบเอกสารอย่างรอบคอบก่อนส่ง headers
proxy สำหรับส่ง HTTP headers ด้วย cURL
เมื่อทำ web scraping หรือกิจกรรมอื่นที่ต้องส่งคำขอจำนวนมาก คุณอาจพบปัญหา เช่น การจำกัดคำขอหรือการบล็อกตามภูมิศาสตร์ ในกรณีนี้ proxy คือผู้ช่วยที่ทำให้คุณเข้าถึงได้อย่างเสถียรทั่วโลก ตัวอย่างเช่น DataImpulse มี proxy ที่จัดหาตามหลักจริยธรรม ซึ่งผสานรวมและใช้กับเครื่องมืออื่น รวมถึง cURL ได้ง่าย ด้วยวิธีนี้ คุณจะส่งคำขอได้มากเท่าที่ต้องการโดยไม่ติดข้อจำกัด
สรุป
บางครั้งคุณไม่จำเป็นต้องใช้เครื่องมือพิเศษหรือราคาแพงเพื่อรับข้อมูล cURL ใช้ได้ฟรีและช่วยให้กำหนดรายละเอียดคำขอเพื่อรับข้อมูลได้อย่างรวดเร็วโดยไม่มีรายละเอียดที่ไม่จำเป็น เพื่อให้กระบวนการมีประสิทธิภาพยิ่งขึ้น คุณสามารถใช้ cURL ร่วมกับ DataImpulse proxies เรามี proxy ที่มีเวลาตอบกลับ 1 วินาที ในรูปแบบราคา pay-as-you-go ที่เป็นมิตรต่อกระเป๋าเงิน คลิกปุ่ม “Try now” ที่มุมขวาบนของหน้าจอ หรือติดต่อเราได้ที่ [email protected].














