ในบทความนี้

How to use curl full guide cover

ในบทความนี้

cURL คือเครื่องมือบรรทัดคำสั่งที่นักพัฒนาทุกคนต้องใช้ไม่ช้าก็เร็ว ใช้ทรัพยากรไม่มากและโดยทั่วไปมักติดตั้งมาเป็นค่าเริ่มต้นในระบบปฏิบัติการส่วนใหญ่ อย่างไรก็ตาม เมื่อเริ่มใช้กับงานที่ซับซ้อนขึ้น เช่น web scraping การข้ามข้อจำกัดตามภูมิภาค หรือการทดสอบ API จากหลายตำแหน่ง อาจพบปัญหาอย่างการจำกัดอัตราคำขอหรือเนื้อหาที่เข้าถึงไม่ได้

เมื่อส่งคำขอ cURL ผ่านเซิร์ฟเวอร์ proxy คุณสามารถเปลี่ยน IP address ที่เว็บไซต์เป้าหมายตรวจพบได้ ด้วย cURL คุณสามารถรวบรวมข้อมูลทั่วโลก เข้าถึงเนื้อหาที่จำกัดตามภูมิภาค และป้องกันการบล็อกที่เกิดจากการส่งคำขอจำนวนมากเกินไปจาก IP address เดียว คู่มือนี้อธิบายวิธีใช้ cURL กับ proxy รวมถึงไวยากรณ์ที่จำเป็น วิธีการยืนยันตัวตน และสถานการณ์เฉพาะที่แนวทางนี้มีประโยชน์

ข้อมูลสำคัญ

  • cURL รองรับ proxy ผ่านแฟล็กบรรทัดคำสั่ง ตัวแปรสภาพแวดล้อม หรือไฟล์ config
  • proxy มีหลายประเภท รวมถึง residential, mobile และ datacenter
  • proxy ใช้สำหรับ web scraping ขนาดใหญ่ การทดสอบ API การข้ามการแบน และผลลัพธ์เฉพาะพื้นที่
  • เพื่อผลลัพธ์ที่ดีที่สุด ให้เลือกประเภท proxy และการตั้งค่าที่เหมาะกับกรณีใช้งานของคุณ
  • มีทั้ง sticky session และ rotating session โดย sticky session ใช้กับการเข้าสู่ระบบและกิจกรรมที่มีสถานะ ส่วน rotating session ใช้กับงาน scraping

cURL คืออะไรและทำงานอย่างไร

cURL เปิดตัวในปี 1996 และย่อมาจาก Client และ URL เป็นกลไกสำคัญสำหรับส่งคำขอ HTTP และถ่ายโอนข้อมูล cURL ใช้งานผ่านบรรทัดคำสั่ง หมายความว่าคุณพิมพ์คำสั่งในเทอร์มินัล แล้วระบบจะส่งคำขอและแสดงผลการตอบกลับ

cURL ทำงานบน libcurl ซึ่งเป็นไลบรารี C ที่พกพาได้ กระบวนการค่อนข้างเรียบง่าย นี่คือสิ่งที่เกิดขึ้นเมื่อพิมพ์คำสั่ง:

  1. แยกวิเคราะห์ URL – cURL แยกเป็น protocol, host, port และ path
  2. เปิดการเชื่อมต่อกับ host
  3. ส่งคำขอ – ประกอบด้วยบรรทัดคำขอ headers และ body ที่เป็นตัวเลือก
  4. รับการตอบกลับ – เซิร์ฟเวอร์ส่ง headers และ body กลับมา
  5. แสดงผลลัพธ์สุดท้ายในเทอร์มินัล

cURL ใช้งานได้หลากหลาย ไม่ว่าจะทดสอบ endpoint ดึงหน้าเว็บ เรียก API หรือเก็บข้อมูล ล้วนเป็นเพียงส่วนเล็ก ๆ ของงานที่ใช้ cURL ได้ cURL จัดการ cookies, custom headers, retries และการยืนยันตัวตนได้ อีกทั้งยังรองรับการตั้งค่า proxy เมื่อมีบางอย่างขัดข้องระหว่างแอปกับเซิร์ฟเวอร์ curl – v มักแสดงรายละเอียดของคำขอและการตอบกลับเพื่อให้ debug ได้ง่ายขึ้น เราจะสำรวจวิธีนี้ต่อในหัวข้อถัดไป

Proxy ใน cURL คืออะไร

cURL proxy เป็นตัวกลางของการเชื่อมต่อระหว่าง client และเซิร์ฟเวอร์ปลายทาง ทำหน้าที่เป็นชั้นส่งต่อที่กำหนดเส้นทางคำขอ HTTP หรือ HTTPS การเชื่อมต่อปกติที่ไม่มี proxy มีสององค์ประกอบคือ client และเป้าหมาย ในการตั้งค่าที่ใช้ proxy นั้น proxy จะเป็นจุดสิ้นสุดของ session ฝั่ง client และสร้างการเชื่อมต่อไปยังเป้าหมายขึ้นใหม่

cURL จะส่งคำขอทั้งหมดไปยังเซิร์ฟเวอร์ proxy ก่อน แทนที่จะเชื่อมต่อกับเป้าหมายโดยตรง จากนั้น proxy จะทำ DNS resolution เพื่อแปลงชื่อโดเมนเป็น IP address เปิด socket ใหม่ แล้วส่งต่อคำขอพร้อม headers และ body proxy ซ่อน IP เดิมของคุณ กรอง traffic ทำให้การท่องเว็บเป็นส่วนตัว และให้คุณเข้าถึงเป้าหมายจากตำแหน่งอื่นได้ traffic HTTP ถูกประมวลผลเป็นข้อมูลระดับแอปพลิเคชันแบบไม่เข้ารหัส ดังนั้น proxy จึงจัดการเนื้อหาคำขอได้ ส่วน HTTPS ทำงานต่างออกไป ในกรณีนี้ cURL จะส่งคำสั่ง CONNECT เพื่อสร้าง tunnel ให้ข้อมูล TLS ที่เข้ารหัสผ่านไปโดยไม่ถูกถอดรหัส

เมื่อใดที่ควรใช้ cURL กับ proxy

cURL เพียงอย่างเดียวก็ทรงพลังอยู่แล้ว แต่ในสภาพแวดล้อม production มักไม่ค่อยใช้เพียงลำพัง ทีมงานมักใช้ cURL ร่วมกับเซิร์ฟเวอร์ proxy ที่เชื่อถือได้ นี่คือ 4 กรณีใช้งานที่การตั้งค่านี้ช่วยได้มาก

  • web scraping ขนาดใหญ่

ทีม e-commerce จำนวนมากต้องติดตามราคาของคู่แข่งบนหน้าสินค้าจำนวนมากทุกวัน การเขียน scraper บน cURL ที่สะอาดอย่างเดียวไม่เพียงพอ เพราะคำขอมักเริ่มล้มเหลวภายใน 20 นาที ในสถานการณ์นี้ การกำหนดเส้นทาง cURL ผ่านกลุ่ม rotating proxies อาจช่วยได้มาก ทุกคำขอจะมาจาก IP ที่ต่างกัน และเว็บไซต์เป้าหมายจะไม่จำกัดกิจกรรม เพราะมีลักษณะคล้ายพฤติกรรมตามธรรมชาติ

  • การข้ามการแบน IP

งานรายสัปดาห์ต้องเข้าถึงข้อมูลที่ถูกต้องได้อย่างเสถียร ตัวอย่างเช่น หากกระบวนการตรวจสอบรายสัปดาห์ไม่มี proxy รองรับ คุณมีแนวโน้มจะพบข้อผิดพลาด 403 การเปลี่ยนไปใช้เครือข่ายอื่นก็ไม่ได้ช่วยเสมอไป ลองส่งคำขอ cURL เดิมผ่าน residential proxy เพื่อจำลองพฤติกรรมผู้ใช้จริงจากการเชื่อมต่ออินเทอร์เน็ตบ้านทั่วไป

  • สร้างคำขอที่กำหนดเป้าหมายตามพื้นที่

ตำแหน่งที่ตั้งส่งผลต่อเนื้อหาที่เห็น ทีมการตลาดมักต้องตรวจสอบว่า landing pages ที่ปรับตามพื้นที่ของลูกค้าแสดงผลถูกต้องหรือไม่ จากการเชื่อมต่อของตนเอง หน้าเว็บอาจไม่โหลดในเวอร์ชันที่ต้องการ วิธีแก้คือใช้ residential IPs ที่จัดหามาอย่างมีจริยธรรมจากผู้ให้บริการที่เชื่อถือได้อย่าง DataImpulse เมื่อทีมของคุณตั้งค่าแล้ว ทุกคำขอจะส่งคืนหน้าเว็บในแบบเดียวกับที่ผู้ใช้ท้องถิ่นเห็น รวมถึงราคาในท้องถิ่นและโปรโมชันเฉพาะพื้นที่

  • การทดสอบ API ทั่วโลก

ในงานของนักพัฒนา การตรวจสอบพฤติกรรมของ API จากหลายตำแหน่งอาจทำได้ยากหากไม่มีเครื่องมือที่เหมาะสม แอปพลิเคชัน monitoring ไม่ได้ตรวจพบปัญหาเสมอไป และการทำซ้ำในสภาพแวดล้อม local อาจเป็นไปไม่ได้ แก้ปัญหาโดยส่งคำขอ cURL ไปยัง API ของคุณผ่าน proxy คุณจะเข้าถึง edge nodes ฐานข้อมูลตามภูมิภาค และเส้นทางเครือข่ายเดียวกับผู้ใช้ proxy ช่วยให้ debug ปัญหาที่เครื่องมือ monitoring ของคุณตรวจไม่พบ

สิ่งที่ต้องมีเพื่อใช้ proxy กับ cURL

การใช้ proxy กับ cURL ไม่ต้องมีอะไรมาก คุณต้องมี 5 สิ่งเพื่อเริ่มต้น

  1. ติดตั้ง cURL และพร้อมใช้งาน โดยมีมาเป็นค่าเริ่มต้นในระบบ macOS และ Linux ส่วนใหญ่ บทแนะนำสำหรับผู้เริ่มต้นของเราจะแสดง วิธีติดตั้ง cURL บนระบบปฏิบัติการใดก็ได้ รวมถึง Windows
  2. เข้าถึง proxy endpoint ซึ่งอาจเป็น proxy แบบ HTTP, HTTPS หรือ SOCKS5 สิ่งนี้ทำให้คำขอ cURL มีเส้นทางอื่นไปยังเป้าหมายแทนการเชื่อมต่อตรง
  3. ข้อมูลรับรอง proxy หากต้องยืนยันตัวตน
  4. endpoint เป้าหมาย อาจเป็น API เว็บไซต์ หรือสิ่งใดก็ตามที่คุณต้องการเข้าถึง
  5. เครื่องมือตรวจสอบ proxy เพื่อตรวจสอบว่า traffic ผ่าน proxy ให้ใช้บริการอย่าง https://ipinfo.io/ หรือ https://whatismyipaddress.com/

เมื่อมีองค์ประกอบเหล่านี้พร้อมแล้ว คุณก็ตั้งค่า proxy ของ cURL ได้ โดยมีการกำหนดเส้นทางในระดับเครือข่าย แทนที่จะติดต่อเป้าหมายโดยตรง cURL จะใช้ proxy เป็นตัวกลาง

วิธีใช้ cURL กับ proxy ทีละขั้นตอน

คำสั่ง cURL Proxy พื้นฐาน

หากต้องการกำหนดเส้นทางคำขอ cURL ผ่าน proxy ให้ใช้แฟล็ก -x เพื่อระบุเซิร์ฟเวอร์ proxy จากนั้น cURL จะส่งคำขอผ่าน proxy นั้น


curl -x http://proxy-ip:port https://example.com
      
        
      

นี่เป็นรูปแบบการใช้ proxy ที่ง่ายที่สุด และใช้ได้กับคำขอ HTTP หรือ HTTPS พื้นฐานที่ไม่ต้องยืนยันตัวตน

cURL Proxy พร้อมการยืนยันตัวตน

หาก proxy ต้องมีขั้นตอนการยืนยันตัวตนเพิ่มเติม คุณสามารถส่ง username และ password โดยตรงในสตริง proxy ได้ ดังนี้:


curl -x http://username:password@proxy-ip:port https://example.com
      
        
      

คำสั่ง cURL ใช้ข้อมูลรับรองเหล่านี้เพื่อยืนยันตัวตนกับ proxy ก่อนส่งต่อคำขอ

การใช้ HTTPS Proxy

เมื่อใช้ HTTPS proxy cURL ยังคงกำหนดเส้นทาง traffic ผ่าน proxy พร้อมรักษาการเข้ารหัส TLS ตลอดทางจนถึงปลายทาง


curl -x https://proxy-ip:port https://example.com
      
        
      

การตั้งค่านี้มีประโยชน์เมื่อการเชื่อมต่อไปยัง proxy เองต้องเข้ารหัส

การใช้ SOCKS5 Proxy

SOCKS5 proxies ส่งต่อ traffic โดยไม่แตะต้องข้อมูลคำขอ


curl -x socks5://proxy-ip:port https://example.com
      
        
      

เนื่องจาก SOCKS5 จัดการ traffic ได้หลายประเภท proxy เหล่านี้จึงเป็นตัวเลือกที่ยืดหยุ่นสำหรับวิศวกรที่ทำงานกับ protocol ต่างกัน

การตั้งค่า Proxy ขั้นสูงใน cURL

การใช้ตัวแปรสภาพแวดล้อม

cURL สามารถรับการตั้งค่า proxy จากตัวแปรสภาพแวดล้อมระดับระบบได้โดยอัตโนมัติ ซึ่งสะดวกเมื่อคุณต้องการให้ทุกคำขอจาก terminal session หรือแอปพลิเคชันผ่าน proxy เดียวกัน โดยไม่ต้องระบุทุกครั้ง


export HTTP_PROXY=http://proxy-ip:port
export HTTPS_PROXY=http://proxy-ip:port
      
        
        
      

เมื่อตั้งค่าตัวแปรเหล่านั้นแล้ว cURL จะนำไปใช้กับคำขอขาออกเองตาม protocol ที่คุณใช้

การใช้ไฟล์ .curlrc

ไฟล์ .curlrc เป็นไฟล์ configuration สำหรับเก็บการตั้งค่า cURL แบบถาวร เพิ่มการตั้งค่า proxy ลงไปเพียงครั้งเดียว แล้วทุกคำขอจะผ่าน proxy นั้นโดยอัตโนมัติ คุณสามารถแทนที่การตั้งค่านี้จากบรรทัดคำสั่งได้ทุกเมื่อที่ต้องการรูปแบบอื่น


proxy=http://proxy-ip:port
      
        
      

การตั้งค่า Proxy รายคำขอกับแบบ Global

cURL มี 2 วิธีในการกำหนด proxy คือรายคำขอด้วยแฟล็ก หรือแบบ global ด้วยตัวแปรสภาพแวดล้อมหรือไฟล์ config นักพัฒนาส่วนใหญ่มักใช้ทั้งสองวิธีร่วมกัน

การตั้งค่าแบบรายคำขอใช้แฟล็ก -x บนบรรทัดคำสั่ง เป็นแนวทางที่ตอบสนองที่สุด เพราะคุณควบคุมได้อย่างชัดเจนว่าคำขอใดผ่าน proxy ใด เหมาะเมื่อคุณกำลัง debug เปรียบเทียบการตอบกลับข้ามภูมิภาค หรือเรียกคำสั่งเฉพาะกิจที่แต่ละครั้งอาจต้องตั้งค่าแยกกัน ตัวอย่างมีดังนี้:


curl -x http://proxy.example.com:8080 https://api.example.com
      
        
      

การตั้งค่าแบบ global ย้าย proxy ออกจากบรรทัดคำสั่งไปไว้ใน environment ของคุณ ผ่านตัวแปรอย่าง HTTP_PROXY และ HTTPS_PROXY หรือไฟล์ .curlrc เมื่อกำหนดค่าแล้ว cURL จะกำหนดเส้นทางทุกคำขอขาออกผ่าน proxy เดิมจนกว่าคุณจะเปลี่ยน เหมาะสำหรับ scripts ยาว ๆ, CI/CD pipelines, scheduled jobs หรือทุกกรณีที่ใส่ -x ในทุกบรรทัดจะเป็นเพียงการทำซ้ำ ให้ตั้งค่าด้วยคำสั่งนี้:


export HTTPS_PROXY=http://proxy.example.com:8080 
curl https://api.example.com
      
        
        
      

การไม่ใช้ Proxy สำหรับคำขอบางรายการ

global proxy สะดวก แต่ไม่ได้เป็นสิ่งที่ต้องการเสมอไป API ภายใน บริการ localhost และ cloud metadata endpoints มักต้องข้าม proxy ไปเลย การให้สิ่งเหล่านี้ผ่าน proxy อย่างดีที่สุดอาจทำให้คำขอช้าลง หรืออย่างแย่ที่สุดอาจบล็อกการเชื่อมต่อโดยสิ้นเชิง

cURL มี 3 วิธีให้จัดการเรื่องนี้:

1. –noproxy “*” หมายถึงข้าม proxy สำหรับคำขอนี้ ไม่ว่าปลายทางจะเป็นที่ใด


curl --noproxy "*" https://localhost:8000
      
        
      

2. –noproxy “host1,host2” หมายถึงข้ามเฉพาะ hosts ที่คุณระบุ


curl --noproxy "localhost,*.internal" https://api.internal/status
      
        
      

3. ตัวแปรสภาพแวดล้อม NO_PROXY ใช้ตั้งรายการ hosts ถาวรที่ข้าม proxy เสมอ แม้จะตั้งค่า global proxy ไว้


export NO_PROXY="localhost,127.0.0.1,*.internal,metadata.google.internal" 
      
        
      

หลังตั้งค่า NO_PROXY แล้ว cURL จะกำหนดเส้นทางสิ่งที่ตรงกับรายการโดยตรง ส่วนทุกอย่างอื่นยังคงผ่าน proxy

การใช้ cURL กับ Rotating Proxies

IP เดียวไม่เพียงพอหากต้องการส่งคำขอหลายร้อยรายการ แม้ residential proxies ก็อาจถูกจำกัดอัตรา หากทุกคำขอมาจาก address เดิม ทางแก้คือ rotation คือการกระจายคำขอทั้งหมดไปยัง IPs จำนวนมาก เพื่อไม่ให้ IP ใดดึงดูดความสนใจเกินจำเป็น ผู้ให้บริการอาจทำให้คุณได้ หรือคุณจะหมุนเวียน proxy ด้วยตนเองก็ได้

1. Gateway rotation

ผู้ให้บริการ proxy หลายรายมี endpoint เดียวที่หมุนเวียน IPs อย่างเป็นระบบ โดยทั่วไปผู้ใช้เชื่อมต่อกับ address เดียว จากนั้นคำขอจะผ่าน IP ที่ต่างกันจาก pool ของผู้ให้บริการ


curl -x http://gw.dataimpulse.com:823 \
     -U "username:password" \
     https://httpbin.org/ip

      
        
        
        
      

2. Manual rotation

บางครั้งผู้ใช้มีรายการ proxies ของตนเอง จึงหมุนเวียนด้วยตนเองภายใน script นี่คือตัวอย่างใน Python:


import random
import subprocess

proxies = [
    "http://user:[email protected]:8080",
    "http://user:[email protected]:8080",
    "http://user:[email protected]:8080",
]

with open("urls.txt") as f:
    for url in f:
        proxy = random.choice(proxies)
        subprocess.run(["curl", "-x", proxy, url.strip()])

      
        
        
        
        
        
        
        
        
        
        
        
        
        
      

เหตุใด Rotation จึงสำคัญ

การจำกัดอัตรา CAPTCHA การบล็อก IP การแบนถาวร ข้อผิดพลาด และปัญหาอื่น ๆ อีกมากอาจเกิดขึ้นหากใช้ IP เดียวบ่อยเกินไป การกระจายคำขอไปยัง IPs หลายตัวทำให้ไม่มี address ใดดูน่าสงสัยสำหรับเป้าหมาย มันดูเหมือน traffic ปกติจากผู้เยี่ยมชมจำนวนมาก นี่คือเหตุผลทั้งหมดของการใช้ proxy rotation เพื่อไม่ให้ดูเหมือน client อัตโนมัติ

ตัวอย่าง Endpoint ของ Rotating Proxy

นี่คือตัวอย่างพื้นฐานของ rotating proxy กับ cURL หลังเรียกใช้คำสั่งนี้ติดต่อกัน 3 ครั้ง คุณจะได้ผลลัพธ์ 3 แบบที่ต่างกัน


curl -x http://gw.dataimpulse.com:823 \
     -U "username:password" \
     https://httpbin.org/ip

      
        
        
        
      

httpbin.org/ip เป็น endpoint ที่มีประโยชน์สำหรับตรวจสอบ เพราะส่งคืน source IP ที่เซิร์ฟเวอร์ตรวจพบ

Sticky เทียบกับ Rotating เซสชัน

ในโหมด rotating ทุกคำขอเป็นอิสระต่อกัน โดยจะผ่าน IP ที่ต่างกันจาก pool ของผู้ให้บริการ นี่เป็นตัวเลือกที่เหมาะหากคุณทำ web scraping และต้องเก็บข้อมูลราคาและสินค้าเป็นจำนวนมาก หาก address เดิมถูกตรวจจับอยู่เรื่อย ๆ การหมุนเวียนไปใช้ address ใหม่จะช่วยให้คำขอของคุณปลอดภัย

 

ในโหมด sticky จะคง IP address เดิมไว้เป็นระยะเวลาหนึ่ง โดยปกติคือ 5 ถึง 60 นาที เหมาะเมื่อทำงานกับการเข้าสู่ระบบหรือการยืนยันตัวตน และต้องการให้ IP คงที่เพื่อให้มีพฤติกรรมเหมือนผู้ใช้จริง

ประเภท Proxy ที่ดีที่สุดสำหรับ cURL

cURL ทำงานเหมือนกันไม่ว่าจะชี้ไปยัง proxy ประเภทใด กระบวนการคือตั้งค่าแฟล็ก -x ส่งข้อมูลรับรอง แล้วส่งคำขอ สิ่งที่เปลี่ยนคือวิธีที่เซิร์ฟเวอร์เป้าหมายมอง traffic ของคุณ ซึ่งเกือบทั้งหมดขึ้นอยู่กับประเภท IP ที่อยู่เบื้องหลัง proxy

I am raw html block.
Click edit button to change this html

ข้อผิดพลาดที่พบบ่อยและวิธีแก้ไข

1. การเชื่อมต่อ Proxy ถูกปฏิเสธ

เมื่อ cURL เปิดการเชื่อมต่อ TCP ไปยัง proxy ไม่ได้ คุณอาจได้รับข้อความว่าการเชื่อมต่อถูกปฏิเสธ ซึ่งหมายความว่า proxy เข้าถึงไม่ได้หรือถูกบล็อก ขั้นตอนที่เป็นประโยชน์คือ ตรวจสอบ firewall และการตั้งค่า proxy รวมถึง host และ port ทดสอบ proxy ด้วยคำสั่งนี้:


curl -v -x http://proxy.example.com:8080 https://httpbin.org/ip

      
        
      

2. การยืนยันตัวตนล้มเหลว

โดยทั่วไปจะแสดงเป็นข้อผิดพลาด 407 และหมายความว่า proxy ปฏิเสธข้อมูลรับรองของคุณ ตรวจสอบ username, password, host และ port อีกครั้ง อย่าฝังข้อมูลรับรองใน URLs และให้ใช้แฟล็ก -U แทน ตัวอย่าง:


curl -x http://proxy.example.com:8080 -U "user:pass" https://httpbin.org/ip

      
        
      

3. ข้อผิดพลาด SSL/Certificate

ข้อผิดพลาดนี้มักเกิดจากที่เก็บ CA certificate ที่ล้าสมัย proxy ที่ดักจับ traffic TLS หรือเว็บไซต์เป้าหมายที่ใช้ certificate ผิด ในกรณีนี้ให้อัปเดต CA bundle ใช้ -k เพื่อการทดสอบเท่านั้น และตรวจสอบว่า proxy เองกำลังถอดรหัส traffic หรือไม่

4. ปัญหา Timeout

ปัญหานี้เกิดได้เพราะเซิร์ฟเวอร์อาจทำงานหนักเกินไป หรือ proxy อาจทำงานช้า คุณแก้ไขได้ด้วยการกำหนด timeouts แบบชัดเจนตามตัวอย่างโค้ดนี้:


curl --connect-timeout 10 --max-time 30 \
       -x http://proxy.example.com:8080 https://target.com

      
        
           
      

เมื่อข้อความข้อผิดพลาดอย่างเดียวไม่พอจะระบุว่าจุดใดล้มเหลว verbose mode คือเครื่องมือที่มีประโยชน์ที่สุดในชุดเครื่องมือ debug ของ cURL โดยจะแสดงลำดับการเชื่อมต่อทั้งหมด เพื่อให้เห็นอย่างชัดเจนว่าขั้นตอนใดสำเร็จและขั้นตอนใดขัดข้อง


curl -v -x http://proxy.example.com:8080 \
     -U "username:password" \
     https://httpbin.org/ip

      
        
           
             
      

แนวทางปฏิบัติที่ดีสำหรับ cURL Proxy

ต่อไปนี้คือนิสัยที่มีประโยชน์บางข้อ

  • หมุนเวียน IPs เป็นค่าเริ่มต้น ใช้ sticky เฉพาะเมื่อจำเป็น
  • ควบคุมอัตราคำขอเพื่อให้ traffic ดูเป็นธรรมชาติ
  • ใช้ proxies ร่วมกับ custom headers
  • ใช้ –compressed เพื่อลดขนาดการถ่ายโอนลง 70-80%
  • หลีกเลี่ยง free proxies

*แฟล็ก –compressed สั่งให้ cURL ส่ง Accept-Encoding: gzip, deflate, br และคลายการบีบอัดข้อมูลที่ส่งกลับมา


curl --compressed \
     -x http://gw.dataimpulse.com:823 \
     -U "user:pass" \
     https://target.com

      
        
           
             
               
      

ตัวอย่าง cURL Proxy สำหรับกรณีใช้งานจริง

มาดู 3 สถานการณ์ทั่วไปของการใช้ cURL ร่วมกับ proxy

1. Scraping เว็บไซต์

การตั้งค่านี้จะทำงานผ่านหน้าหลายพันหน้าและสร้าง output ที่สะอาดพร้อมสำหรับ parse โดยมี rotating residential proxies, custom headers ที่ตรงกับเบราว์เซอร์จริง การบีบอัดเพื่อถ่ายโอนเร็วขึ้น และการหน่วงเวลาสั้น ๆ ระหว่างคำขอ

นี่คือตัวอย่างที่ใช้งานได้บน Linux, macOS และ WSL คุณต้องมีไฟล์ urls.txt ที่มีรายละเอียด domain.com เช่น google.com หรือ example.com

โค้ด:


while IFS= read -r url || [ -n "$url" ]; do
[ -z "$url" ] && continue

full_url="$url"
case "$full_url" in
http://|https://) ;;
*) full_url="https://$full_url" ;;
esac

file="$(printf '%s' "$url" | tr c 'A-Za-z0-9.' '').html"

curl -sS --compressed \
--connect-timeout 10 --max-time 30 \
--retry 3 --retry-delay 2 \
-x http://gw.dataimpulse.com:823 \
-U "cb8311cff693a2dd991b:f82b649bce34b0c7" \
-H "User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36" \
-H "Accept: text/html,application/xhtml+xml" \
-H "Accept-Language: en-US,en;q=0.9" \
"$full_url" -o "$file" \
-w "$url -> HTTP %{http_code}, saved to $file\n" &
done < urls.txt

wait

      
        
           
             
               
                  
           
             
               
                  
           
             
               
                  
           
             
               
                  
           
             
               
                        
           
             
               
      

2. การเข้าถึงเนื้อหาที่จำกัดตามพื้นที่

ในโค้ดนี้ แต่ละคำขอจะไปถึงเว็บไซต์เป้าหมายราวกับมาจากผู้ใช้จริงในประเทศนั้น ไฟล์ output จะบันทึกเวอร์ชันที่ปรับตามพื้นที่ได้เหมือนกับที่ผู้เยี่ยมชมท้องถิ่นเห็น


# Check the Brazilian version
curl -x http://gw.dataimpulse.com:823 \
     -U "username__cr.br:password" \
     -H "User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)" \
     https://client.com/landing -o br.html

# Check the Japanese version
curl -x http://gw.dataimpulse.com:823 \
     -U "username__cr.jp:password" \
     -H "User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)" \
     https://client.com/landing -o jp.html

# Check the German version
curl -x http://gw.dataimpulse.com:823 \
     -U "username__cr.de:password" \
     -H "User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)" \
     https://client.com/landing -o de.html

      
               
                  
           
             
               
                  
           
             
               
                  
           
             
               
                        
           
             
               
      

3. การทดสอบ APIs

จากจุดนี้ ทีมงานสามารถเจาะลึกการกำหนดเส้นทางฐานข้อมูลตามภูมิภาค CDN edge nodes หรือสิ่งอื่นใดที่ต่างกันระหว่างสองตำแหน่งได้


curl -o /dev/null -s \
     -x http://gw.dataimpulse.com:823 \
     -U "username__cr.sg:password" \
     -w "DNS: %{time_namelookup}s | Connect: %{time_connect}s | TLS: %{time_appconnect}s | TTFB: %{time_starttransfer}s | Total: %{time_total}s\n" \
     https://api.client.com/v1/users/me

      
               
                        
           
             
               
      

คำถามที่พบบ่อย

ใช้ curl กับ proxy อย่างไร?

ใช้แฟล็ก -x เพื่อระบุ address และ port ของ DataImpulse proxy หาก proxy ต้องยืนยันตัวตน ให้เพิ่ม -U "username:password" เพื่อส่งข้อมูลรับรอง

การยืนยันตัวตนของ Curl proxy ใช้งานไม่ได้

สาเหตุที่พบบ่อยที่สุดคือข้อมูลรับรองไม่ถูกต้องหรือมีอักขระพิเศษใน password ให้ใช้แฟล็ก -U "user:pass" แทนการฝังข้อมูลรับรองใน URL และทำ URL-encode อักขระ @, : หรือ /

Curl SOCKS5 เทียบกับ HTTP proxy

HTTP proxy จัดการเฉพาะ traffic HTTP และ HTTPS ส่วน SOCKS5 proxy ส่งต่อ traffic TCP ได้ทุกชนิดโดยไม่ตรวจสอบคำขอ ใช้ DataImpulse HTTP proxies สำหรับ web scraping และการเรียก API และใช้ SOCKS5 เมื่อต้องการความยืดหยุ่นของ protocol หรือการกำหนดเส้นทางระดับล่าง

หมุนเวียน proxies ใน curl อย่างไร

เชื่อมต่อกับ endpoint เดียว แล้วผู้ให้บริการจะกำหนด IP ที่ต่างกันให้ในแต่ละคำขอโดยอัตโนมัติ สำหรับการหมุนเวียนด้วยตนเอง ให้เก็บรายการ proxies ไว้ใน script และเลือกแบบสุ่มหนึ่งรายการในแต่ละคำขอ

สรุป

cURL ร่วมกับ proxy เป็นชุดเครื่องมือที่จำเป็นสำหรับนักพัฒนาหรือผู้ที่ต้องการกระบวนการเก็บข้อมูลที่ปลอดภัยและแม่นยำ เครื่องมือบรรทัดคำสั่งเพียงตัวเดียวกับแฟล็กเพียงหนึ่งตัว ก็ทำให้คุณทำ scraping ในระดับใหญ่ ทำการทดสอบข้ามภูมิภาคแบบอัตโนมัติ และเรียก API จากที่ใดก็ได้ทั่วโลกได้ เป็นเครื่องมือขนาดกะทัดรัด เขียน script ได้ และทำงานแบบเดียวกันบนทุกระบบที่คุณจะ deploy

การตั้งค่ามีบทบาทสำคัญมาก เลือกประเภท proxy ที่เหมาะกับเป้าหมาย ไม่ว่าจะเป็น residential, datacenter หรือ mobile หมุนเวียน IPs ด้วยจังหวะที่เหมาะสม การส่ง HTTP headers ด้วย cURL ให้ดูเหมือนเบราว์เซอร์จริง ไม่ใช่ script วาง retries, timeouts และ rate limits ไว้ก่อนถึงเวลาต้องใช้ เมื่อทำขั้นตอนเหล่านี้แล้ว cURL จะกลายเป็นแกนหลักที่เชื่อถือได้ของ data workflows ใน production ของคุณ

Share article: