이 글의 내용
C#을 사용한 웹 스크래핑은 클라이언트 수명 문제를 해결하면 유난히 수월하지만, 그 전에는 유난히 고통스럽습니다. HttpClient와 구성된 HttpClientHandler가 네트워크를 처리하고, AngleSharp는 응답을 CSS 선택자가 있는 실제 DOM으로 바꾸며, Playwright는 클라이언트 측에서 렌더링되는 페이지를 처리합니다.
c#을 사용한 웹 스크래핑을 검색해 이곳에 오셨다면, 요점은 다음과 같습니다. 프록시 구성마다 HttpClient 하나를 만들고 프로세스가 실행되는 동안 유지하십시오. 요청마다 using 블록으로 감싸려는 습관은 작동하던 스크래퍼가 규모가 커지면서 실패하게 만드는 소켓 고갈을 유발하며, .NET 크롤러가 한 시간 후 성능이 저하될 때 가장 먼저 확인해야 할 사항입니다.
핵심 정보
- C# 스택: 가져오기에는 HttpClient와 HttpClientHandler, 파싱에는 AngleSharp 또는 HtmlAgilityPack, 클라이언트 측 렌더링 페이지에는 Playwright for .NET을 사용합니다.
- 프록시 설정은 요청마다 한 줄씩이 아니라 하나의 객체입니다. 클라이언트에서 한 번 구성한 뒤 그 클라이언트를 재사용하십시오. 그렇지 않으면 연결 풀링과 세션 일관성을 잃게 됩니다.
- 여기서 가장 많은 시간을 소모하는 실수: 요청마다 새 HttpClient를 만들면 소켓이 고갈됩니다.
- 로테이션은 요청이 아니라 세션에 속합니다. 하나의 논리적 작업은 하나의 출구를 유지해야 하며, 세션 중간에 로테이팅하면 쿠키가 깨지고 검증이 발생하기 쉽습니다.
- C#을 사용해야 할 때: 데이터 파이프라인이 .NET이고, 강력한 형식과 비동기 파이프라인, 기존 서비스와 함께 쉽게 배포할 수 있는 환경을 원할 때입니다. 프로젝트가 작은 조사 스크립트이고 팀에서 C#을 매일 사용하는 사람이 없다면 피하십시오.
C# 요청을 프록시를 통해 어떻게 라우팅합니까?
클라이언트에서 프록시를 한 번 구성한 다음 세션의 모든 요청에 해당 클라이언트를 재사용하십시오. 다음은 인증을 포함한 최소 작동 형태입니다.
var handler = new HttpClientHandler {
Proxy = new WebProxy("http://gw.dataimpulse.com:823") {
Credentials = new NetworkCredential("USER", "PASS")
},
UseProxy = true
};
var client = new HttpClient(handler) { Timeout = TimeSpan.FromSeconds(30) };
문법보다 중요한 세부 사항은 세 가지입니다. 자격 증명은 대상 사이트가 아니라 게이트웨이에 속합니다. 프록시는 한 홉을 추가하고 멈춘 요청은 워커를 점유하므로 시간 제한은 선택 사항이 아닙니다. 또한 클라이언트는 정체성의 단위입니다. 같은 클라이언트는 같은 연결 풀, 같은 쿠키, 그리고 스티키 세션에서는 같은 출구 주소를 의미합니다.
3부분 핸들러 모델은 어떤 모습입니까?
세 가지 관심사를 분리하면 디버깅은 더 이상 추측이 아닙니다. 이를 3부분 핸들러 모델이라고 부릅니다.
| 부분 | 담당 영역 | C#에서 |
|---|---|---|
| 1. 전송 | 연결, 프록시, 시간 제한, 재시도, TLS | HttpClientHandler를 사용하는 HttpClient |
| 2. 파싱 | 바이트를 필드로 변환하고 마크업이 변경되었을 때 명확히 실패 처리 | AngleSharp 또는 HtmlAgilityPack |
| 3. 스케줄링 | 호스트별 동시성, 속도 조절, 백오프, 중복 제거 | 대상별로 제한된 자체 워커 풀 또는 큐 |
.NET에서는 형식 자체가 이미 역할을 제시하므로 경계를 유지하기 쉽습니다. HttpClient는 전송을, AngleSharp는 문서를, Task 파이프라인은 스케줄링을 담당합니다. 실수는 재시도 로직을 파싱 메서드 안에 넣어 전송 실패를 누락된 필드처럼 숨기는 것입니다.
스크래핑이 중단되면 첫 번째 질문은 어느 부분이 중단되었는가입니다. 200이 아닌 상태는 전송 문제입니다. 필드가 비어 있는 200 응답은 파싱 문제이거나 클라이언트 측에서 렌더링되는 페이지입니다. 몇 분에 걸쳐 성공률이 저하되면 스케줄링 문제입니다. 세 가지를 하나의 함수에 섞어 넣으면 많은 스크래퍼가 수정되지 못하고 다시 작성되는 이유가 됩니다.
AngleSharp는 실제 DOM으로 파싱하고 CSS 선택자를 지원하므로 현대적인 마크업에서는 HtmlAgilityPack보다 더 나은 기본 선택입니다.
C#에서 특히 무엇이 잘못됩니까?
세 가지 문제가 C#에서 잃는 시간의 대부분을 차지하며, 그 어느 것도 대상의 차단 때문은 아닙니다.
요청마다 새 HttpClient를 만들면 소켓이 고갈됩니다. 루프에서 HttpClient를 만들고 폐기하면 소켓이 TIME_WAIT 상태로 남고, 결국 프로세스가 연결을 열 수 없게 됩니다. 프록시 구성마다 장기 실행 클라이언트 하나를 사용하거나 ASP.NET Core에서 IHttpClientFactory를 사용하십시오.
핸들러는 최초 사용 후 변경할 수 없습니다. 이미 요청을 보낸 핸들러의 프록시는 변경할 수 없습니다. 변경하는 대신 출구 구성마다 클라이언트 하나를 만들고 그중에서 선택하십시오.
기본적으로 쿠키는 공유됩니다. 모든 요청에서 하나의 CookieContainer를 사용하면 세션이 섞입니다. 논리적 세션마다 자체 클라이언트를 제공하거나 컨테이너를 비활성화하고 쿠키를 직접 관리하십시오.
이 중 어느 것도 이례적이지 않으며, 외부에서 보면 모두 차단된 스크래퍼처럼 보입니다. 그래서 클라이언트에 있는 문제를 해결하려고 프록시를 구매하는 일이 매우 흔합니다. 스크래핑 시 발생하는 403 Forbidden 오류 가이드에서 격리 단계를 순서대로 안내합니다.
C#에서 동시성에 어떻게 제한을 둡니까?
공유 클라이언트 주변에 SemaphoreSlim을 사용하고 네트워크 호출에 Parallel.ForEach를 사용하지 마십시오.
var gate = new SemaphoreSlim(4);
var tasks = urls.Select(async url => {
await gate.WaitAsync();
try { return await client.GetStringAsync(url); }
finally { gate.Release(); }
});
var pages = await Task.WhenAll(tasks);
Parallel.ForEach는 IO 바운드 작업에서 스레드를 차단하고, 네트워크가 유휴 상태인 동안에도 스레드 풀을 쉽게 포화시킵니다. 세마포어를 사용하는 비동기 방식은 스레드 수를 낮게 유지하고 요청 속도를 의도적으로 제어합니다. 직접 백오프를 구현하는 대신 지터를 포함한 재시도에는 Polly를 추가하십시오.
사용할 만한 .NET 라이브러리는 무엇입니까?
| 라이브러리 | 용도 | 솔직한 참고 사항 |
|---|---|---|
| HttpClient와 HttpClientHandler | 모든 가져오기 | 내장 기능입니다. 출구 구성마다 인스턴스 하나를 재사용합니다. |
| AngleSharp | CSS 선택자를 사용해 실제 DOM으로 파싱 | 현대적인 마크업을 위한 더 나은 기본 선택입니다. |
| HtmlAgilityPack | 정돈되지 않은 HTML에 XPath 사용 | 여전히 괜찮지만 API가 오래되었습니다. XPath 방식으로 생각한다면 선택하십시오. |
| Polly | 재시도, 회로 차단기, 시간 제한 정책 | 크롤러에서 가장 흔히 직접 작성되고 가장 흔히 잘못 작성되는 코드를 없애 줍니다. |
| Playwright for .NET | 클라이언트 측 렌더링 페이지 | 잘 유지 관리되며, 오늘날 .NET에서 사용할 수 있는 유일하게 합리적인 브라우저 선택지입니다. |
크롤러가 ASP.NET Core 내에서 실행된다면 IHttpClientFactory를 통해 클라이언트를 등록하십시오. 그러면 누군가 잊어버리는 정적 필드가 아니라 수명과 DNS 새로 고침이 자동으로 처리됩니다.
언제 C#이 잘못된 도구입니까?
데이터 파이프라인이 .NET이고, 강력한 형식과 비동기 파이프라인, 기존 서비스와 함께 쉽게 배포할 수 있는 환경을 원한다면 C#을 사용하십시오. 프로젝트가 작은 조사 스크립트이고 팀에서 C#을 매일 사용하는 사람이 없다면 피하십시오.
결정 요인은 기능이 아니라 유지 관리입니다. 팀이 매일 사용하는 언어로 작성된 크롤러는 다음 마크업 변경에도 살아남지만, 익숙하지 않은 언어로 영리하게 작성된 크롤러는 첫 장애에서 버려집니다. 솔직한 답이 이 작업에 C#이 맞지 않는다는 것이라면, 동일한 데이터베이스에 기록하는 작은 다른 언어의 크롤러는 정당한 설계이며 실패가 아닙니다.
모든 언어에서 동일한 두 가지는 이 페이지 밖에 두었습니다. 여기서 반복하면 최신 상태로 유지하기만 더 어려워지기 때문입니다. 하나의 스티키 출구를 유지해야 하는 이유를 포함한 세션 및 로테이션 규칙은 프록시 로테이션 모범 사례에 있습니다. 요청이 거부되었을 때의 대처와 네트워크 문제와 클라이언트 문제를 구분하는 방법은 스크래핑 시 발생하는 403 Forbidden에, 법적 관점은 웹 스크래핑은 합법적인가에 있습니다.
출구 자체에 대해서는 공개 페이지에는 로테이팅 레지덴셜 프록시(residential proxy), 여정에는 스티키, API와 공개 데이터에는 데이터센터 프록시를 사용합니다. DataImpulse 레지덴셜은 국가 타기팅을 포함해 195개 국가에서 GB당 $1이며, 비교 내용은 웹 스크래핑을 위한 최고의 프록시에 있습니다.
자주 묻는 질문
C#에서 프록시는 어떻게 설정합니까?
요청마다 설정하는 대신 클라이언트 객체에서 구성하십시오. HttpClient와 HttpClientHandler를 사용하면 프록시 호스트, 포트, 자격 증명을 한 번 설정한 뒤 그 클라이언트를 재사용합니다. 재사용하면 연결 풀, 쿠키 저장소, 출구 주소가 일관되게 유지되어 세션이 일관성 있게 보입니다.
C#에서 파싱에는 어떤 라이브러리를 사용해야 합니까?
AngleSharp 또는 HtmlAgilityPack이 실용적인 기본 선택입니다. 파싱을 가져오기와 분리하십시오. 클라이언트는 네트워크를 담당하고 파서는 마크업을 담당하므로, 실패가 발생하면 둘 중 어느 쪽이 중단되었는지 즉시 알 수 있습니다.
C#에 헤드리스 브라우저가 필요합니까?
필드가 클라이언트 측에서 렌더링될 때만 필요합니다. 먼저 일반적으로 페이지를 가져오고 알려진 값 하나를 HTML에서 검색하십시오. 값이 있다면 브라우저를 완전히 건너뛰십시오. 필요할 때 이 생태계에서의 선택지는 클라이언트 측에서 렌더링되는 페이지를 위한 Playwright for .NET이며, 페이지당 시간과 메모리 비용이 10배 더 듭니다.
요청마다 새 HttpClient를 만들면 소켓이 고갈됩니까?
루프에서 HttpClient를 만들고 폐기하면 소켓이 TIME_WAIT 상태로 남고, 결국 프로세스가 연결을 열 수 없게 됩니다. 프록시 구성마다 장기 실행 클라이언트 하나를 사용하거나 ASP.NET Core에서 IHttpClientFactory를 사용하십시오.
C#은 웹 스크래핑에 좋은 선택입니까?
데이터 파이프라인이 .NET이고, 강력한 형식과 비동기 파이프라인, 기존 서비스와 함께 쉽게 배포할 수 있는 환경을 원한다면 좋은 선택입니다. 프로젝트가 작은 조사 스크립트이고 팀에서 C#을 매일 사용하는 사람이 없다면 잘못된 선택입니다. 결정 요인은 일반적으로 순수한 기능보다 유지 관리입니다. 팀이 매일 사용하는 언어로 작성된 스크래퍼가 다음 마크업 변경에도 살아남습니다.
C# 클라이언트를 신뢰할 수 있는 출구에 연결하십시오
위의 코드 조각은 자격 증명 하나만 바꾸면 작동합니다. DataImpulse 레지덴셜은 국가 타기팅을 포함해 195개 국가에서 GB당 $1의 지리적으로 정확한 출구를 제공하며, HTTP, HTTPS 및 SOCKS5에서 로테이팅 또는 스티키로 사용할 수 있습니다. 계정 만들기를 선택하고 작업 규모를 키우기 전에 C# 클라이언트에서 대상 하나를 테스트하십시오.
관련: 스크래핑 시 발생하는 403 Forbidden · Crawl4AI 프록시 설정 · Go, Kotlin, Scala, Perl 및 Elixir의 프록시 설정.
최종 업데이트: 2026년 9월 17일.
