C# 웹 크롤링 HtmlAgilityPack 특정 한글만 깨지는 경우

 

string url = "크롤링한 url"

HtmlAgilityPack.HtmlDocument doc = new HtmlAgilityPack.HtmlDocument();
HtmlAgilityPack.HtmlWeb web = new HtmlAgilityPack.HtmlWeb();            
doc = web.Load(url); 

 

위와 같이 특정 url을 크롤링 하던중 "굥" 같은 특이한 한글이 ㅁㅁ 처리 되는 문제가 발생했습니다

여러가지 시도를 해보던중 가장 간단한 해결법을 찾아 메모겸 정보 공유를 위해 올립니다

web.OverrideEncoding = Encoding.Default;

한줄 추가해 주면됩니다 

Encoding.UTF-8은 의외로 되지 않더라구요

위와 같이 한줄 추가 하고 해결했습니다