| [ CnUnix ] in KIDS 글 쓴 이(By): hongcho (홍이) 날 짜 (Date): 2008년 1월 10일 목요일 오전 05시 59분 58초 제 목(Title): Re: [Q] IP를 바꿔서 접속하는 방법 같은 physical interface에 가상 인터페이스를 여러개 두어서 같은 섭넷 내에서 주소를 여러개를 둘 수야 있긴 하겠습니다만... 포털이든 서비스 위주 사이트는 부하에 상당히 민감하기 때문에 (뭐 검색 결과도 신경쓰고) 스파이더에 민감할 겁니다. 제대로 운영하는 사이트면 HTTP request rate 가지고 rate control을 자동적으로 할 수도 있습니다 (제 옛날 회사에서 자동으로 IP를 일시적으로 blocking하는 기능이 있는 web app firewall을 만들었으니까요). 결국 crawling 하는 rate을 늦추시는 것이 어떨런지. 그냥 쉴새없이 긁어대면 거의 DOS로 보이거든요. 속도를 늦춰서 상대방 서버의 부하가 너무 높아지지 않도록 하세요, robot.txt도 읽어서 지켜주구요. 홍 (ab0049/aa0273/EQ0033/EG0142/EE0031/DZ0179/DV0048/DU0183/DT0121/AU25). |