작년 12월 29일 트래픽 초과로 월덴 3가 다운되는 일이 있어 1차로 검색봇의 97%를 차지하는 야후봇을 막았습니다. 이후 방문자수(Hits)가 6,000에서 400대로 떨어지면서 안정을 유지하는 것 같더니 1월 5일 다시 다운이 되더군요. 그래서 결국 모든 검색봇을 막았습니다(
'검색봇을 차단합니다')
이제는 괜찮을 줄 알았는데 오늘 새벽에 다시 트래픽 초과로 차단이 되더군요. ㅠ.ㅠ
대체 무슨 일인가 싶어 '전송량 상세 통계'를 하나하나 꼼꼼히 살펴보았습니다. 그런데...
보시는 것처럼 '일별 통계'의 5일과 6일의 메인 방문자 수(Visits)는 각각 56명과 331명으로 1:6 비율 정도 됩니다. 그런데 총 조회수(Hits)의 차이를 보시면 567, 32,804로 무려 1:60이나 됩니다. 게다가 총 전송량(Kbyte)은 165, 1,541,341로 9,000배 이상 증가하였네요. 그러니까 검색봇이 차단된 상태에서 몇 개 되지 않는 IP에서 들락날락하면서 자료를 엄청 긁어갔다는 말이 됩니다.
대체 어떤 IP일까 살펴봤습니다.
접속IP별 전송량을 보니 1위부터 10위까지 몽땅 211.115.109로 시작하는 IP가 차지하고 있군요. 메인방문자의 수는 고작 4~6 밖에 안되는데 조회수와 전송량은 엄청나네요. 대체 여기가 어디인가 싶어 211.115.109로 시작하는 IP의 주소를 ipwhois.nic.or.kr에서 찾아봤더니,
'다음(Daum)'이네요. -_-++++
뭡니까 이거~ 티스토리 블로그 서비스를 오픈한 것은 축하하는데 뭐 땜시 들락날락하면서 변방의 블로그를 다운시키는 겁니까?
다음 나빠요~
그래서 211.115.109.로 시작하는 IP를 몽땅 막았습니다. 이제 211.115.109.로 시작하는 IP에서는 접속이 되지 않습니다. 그러니 211.115.109로 접속하는 개인 사용자가 계시면 알려주시기 바랍니다.
이 글의 트랙백 주소 :: http://walden3.kr/trackback/732
12월 29일 오전 11시 50분부터 2시간 가량 트래픽 초과로 인해 월덴 3가 다운되었습니다. 현재 트래픽 리셋(제가 계정을 사용하고 있는 cafe24의 경우 트래픽 리셋을 통해 즉각 복구하는 비용이 2,370원입니다)을 통해 복구된 상태입니다만 지금처럼 모든 검색봇의 접근을 허용하게 되면 트래픽 초과로 인해 언제 다시 다운될지 모르는 상황입니다. 실제로 계정 업그레이드를 하기 전에는 트래픽 초과로 자주 다운되었지요.
그렇다고 계정을 계속 업그레이드하는 것도 경제적으로 부담이될 수 밖에 없습니다. 저는 현재 하드용량 1G, 트래픽용량 1.5G인 계정을 사용중인데 결코 적다고 생각하지 않거든요.
고민끝에 더 이상 검색봇의 접근을 무한 허용해서는 안된다는 결론을 내렸습니다.
그래서 오늘 오후 3시부터 일단 야후봇을 차단하도록 하겠습니다. 야후봇만 차단한 이유는 tracewatch를 통해 분석을 해보니 야후봇이 전체 검색봇의 97%를 차지하기 때문입니다. 1월 5일 오전에 또 다시 트래픽 초과로 접속 차단이 되었기에 1월 6일자로 모든 검색봇을 차단합니다.
카운터가 격감할 것으로 예상되지만 검색 엔진을 통해서 들어올 잠재적인 손님보다는 평소 관심을 가지고 찾아주시는 이웃을 먼저 배려해야한다고 생각하기 때문에
필요하다면 다른 검색봇도 차단할 예정입니다.모든 검색봇을 차단했습니다.
이 글의 트랙백 주소 :: http://walden3.kr/trackback/728
최근에 갑자기 방문객의 수가 폭주하여 어제는 급기야 1300을 넘었습니다. 월덴 3가 이글루스에서 테터툴즈로 이사한 지 겨우 40일 정도 되었는데 하루 1000명 이상의 방문은 아무래도 미심쩍은 구석이 많지요.
그래서 Tracewatch라는 웹 사이트 통계 프로그램을 설치하였습니다.
그리고 며칠 동안 살펴보니 역시 검색 로봇이 엄청나게 들락날락 거리고 있더군요. 특히, Yahoo의 검색 로봇이 쥐가 콩 방 드나들듯이 뻔질나게 드나들었습니다.
예상한 것처럼 방문의 상당수가 검색 로봇에 의한 것으로 밝혀졌지만, 많은 블로거가 하는 대로 별도의 플러그인을 사용하거나 robot.txt를 작성하는 등의 방법으로 검색 로봇을 막지는 않을 생각입니다.
검색 로봇이 월덴 3의 정보를 자신들의 소속 검색 엔진으로 퍼가는 만큼 월덴 3가 검색 엔진의 상단에 노출될 가능성이 커지는 것이고 월덴 3가 심리학 지식의 공유와 전파를 목적으로 하는 블로그인 만큼 많은 분이 그 정보를 타고 월덴 3에 들르실 수 있다면 굳이 막을 필요가 없다는 게 월덴지기의 생각입니다.
RSS로 구독을 하든, 검색 엔진으로 검색을 하든 간에 월덴 3의 모든 정보는 부분 공개로 되어 있기 때문에 결국은 직접 방문을 해야 하고, 월덴 3에 있는 포스트들이 악플러에게 매력적인 소재가 되는 것 같지는 않습니다. 하루 1000건 이상의 방문자가 드나들어도 이상한 댓글이나 스팸 트랙백이 하나도 걸리지 않고 있거든요.
그래서 특별한 문제가 발생하지 않는 이상, 검색봇을 막지는 않을 예정입니다.
- 온라인 문법/맞춤법 점검 -
이 글의 트랙백 주소 :: http://walden3.kr/trackback/512