웹 상의 정보를 수집하기 위한 로봇 에이전트의 개발

◆ 로봇 에이전트의 용도
최초의 웹 로봇은 Matthew Gray의 World Wide Web Wanderer이다. 이것은, 전세계에 설치되어 있는 웹 서버를 발견하고 개수를 헤아림으로써 WWW의 증가율을 측정하기 위해 1993년 6월에 개발되었다.
로봇 에이전트들은 아래 목적들 중에서 하나 또는 복합적인 목적을 가지고 동작한다.
・웹 자원 검색(Web Resource Discovery)
웹 자원 검색은 웹에서 쓸모있는 정보를 찾아내는 문제와 관련이 있다.
・웹 유지 보수(Web Maintenance)
웹에 등록되어 있는 파일의 어느 부분에 잘못이 있으며, 어디서 데드링크(dead link)가 발생되었 는지 알아보는데 사용할 수 있다.
・웹 미러링(Web Mirroring)
미러링은 데이터를 복사하는 일반적인 방법이다.
・복합적인 사용(Combined Uses)
위에서 열거한 여러 가지 일들을 동시에 수행하는 방법이다.
◆ WWW 로봇 에이전트의 설계
로봇 에이전트의 설계 목표는 기본적으로 다음과 같다.
・로봇 제작 가이드라인과 로봇 배제 표준안을 수용하여
・네트워크와 웹…(생략)