robots.txt를 무엇입니까?

robots.txt에있는 당신을 승인하는 웹 로봇이 귀하의 웹 사이트에 액세스를 제한하는 방법으로만 사용할 수있는 텍스트 파일입니다.

이것은 전체 웹 사이트에서 robots.txt 파일을 블록 구글의 Imagebot :

  은 User - Agent : Googlebot이 - 이미지 
  은 Disallow : /

robots.txt에 대한 자세한 정보를위한 로봇 제외 기준에 대한 읽기.

귀하의 robots.txt에의 구문을 확인하십시오

여러 웹 - 기반 도구는 귀하의 웹 사이트에서 robots.txt 파일을 검색하고 문법 오류를 확인하실 수있습니다.

반면 웹 사이트 소유자에게 실질적인 혜택을 거의 또는 전혀 반환 일부 웹 로봇, 대역폭 및 시스템 리소스의 상당한 액수를 사용합니다.

귀하의 편의를 위해, 우리는 나쁜 로봇은 robots.txt 형식으로 그 중 일부의 목록을 유지합니다.

스크랩은 robots.txt 무엇입니까?