User-agent: * Disallow: /company/map.html # /company/map.html は検索エンジン回避! Disallow: /company/company.html # /company/company.html は検索エンジン回避! Disallow: /law/ # /law/ は検索エンジン回避! User-agent: Slurp # yahoo Crawl-delay: 5 User-Agent: Yetibot # naver Crawl-Delay: 20