簡潔に robots.txtとは検索エンジン最適化を目的として、クローラーのアクセスをコントロールするもの 以下、詳細 TLで以下のような呟きを見かけました。 兵庫県警のサイトはなんでrobots.txtでウェブ魚拓を拒否してんの？ pic.twitter.com/EAO1aFq4N9— はま…