robots.txt文件生成器
① robots.txt(统一小写)是一种存放于网站根目录下的文本文件,它通常告诉网络搜索引擎蜘蛛,此网站中的哪些内容是可以被收录哪些不可以被收录。
② robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下
③ 如想单独定义搜索引擎蜘蛛访问子目录的行为,那么可以将自定的设置合并到根目录下的robots.txt
④ robots.txt协议并不是一个规范,而只是约定俗成的,所以并不能保证网站的隐私
⑤ 注意robots.txt是用字符串比较来确定是否获取URL,所以目录末尾有与没有斜杠“/”表示的是不同的URL
robots.txt文件内容① 搜索引擎蜘蛛的是否可访问性或者说可爬行性
② 搜索引擎蜘蛛针对目录或者文件的可访问性
③ 网站站点地图sitemap路径定义
④ 搜索引擎蜘蛛爬行的时间间隔限制
关于robots.txt文件生成器① 通过web界面设置好要配置的数据, 点击生成即可生成robots.txt文件内容
② 创建一个空白的文本文件,命名为:“robots.txt”,然后把上面的内容,复制并粘贴到“robots.txt”中去
③ 把“robots.txt”放在你网站的根目录,访问robots.txt,确保他能让搜索蜘蛛访问到
推荐工具
AES加密解密工具
AES在线加密工具/AES在线解密工具
窗帘用量计算器
快速计算窗帘所需要的面料数据
地板用量计算器
帮助您快速、精准地计算所需的地板数量
狗狗年龄计算器
此工具可以将狗的年龄转换成相当于人类年龄的年龄
颜色匹配度计算器
精准计算颜色间的匹配程度,帮助用户轻松获取美感搭配方案。
中间色计算
两种颜色之间的中间颜色计算工具
颜色选择器
网页在线颜色选择工具
电信DNS大全
中国各地电信运营商DNS服务器IP列表
在线Email邮箱地址加密
将Email地址转换成Unicode编码格式,防止被采集
JSON压缩/格式化
JSON在线压缩/JSON在线解压格式化工具
GUID生成工具
GUID在线生成工具
货币汇率换算工具
各国货币汇率在线换算工具
世界节日查询
提供阳历节日,农历节日,世界节日在线查询
JS代码混淆
在线JavaScript代码混淆工具
js(eval)加密/解密
在线js中eval加密/解密在线处理工具
键盘按键测试
在线键盘按键失灵检测工具
键码对照表
键盘上每个按键的对应码
Magic Bytes参考
Magic Bytes文件头字节
PHP函数参考表
PHP在线函数参考列表
屏幕PPI计算工具
在线屏幕PPI计算工具
XML/JSON相互转换
在线XML转JSON,JSON转XML工具