
robots.txt文件生成器
点击收藏-
全局设置
-
限制目录
-
Sitemap
-
国内搜索引擎
-
国外搜索引擎
1、robots.txt(统一小写)是一种存放于网站根目录下的文本文件,它通常告诉网络搜索引擎蜘蛛,此网站中的哪些内容是可以被收录哪些不可以被收录。
2、robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下
3、如想单独定义搜索引擎蜘蛛访问子目录的行为,那么可以将自定的设置合并到根目录下的robots.txt
4、robots.txt协议并不是一个规范,而只是约定俗成的,所以并不能保证网站的隐私
5、注意robots.txt是用字符串比较来确定是否获取URL,所以目录末尾有与没有斜杠“/”表示的是不同的URL
robots.txt文件内容1、搜索引擎蜘蛛的是否可访问性或者说可爬行性
2、搜索引擎蜘蛛针对目录或者文件的可访问性
3、网站站点地图sitemap路径定义
4、搜索引擎蜘蛛爬行的时间间隔限制
关于robots.txt文件生成器1、通过web界面设置好要配置的数据, 点击生成即可生成robots.txt文件内容
2、创建一个空白的文本文件,命名为:“robots.txt”,然后把上面的内容,复制并粘贴到“robots.txt”中去
3、把“robots.txt”放在你网站的根目录,访问robots.txt,确保他能让搜索蜘蛛访问到
推荐工具
创业点子生成器
AI为您生成新颖的创业点子
合同模版
使用AI生成一份专业的合同模版
述职报告
AI帮您生成一篇好的述职报告
内容续写
对一段文本内容进行续写
高中作文
AI助您提高作文的写作水平,开阔眼界!
24点计算器
在线24点游戏计算器
N次方计算工具
在线N次方计算工具
平方计算工具
在线平方计算工具
重量在线换算
重量单位在线换算工具
二种颜色混合器
将二种颜色进行混合,得到一种新的颜色!
新拟态风格CSS代码生成器
一键生成新拟态CSS风格样式代码示例
在线投骰子
在线投骰子小工具
电信DNS大全
中国各地电信运营商DNS服务器IP列表
铁通DNS大全
中国各地铁通运营商DNS大全
零息国债收益计算器
在线零息国债收益计算器
在线记分板
在线比赛记分板,可加减比赛积分显示
WPS演示常用快捷键大全
WPS常用快捷键的大全工具,让你快速掌握WPS的操作技巧,提高工作效率.
国家语言代码对照表
在线查询各国语言对应的代码
PDF文件多页转单一页
在线将PDF文件中的多个页面合并成单页
PDF文件调整页面尺寸
在线调整PDF文件的尺寸
在线云空调
除没有风啥都好用的云空调
Unicode/ASCII转换
Unicode与ASCII编码在线相互转换工具
Unix时间戳
Unix时间戳在线转换工具
世界时间表
时时查看世界各地当前的时间