
robots.txt文件生成器
点击收藏-
全局设置
-
限制目录
-
Sitemap
-
国内搜索引擎
-
国外搜索引擎
1、robots.txt(统一小写)是一种存放于网站根目录下的文本文件,它通常告诉网络搜索引擎蜘蛛,此网站中的哪些内容是可以被收录哪些不可以被收录。
2、robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下
3、如想单独定义搜索引擎蜘蛛访问子目录的行为,那么可以将自定的设置合并到根目录下的robots.txt
4、robots.txt协议并不是一个规范,而只是约定俗成的,所以并不能保证网站的隐私
5、注意robots.txt是用字符串比较来确定是否获取URL,所以目录末尾有与没有斜杠“/”表示的是不同的URL
robots.txt文件内容1、搜索引擎蜘蛛的是否可访问性或者说可爬行性
2、搜索引擎蜘蛛针对目录或者文件的可访问性
3、网站站点地图sitemap路径定义
4、搜索引擎蜘蛛爬行的时间间隔限制
关于robots.txt文件生成器1、通过web界面设置好要配置的数据, 点击生成即可生成robots.txt文件内容
2、创建一个空白的文本文件,命名为:“robots.txt”,然后把上面的内容,复制并粘贴到“robots.txt”中去
3、把“robots.txt”放在你网站的根目录,访问robots.txt,确保他能让搜索蜘蛛访问到
推荐工具
小红书商品推荐文案
AI帮您快速生成小红书商品文案
讲笑话神器
帮您一次性生成多个笑话段子
节日祝福
生成适合生日等指定祝福对象的场景
支付宝到账音效生成器
生成任意金额的支付宝到账音效,可以下载用于通知或者闹钟铃声。
Base64转图片
在线Base64转图片工具
(BFR)体脂率计算
人体体脂率(BFR)在线计算工具
长方体体积计算器
在线计算长方体体积
布氏硬度计算器
在线通过压力,钢球直径以及压痕直径来计算布氏硬度
质因数分解计算器
一键计算合数的质因数分解结果
功率计算器
功率单位在线转换工具
重量在线换算
重量单位在线换算工具
中国传统色彩
中国传统色彩列表
日期英文转换器
在线将数字日期转为美式日期和英式日期的小工具
SVG在线编辑器
一款非常方便的在线SVG编辑器,在线创建SVG
Emoji表情
常用的各种各样的Emoji表情
佛历
佛教专用日历
SQL压缩/格式化
SQL在线压缩/SQL在线解压格式化工具
GIF图片比例缩放
免费在线对GIF图片进行比例缩放
图片翻转
在线图片批量翻转,可垂直翻转,水平翻转
2048数字游戏
在线2048数字游戏
在线邮箱地址提取工具
在线从内容中批量提取邮箱地址
文字隐藏工具
将一段文本隐藏到别段文本中
查看网页源码
在线查看网页源代码
楔形体积计算器
通过已知数据来计算楔形的体积