1. 首页
  2. 网络技术
  3. 网站建设

WordPress的robots.txt文件修改

robots是网站跟爬虫间的协议,用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限,也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。

一般robots.txt我们都会放在根目录,但WordPress网站无法在根目录找到,打开robots.txt是能访问,其实默认的robots文件放在wp-includes/functions.php里面,我们可以通过修改该文件后实现对robots.txt的修改。然后我们可以通过文本编辑器搜索”Disallow”,找到所在的代码行,如下图红框内所示:

WordPress的robots.txt文件修改

如果我们想要搜索引擎不抓取:https://www.yoliqi.com/go  (本站的外链跳转)。我们可以在代码后面增加:

$output .= “Disallow: $path/go/\n”;

以上就搞定了,然后我们可以打开:https://www.你的网站.com/robots.txt 查看修改后的效果了。

原创文章,作者:yoliqi,如若转载,请注明出处:https://www.yoliqi.com/wangluo/605.html

发表评论

登录后才能评论

评论列表(2条)

联系我们

电话号码

在线咨询:点击这里给我发消息

邮件:kefu@yoliqi.com

工作时间:周一至周五,9:30-18:30,节假日休息

QR code