教程前言：
当新站点或网站的收录出现问题时，可能需要搜索引擎蜘蛛的持续爬行环境。当一篇文章没有被网站收录时，第一时间是看网站蜘蛛的抓取日志，但是通过访问服务器看蜘蛛的日志有点麻烦。我们可以用代码给 WordPress 网站添加记录蜘蛛抓取日志的功能！
1.WordPress 在主题functions.php文件中复制了下面的代码：
// 记录蜘蛛访问记录
function get_naps_bot(){
$useragent = strtolower($_SERVER['HTTP_USER_AGENT']);
if (strpos($useragent, 'googlebot') !== false){
return 'Googlebot';
}
if (strpos($useragent, 'msnbot') !== false){
return 'MSNbot';
}
if (strpos($useragent, 'slurp') !== false){
return 'Yahoobot';
}
if (strpos($useragent, 'baiduspider') !== false){
return 'Baiduspider';
}
if (strpos($useragent, 'sohu-search') !== false){
return 'Sohubot';
}
if (strpos($useragent, 'lycos') !== false){
return 'Lycos';
}
if (strpos($useragent, 'robozilla') !== false){
return 'Robozilla';
}
return false;
}
function nowtime(){
date_default_timezone_set('Asia/Shanghai');
$date=date("Y-m-d.G:i:s");
return $date;
}
$searchbot = get_naps_bot();
if ($searchbot) {
$tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']);
$url=$_SERVER['HTTP_REFERER'];
$file="robotslogs.txt";
$time=nowtime();
$data=fopen($file,"a");
$PR="$_SERVER[REQUEST_URI]";
fwrite($data,"Time:$time robot:$searchbot URL:$tlc_thispage\n page:$PR\r\n");
fclose($data);
}
创建 robotslogs.txt 文件在网站根目录下创建 robotslogs.txt 文件可写权限，最好是：777 或 755 权限!
在完成上面的步骤之后，查看蜘蛛日志
教程截图
教程结语：
访问域名+robotslogs.txt 即可!https://域名/robotslogs.txt，例:https://www.huizhanii.com/robotslogs.txt
转载请注明：汇站网 » WordPress 纯代码实现搜索引擎蜘蛛爬行记录
