php记录搜索引擎爬行记录的实现代码

下面是完整代码：

//记录搜索引擎爬行记录 $searchbot = get_naps_bot();
if ($searchbot)
{ $tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']);
$url = $_SERVER['HTTP_REFERER'];
$file = WEB_PATH.'robotslogs.txt';
$date = date('Y-m-d H:i:s');
$data = fopen($file,'a');
fwrite($data,"Time:$date robot:$searchbot URL:$tlc_thispage/r/n");
fclose($data);
}

WEB_PATH为index.PHP下define的根目录路径，意思就是说robotslogs.txt文件是放在根目录下的。

通过get_naps_bot()获取蜘蛛爬行记录，然后在通过addslashes处理一下，将数据存储于变量$tlc_thispage中。

fopen打开robotslogs.txt文件，将数据通过函数fwrite写入，在通过函数fclose关闭就可以了。

因为我觉得没必要，所以把自己网站上的代码删除了，所以也没有效果示例了。

PS：php获取各搜索蜘蛛爬行记录的代码

支持如下的搜索引擎：Baidu,Google,Bing,Yahoo,Soso,Sogou,Yodao爬行网站的记录!

代码：

<?php
/**
* 获取搜索引擎爬行记录
* edit by www.jb51.net
*/
function get_naps_bot()
{
$useragent = strtolower($_SERVER['HTTP_USER_AGENT']);
if (strpos($useragent, 'googlebot') !== false){
return 'Google';
}
if (strpos($useragent, 'baiduspider') !== false){
return 'Baidu';
}
if (strpos($useragent, 'msnbot') !== false){
return 'Bing';
}
if (strpos($useragent, 'slurp') !== false){
return 'Yahoo';
}
if (strpos($useragent, 'sosospider') !== false){
return 'Soso';
}
if (strpos($useragent, 'sogou spider') !== false){
return 'Sogou';
}
if (strpos($useragent, 'yodaobot') !== false){
return 'Yodao';
}
return false;
}
function nowtime(){
$date=date("Y-m-d.G:i:s");
return $date;
}
$searchbot = get_naps_bot();
if ($searchbot) {
$tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']);
$url=$_SERVER['HTTP_REFERER'];
$file="www.jb51.net.txt";
$time=nowtime();
$data=fopen($file,"a");
fwrite($data,"Time:$time robot:$searchbot URL:$tlc_thispage\n");
fclose($data);
}
?>

总结

以上所述是小编给大家介绍的php记录搜索引擎爬行记录，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对我们网站的支持！

您可能感兴趣的文章:

  • PHP记录搜索引擎蜘蛛访问网站足迹的方法
  • 使用php显示搜索引擎来的关键词
  • PHP屏蔽蜘蛛访问代码及常用搜索引擎的HTTP_USER_AGENT
  • PHP获取搜索引擎关键字来源的函数(支持百度和谷歌等搜索引擎)
  • php 判断访客是否为搜索引擎蜘蛛的函数代码
  • php中获取关键词及所属来源搜索引擎名称的代码
  • php网站来路获取代码（针对搜索引擎）
  • 用PHP查询搜索引擎排名位置的代码
赞 (0)

相关推荐

  • PHP获取搜索引擎关键字来源的函数(支持百度和谷歌等搜索引擎)

    最近遇到一个项目,客户需要一个功能,一个商品销售下单需要知道用户下单是从哪个途径来的,认为客服软件(53客服)和站长统计只能满足工作时间,及晚上下班和周六日休息,客服不在线,用户下单会不知道该订单的具体来源,所以嘛,又只能通过网站功能来增加一字段,获取来源关键字,如何获取来源关键字,代码发在下面,里面包含(百度.谷歌.雅虎.搜狗.搜搜.必应.有道)几大搜索引擎的获取方法,代码中均注明,希望对你有帮助,分享一下 代码如下: 复制代码 代码如下: <?php //获取来自搜索引擎入站时的关键词 fu

  • php 判断访客是否为搜索引擎蜘蛛的函数代码

    复制代码 代码如下: /** * 判断是否为搜索引擎蜘蛛 * * @author Eddy * @return bool */ function isCrawler() { $agent= strtolower($_SERVER['HTTP_USER_AGENT']); if (!empty($agent)) { $spiderSite= array( "TencentTraveler", "Baiduspider+", "BaiduGame",

  • PHP屏蔽蜘蛛访问代码及常用搜索引擎的HTTP_USER_AGENT

    PHP屏蔽蜘蛛访问代码及常用搜索引擎的HTTP_USER_AGENT

    PHP屏蔽蜘蛛访问代码代码: 常用搜索引擎名与 HTTP_USER_AGENT对应值 百度baiduspider 谷歌googlebot 搜狗sogou 腾讯SOSOsosospider 雅虎slurp 有道youdaobot Bingbingbot MSNmsnbot Alexais_archiver function is_crawler() { $userAgent = strtolower($_SERVER['HTTP_USER_AGENT']); $spiders = array( '

  • php网站来路获取代码（针对搜索引擎）

    复制代码 代码如下: function get_referer(){ $se = 0; $url = $_SERVER["HTTP_REFERER"]; //获取完整的来路URL $str = str_replace("http://","",$url); //去掉http:// $strdomain = explode("/",$str); // 以"/"分开成数组 $domain = $strdomai

  • 用PHP查询搜索引擎排名位置的代码

    复制代码 代码如下: <?php /* 查询谷歌"深圳摄影工作室",岚视界LANSJ的排名位置; 2009-10-11 lost63.com原创 在前30页中搜索 */ $page=30; //页面数 $domain="lansj.com"; //域名 //$domain="lost63.com"; for($n=0;$n<=$page;$n++){ $url='http://www.google.cn/search?hl=zh-CN

  • PHP记录搜索引擎蜘蛛访问网站足迹的方法

    本文实例讲述了PHP记录搜索引擎蜘蛛访问网站足迹的方法.分享给大家供大家参考.具体分析如下: 搜索引擎的蜘蛛访问网站是通过远程抓取页面来进行的,我们不能使用JS代码来取得蜘蛛的Agent信息,但是我们可以通过image标签,这样我们就可以得到蜘蛛的agent资料了,通过对agent资料的分析,就可以确定蜘蛛的种类.性别等因素,我们在通过数据库或者文本来记录就可以进行统计了. 数据库结构: 以下为引用的内容: # # 表的结构 `naps_stats_bot` # CREATE TABLE `na

  • 使用php显示搜索引擎来的关键词

    以下是相关实现代码: 复制代码 代码如下: <?php/*Plugin Name: display-search-keywordsPlugin URI: http://www.imyxiao.com/1531.htmlDescription: 当访客通过搜索引擎来到你的博客,这个插件可以显示访客搜索的关键词Version: 1.0Author:<a href="http://www.imyxiao.com/">仰肖</a>*/function unesca

  • php中获取关键词及所属来源搜索引擎名称的代码

    复制代码 代码如下: <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01//EN" "http://www.w3.org/TR/html4/strict.dtd"> <html> <head> <meta http-equiv="Content-Type" content="text/html; charset=gb2312" /> <

  • php记录搜索引擎爬行记录的实现代码

    下面是完整代码: //记录搜索引擎爬行记录 $searchbot = get_naps_bot(); if ($searchbot) { $tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']); $url = $_SERVER['HTTP_REFERER']; $file = WEB_PATH.'robotslogs.txt'; $date = date('Y-m-d H:i:s'); $data = fopen($file,'a'); f

  • PHP写的获取各搜索蜘蛛爬行记录代码

    那么下面分享一款用php写的获取各搜索蜘蛛爬行记录代码 支持搜索引擎如下 可以记录Baidu,Google,Bing,Yahoo,Soso,Sogou,Yodao爬行网站的记录! php代码如下 复制代码 代码如下: <?php function get_naps_bot() { $useragent = strtolower($_SERVER['HTTP_USER_AGENT']); if (strpos($useragent, 'googlebot') !== false){ return

  • php IIS日志分析搜索引擎爬虫记录程序第1/2页

    使用注意: 修改iis.php文件中iis日志的绝对路径 例如:$folder="c:/windows/system32/logfiles/站点日志目录/"; //后面记得一定要带斜杠(/). ( 用虚拟空间的不懂查看你的站点绝对路径?上传个探针查看! 直接查看法:http://站点域名/iis.php 本地查看法:把日志下载到本地 http://127.0.0.1/iis.php ) 注意: //站点日志目录,注意该目录必须要有站点用户读取权限! //如果把日志下载到本地请修改143

  • jQuery EasyUI datagrid在翻页以后仍能记录被选中行的实现代码

    jQuery EasyUI datagrid在翻页以后仍能记录被选中行的实现代码

    1.先给出问题解决后的代码 <%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%> <%@ taglib prefix="c" uri="http://java.sun.com/jstl/core_rt"%> <% String path = request.getContextPath(); S

  • 使用ASP记录在线用户的数量的代码

    网络的访问量是每一个做网站的网友们都非常关心的问题.如何得知有多少个人正在访问你的网站呢?如何将每天的访问量记录下来? 下面就是一个解决方案.  当有用户开始访问网站时,服务器端的Global.asa将会被访问.将会给用户开启一个Session.可以给每一个用户设置自己的个人用户信息.这里就不多进行解释了.在Global.asa中有当Application启动和Session启动时的消息响应函数.可以敲入如下的代码. 复制代码 代码如下: < SCRIPT LANGUAGE="VBScri

  • PHP Cookei记录用户历史浏览信息的代码

    [基础] Cookie常用方法: $_COOKIE['RecordLuHuiDUDU'] 得到Cookie setcookie('RecordLuHuiDUDU',",time()-3600*24*30); setcookie(字段名,数据,过期时间); 设置Cookie [注意] 重新设置Cookie需要使之前的Cookie失效,删除Cookie也是同样的方法: setcookie('RecordLuHuiDUDU',",time()-3600*24*30); [代码示例] /**

  • javascript 多种搜索引擎集成的页面实现代码

    javascript 多种搜索引擎集成的页面实现代码

    - 输入一个关键词,鼠标点击后面的搜索引擎链接,即可进入到该引擎的页面 - 如果输入关键词后敲回车,则使用默认搜索引擎,而每选择新的搜索引擎,默认引擎也会随之改变 - 自动记忆上次使用的搜索引擎,后面添加* 源代码如下,使用了多种IE/FF的适应办法: 复制代码 代码如下: <html> <head> <meta http-equiv="Content-Type" content="text/html; charset=gb2312"&

  • sqlserver下将数据库记录的列记录转换成行记录的方法

    假设有张学生成绩表(tb)如下: Name Subject Result 张三 语文 74 张三 数学 83 张三 物理 93 李四 语文 74 李四 数学 84 李四 物理 94 想变成 姓名 语文 数学 物理 ---------- ----------- ----------- ----------- 李四 74 84 94 张三 74 83 93 SQL 语句如下: 复制代码 代码如下: create table tb ( Name varchar(10) , Subject varcha

  • SQL重复记录查询的几种方法

    1.查找表中多余的重复记录,重复记录是根据单个字段(peopleId)来判断 复制代码 代码如下: select * from peoplewhere peopleId in (select   peopleId from   people group by   peopleId having count (peopleId) > 1) 2.删除表中多余的重复记录,重复记录是根据单个字段(peopleId)来判断,只留有rowid最小的记录 复制代码 代码如下: delete from peop

随机推荐