阻止无赖级的机器人访问你的页面

编程技术  /  houtizong 发布于 3年前   135

软件开发历史上，有两种BUG，一种发生在执行期，通常是写错了某个符号，另一种是逻辑上的BUG，通常是引入了无限循环。

今天，我大言不惭地为计算机历史定义一种新的BUG类别：～政～策～级～BUG。灾害区域为亚洲某个很大的地区。并且给出了解决方案。希望能拿到明年的图灵奖。

上面两句纯属扯皮，但也不失夸张。下面说正经的:

目前有些个人开发的搜索机器人不遵守robots协议，极度不要脸。

例如，我就遇到了个例子，两个月前我就在robots文件中规定了不允许百度索引我的网站（规则绝对没写错），今天查看了访问日志，我的网站上两个月来每天都有它老人家的脚印，每天还很多。

根据目前的情势，被这无赖引擎索引到数据库，很危险，因为很容易被一些拿老百姓血汗钱的小人利用。他在百度中搜索一些中性词语，例如“中～央～处～理”（去掉～），比如说你的网站是介绍CPU技术的，出现这个词语很正常，但是他正好查询到你的网站中包含了这个词语，那就有得说了，没有人愿意花功夫去和牛弹琴，当然我遇到过的事情是属于另外一些词语的。

把下面的代码加入你的页面头部：

<%
    string useragen = Request.UserAgent.ToString().ToLower();

    //确认不属于三大浏览器和symbian系统
    if (useragen.IndexOf("symbian") == -1 && useragen.IndexOf("msie") == -1 && useragen.IndexOf("opera") == -1 && useragen.IndexOf("mozilla") == -1)
    {
        //不在允许的机器人之列
        if (useragen.IndexOf("google") == -1 && useragen.IndexOf("search.msn.com") == -1 && useragen.IndexOf("yahoo") == -1)
        {
            Response.Write("请通过正规渠道访问本页面");
            Response.End();
            return;
        }
    }   
    
 %>


话说回来，有人会问，那你就不担心那些人在雅虎和谷歌中查询？回到是：不用担心，在那些国际搜索引擎中搜索被认为是“不干净”的词语时，不会有结果的，这就又说到一句：天下最不能做的事情，就是害人又不利己。