我们都知道网络上的爬虫非常多，有对网站收录有益的，比如百度蜘蛛（Baiduspider），也有不但不遵守robots规则对服务器造成压力，还不能为网站带来流量的无用爬虫，比如宜
2020-06-05
userAgent垃圾蜘蛛PHP反爬虫
UserAgent中文名为用户代理，简称UA，它是一个特殊字符串头，使得服务器能够识别客户使用的操作系统及版本、CPU类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件
2020-05-28
蜘蛛爬虫userAgent百度蜘蛛360蜘蛛google蜘蛛蜘蛛IP
