mj12bot是什么？ 半个小时爬取800多，禁止蜘蛛MJ12bot抓取网站信息
- 时间:
- 浏览:4771
- 来源:无双科技
打开网站突然看到新增蜘蛛爬虫900多，事出异常必有妖，查看分类，发现出现大量不知名爬虫
具体爬虫userAgent：mozilla/5.0 (compatible; mj12bot/v1.4.8; http://mj12bot.com/) IP地址：50.110.90.139
查阅资料显示 MJ12bot是英国的一家老牌的搜索引擎营销网站Majestic的爬虫（MJ12bot是Majestic-12分布式搜索引擎的爬虫），他有专门的中文站，对外链查询等很多SEO数据查询提供数据支撑，做过外链的都知道，获取外链资源是一项基本能力，这个网站可以查询网站的外链资源数，不过很多公司看到日志里有这个MJ12bot蜘蛛，中文是选择直接屏蔽掉，爬行相当耗费资源，且对国内用户不提供服务。
如果你不想此蜘蛛访问可以直接在robots.txt添加规则，限制mj12bot 爬取网站，禁止这些无用的蜘蛛如MJ12bot等抓取网站信息
User-agent: MJ12bot
Disallow: /
猜你喜欢
宝塔Apache环境设置url路径不区分字母大小写
Linux服务器的大小写敏感有时候很不方便，在地址栏里一定要输入准确的URL才能访问，对搜索引擎和用户不是很友好，那么如何解决LINUX服务器URL的大小写问题今天同步碰到一个
2022-10-12
Nginx配置规则错误:unknown log format "main"
网站配置由apche换成nginx系统后，重启时出现错误提示Nginx配置规则错误:nginx:[emerg]unknownlogformat"main"in/www/serv
2022-10-12
thinkphp上线后 /captcha 验证码无法加载显示
ThinkPHP的验证码在本地就OK的显示正常，一上线就不显示也没有报500错，GD库安装正常线上错误显示结果为：找到你的验证码的控制器具体文件路径（下面是我的）vendor/
2021-09-28
怎样把抖音视频链接发到网站上去
抖音现在很火，很多朋友都知道手机能够看抖音视频和上传视频，但是如何把抖音视频加入到网站上来，接下来一起来看看吧：我们在抖音APP里，打开某一条视频，点击右侧下方的分享小图标，然
2021-09-19
公司要求员工注册个体工商户说的是为了发工资可以不要交税，对个人有什么影响？
公司要求员工这么做是存在一定的风险的。采用这种纳税筹划方案的原因大都是2018年10月25日国地税业务正式合并后，社保国务院授权税务局征收，都是通过金山平台。由此造成企业主都对
2021-08-26
