mj12bot是什么? 半个小时爬取800多,禁止蜘蛛MJ12bot抓取网站信息

  • 时间:
  • 浏览:1978
  • 来源:无双科技

打开网站突然看到新增蜘蛛爬虫900多,事出异常必有妖,查看分类,发现出现大量不知名爬虫

MJ12bot蜘蛛爬虫

具体爬虫userAgent:mozilla/5.0 (compatible; mj12bot/v1.4.8; http://mj12bot.com/) IP地址:50.110.90.139

查阅资料显示 MJ12bot是英国的一家老牌的搜索引擎营销网站Majestic的爬虫MJ12bot是Majestic-12分布式搜索引擎的爬虫),他有专门的中文站,对外链查询等很多SEO数据查询提供数据支撑,做过外链的都知道,获取外链资源是一项基本能力,这个网站可以查询网站的外链资源数,不过很多公司看到日志里有这个MJ12bot蜘蛛,中文是选择直接屏蔽掉,爬行相当耗费资源,且对国内用户不提供服务。

如果你不想此蜘蛛访问可以直接在robots.txt添加规则,限制mj12bot 爬取网站,禁止这些无用的蜘蛛如MJ12bot等抓取网站信息

User-agent: MJ12bot

Disallow: /

猜你喜欢

thinkphp上线后 /captcha 验证码无法加载显示

thinkphp上线后 /captcha 验证码无法加载显示

ThinkPHP的验证码在本地就OK的显示正常,一上线就不显示也没有报500错,GD库安装正常线上错误显示结果为:找到你的验证码的控制器具体文件路径(下面是我的)vendor/

2021-09-28

怎样把抖音视频链接发到网站上去

怎样把抖音视频链接发到网站上去

抖音现在很火,很多朋友都知道手机能够看抖音视频和上传视频,但是如何把抖音视频加入到网站上来,接下来一起来看看吧:我们在抖音APP里,打开某一条视频,点击右侧下方的分享小图标,然

2021-09-19

公司要求员工注册个体工商户说的是为了发工资可以不要交税,对个人有什么影响?

公司要求员工注册个体工商户说的是为了发工资可以不要交税,对个人有什么影响?

公司要求员工这么做是存在一定的风险的。采用这种纳税筹划方案的原因大都是2018年10月25日国地税业务正式合并后,社保国务院授权税务局征收,都是通过金山平台。由此造成企业主都对

2021-08-26

一两千甚至几百就能买到的小程序水有点深,坑你没商量

一两千甚至几百就能买到的小程序水有点深,坑你没商量

彻底看明白了,一两千甚至几百就能买到的小程序水有点深,坑你没商量,花这么点钱还要求这么多,算是交智商税了。几个月前一个网友找我要做一个商城系统,当时他说的需求也比较简单,我忘了

2021-08-26

百度小程序性能优化的一些分享

百度小程序性能优化的一些分享

几个月前,小程序的上屏时长3.1s~3.5s,白屏率达到1.2%以上,DAU得不到有效增长,用户体验不佳,基于此情况,小程序的性能优化已迫在眉睫参考官方的一些文档和其他同学分享

2021-08-18

百度小程序小程序优化