mj12bot是什么? 半个小时爬取800多,禁止蜘蛛MJ12bot抓取网站信息

  • 时间:
  • 浏览:4052
  • 来源:无双科技

打开网站突然看到新增蜘蛛爬虫900多,事出异常必有妖,查看分类,发现出现大量不知名爬虫

MJ12bot蜘蛛爬虫

具体爬虫userAgent:mozilla/5.0 (compatible; mj12bot/v1.4.8; http://mj12bot.com/) IP地址:50.110.90.139

查阅资料显示 MJ12bot是英国的一家老牌的搜索引擎营销网站Majestic的爬虫MJ12bot是Majestic-12分布式搜索引擎的爬虫),他有专门的中文站,对外链查询等很多SEO数据查询提供数据支撑,做过外链的都知道,获取外链资源是一项基本能力,这个网站可以查询网站的外链资源数,不过很多公司看到日志里有这个MJ12bot蜘蛛,中文是选择直接屏蔽掉,爬行相当耗费资源,且对国内用户不提供服务。

如果你不想此蜘蛛访问可以直接在robots.txt添加规则,限制mj12bot 爬取网站,禁止这些无用的蜘蛛如MJ12bot等抓取网站信息

User-agent: MJ12bot

Disallow: /

猜你喜欢

宝塔Apache环境设置url路径不区分字母大小写

宝塔Apache环境设置url路径不区分字母大小写

Linux服务器的大小写敏感有时候很不方便,在地址栏里一定要输入准确的URL才能访问,对搜索引擎和用户不是很友好,那么如何解决LINUX服务器URL的大小写问题今天同步碰到一个

2022-10-12

Nginx配置规则错误:unknown log format "main"

Nginx配置规则错误:unknown log format "main"

网站配置由apche换成nginx系统后,重启时出现错误提示Nginx配置规则错误:nginx:[emerg]unknownlogformat"main"in/www/serv

2022-10-12

thinkphp上线后 /captcha 验证码无法加载显示

thinkphp上线后 /captcha 验证码无法加载显示

ThinkPHP的验证码在本地就OK的显示正常,一上线就不显示也没有报500错,GD库安装正常线上错误显示结果为:找到你的验证码的控制器具体文件路径(下面是我的)vendor/

2021-09-28

怎样把抖音视频链接发到网站上去

怎样把抖音视频链接发到网站上去

抖音现在很火,很多朋友都知道手机能够看抖音视频和上传视频,但是如何把抖音视频加入到网站上来,接下来一起来看看吧:我们在抖音APP里,打开某一条视频,点击右侧下方的分享小图标,然

2021-09-19

公司要求员工注册个体工商户说的是为了发工资可以不要交税,对个人有什么影响?

公司要求员工注册个体工商户说的是为了发工资可以不要交税,对个人有什么影响?

公司要求员工这么做是存在一定的风险的。采用这种纳税筹划方案的原因大都是2018年10月25日国地税业务正式合并后,社保国务院授权税务局征收,都是通过金山平台。由此造成企业主都对

2021-08-26