nginx宝塔面板如何屏蔽垃圾蜘蛛禁止抓取不影响火车头发布

最近查看服务器日志，发现一些垃圾蜘蛛，一直爬行很多，比如以下这些垃圾，太烦人了，就想着如何屏蔽这些垃圾蜘蛛，但是又想着不影响火车头的发布。查了一些资料，下面把技巧分享给大家。

本人一直使用的linux系统服务器宝塔面板管理，个人感觉比较方便。网上查找方法，屏蔽这些垃圾。

网上找到的代码如下：目前为止比较好用。

宝塔面板下使用方法如下：

1、找到文件目录/www/server/nginx/conf文件夹下面，新建一个文件

agent_deny.conf

内容就是以上代码。