狂涛骇浪-Subconve
信任自己，就有奇迹。
最近一直在研究网站日志，发现了很多陌生的搜索引擎蜘蛛在抓取我的网站。我们知道蜘蛛抓取网站，会浪费服务器的资源。对于那些不必要的蜘蛛，时不时来抓取我们的网站，要不要屏蔽掉呢？
专业的Subcon
Xiuno BBS开源程序交流论坛，致力
生命的全部的意义在于无穷地探索尚未知道的东西。——左拉
信任自己，就有奇迹。
最近一直在研究网站日志，发现了很多陌生的搜索引擎蜘蛛在抓取我的网站。我们知道蜘蛛抓取网站，会浪费服务器的资源。对于那些不必要的蜘蛛，时不时来抓取我们的网站，要不要屏蔽掉呢？