apache禁止搜索引擎收录、网络爬虫采集的配置方法
作者：junjie 时间：2023-11-02 19:42:05
Apache中禁止网络爬虫，之前设置了很多次的，但总是不起作用，原来是是写错了，不能写到Dirctory中，要写到Location中
<Location />
SetEnvIfNoCase User-Agent "spider" bad_bot
BrowserMatchNoCase bingbot bad_bot
BrowserMatchNoCase Googlebot bad_bot
Order Deny,Allow
#下面是禁止soso的爬虫
Deny from 124.115.4. 124.115.0. 64.69.34.135 216.240.136.125 218.15.197.69 155.69.160.99 58.60.13. 121.14.96. 58.60.14. 58.61.164. 202.108.7.209
Deny from env=bad_bot
</Location>
这是禁止了所有包含spider字符的爬虫。
如果要针对性的禁止爬虫，改成精确匹配的爬虫字符串，如果bingbot、Googlebot等等
标签：apache,禁止,搜索引擎,网络爬虫
0
投稿猜你喜欢
巫妖王不治!《热血2》死地后生
2009-11-13 15:04:00
阿里云服务器ping不通解决办法（云服务器搭建完环境访问不了ip解决办法）
2023-06-14 02:11:45
谷歌将大规模推广Voice 用户可直接发送邀请
2009-10-14 11:49:00
用xshell连接VMware中的Linux的方法步骤(2种)
2021-03-05 17:25:05
国外网络赚钱之支票 美元外汇等基础知识介绍
2009-03-30 14:10:00
帝国、PHPCMS及织梦对比(一)：自定义模型功能分析
2011-08-26 13:01:54
美国主机商ixwebhosting的四大优势
2010-03-26 10:49:00
Win2K服务器端安全设置教程(4)
2008-01-09 10:45:00
Vsftpd在SuSE Linux操作系统上安装配置
2009-12-10 19:08:00
详解Linux指令文件覆盖和文件追加
2023-08-26 02:02:33
禁止Google收录网站图片的方法
2008-02-22 15:26:00
IIS上面安装PHP+MYSQL的经验回忆
2007-12-09 18:24:00
优酷在京发布优酷指数 艾瑞提供数据支持
2009-11-13 11:23:00
完善三个方面让谷歌对网站的索引变得更快
2009-02-18 12:17:00
Apache中配置支持CORS（跨域资源共享）实例
2023-08-22 06:11:03
使用VSCode和SSH进行远程开发
2023-10-13 01:58:03
搜索引擎优化十八定则
2008-12-12 11:56:00
使用百度指数进行博客的搜索引擎优化
2008-12-29 15:17:00
vmware workstation安装windows server 2019(图文教程)
2023-03-20 11:17:12
邮件系统的选型与架构专题（上篇）
2010-03-12 18:31:00
