如何禁止网络爬虫下载你的网站?

来源:百度文库 编辑:16楼社区 时间:2021/09/21 13:48:43
使用Access Rule可禁止诸如GetRight, FlashGet, WebZip, Teleport等网络爬虫下载你的网站
在ZMI网站根下面创建一个Script(Python)脚本 accessRule:
request = context.REQUEST
user_agent = request.HTTP_USER_AGENT
denied_agents = ‘DA‘, ‘GetRight‘, ‘FlashGet‘, ‘Mass‘, ‘WebZIP‘, ‘Teleport‘, ‘Webdup‘, \
‘Spider‘, ‘LinkWalker‘, ‘TurnitinBot‘, ‘Slurp‘, ‘InetURL‘,
‘grub-client‘, ‘sohu-search‘
for denied_agent in denied_agents:
if user_agent.find(denied_agent) != -1:
raise "UserAgentError", "We don‘t allow download accelerators"
在ZMI网站根下,选择 Set Access Rule,输入Rule Id: accessRule, 这样就可以禁止离线浏览器访问。