爬虫如何解决,百度云加速防护中还剩5秒,网页打不开了

爬虫遇到了使用百度云加速的网站时,抓不到内容,原因是第一次打开,百度云加速会检测你是否用浏览器打开,并且停留5秒,页面显示“百度云加速防护中还剩5秒,网页打不开了”。


解决办法

1.找到网站的真实ip。

使用了百度云加速的网站,你看到的是百度云的cdn地址,所以第一步,你需要找到此网站的真实ip地址

可以使用 http://tool.chinaz.com/ ,输入域名后得到真实ip地址。


2.到你爬虫所在的服务器,修改hosts,将域名定位到真实的ip地址

ubuntu 中修改 /etc/hosts


来源:郑摇天博客(微信:zhengyaotian8),欢迎分享本文,转载请保留出处!