selenium:几种提高网页加载速度的方法

  • A+
所属分类:网络爬虫

selenium:几种提高网页加载速度的方法

我们在使用selenium爬网页时,有时会遇到网页一直加载的问题,拖慢爬取的进度。所以有必要通过一些设置来提高效率。笔者使用的webdrive是Firefox,语言为python3.6,环境为Ubuntu 16.04。

设置加载超时

设置禁止加载图片

解释一下set_preference('permissions.default.image',2)的第二个参数“2”代表,禁止加载全部图片。可以替换为“1”:允许加载全部图片,“3”:禁止加载第三方图片。

如果你用的是Chrome,那么可以执行:

其他webdrive(IE、PhantomJS)禁止图片的方法可以参考这篇文章

设置查询元素,超时退出

selenium可以设置在一定时间内一直查询某个元素,直到元素出现,执行下一步,否则超时退出。

WebDriverWait(driver, 10)语句中设置超时时间为10s,程序会每500毫秒查询一次class='score'元素,直到其出现,否则超时退出。

许龙涛

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: