目的:使用selenium抓取数据。
抓取网页数据可以有多种技术方法(这里只列几种):
1.java httpclient+jsoup(对js基本无支持),类似于wget和jsoup。
2.分析对方网站暴露出的接口
3.htmlunit
4.selenium
5.webkit(没有测试过,不过听说chrome内核也是基于webkit的,具体细节不明)
对于以上各种方法的适用场景:
方法1:适合那种禁用js和css就能得到所有你需要的数据的网站(不支持js动态渲染)。
方法2:有时虽然能够找出对方网站暴露的接口。
方法3:可用,但是对js和CSS支持很差(同样的配置,有些网站OK,有些网站死结)。
方法4:可用,但效率比较低(值得理解,本身是为测试开发的框架)。
实际应用中根据自己项目的需要进行取舍,没有一个通用的解决方案。
本人一直讨厌分析网站的接口,一直在selenium上下工夫,希望大幅提高其性能,希望开发一个比较通用的爬虫框架。
使用FirefoxDriver,尝试过各种about:config中的配置(包括内存的和缓存的优化),始终不能达到一个理想的效果,慢。
按照selenium官方的说法:在速度方面,HtmlunitDriver > ChromeDriver > FirefoxDriver
但是Htmlunit对js支持较差,就没尝试。
开始尝试ChromeDriver.
环境:centos6.6 + chrome 最新稳定版。
很多人说centos6无法安装chrome。
但是这里可以解决:http://jingyan.baidu.com/article/4b52d702790ddcfc5c774b17.html
System.setProperty("webdriver.chrome.driver","/home/oscar/chrome/chromedriver");
启动chromedriver的时候会报:“/usr/lib/libstdc++.so.6: version `GLIBCXX_3.4.14' not found”
这里能够解决:http://www.aliyun.com/zixun/content/2_6_518744.html
再起ChromeDriver程序,比较快速稳定(跑了一夜测试程序,没有什么大的问题,目测比FirefoxDriver快1.5-2倍,这个速度很满意了)。
接下来优化其配置信息,看能不能再次提升性能://To be done!!
相关推荐
用Selenium进行网络抓取Web爬网是在相对较短的时间内获取大量数据的简便方法脚步:- 使用pip安装Selenium pip3安装Selenium下载Chrome驱动程序:要下载Web驱动程序,您可以选择以下任意一种方法-您可以从以下链接...
2. 网页抓取:可用于爬虫和数据抓取,模拟浏览器访问网页并提取所需数据。 3. 脚本执行:开发者可以使用chromedriver.exe执行浏览器相关的任务,如页面截图、页面渲染和自动化交互。 【其他说明】 1. 版本兼容性:...
其中数据的爬取是通过python调用selenium驱动Chrome浏览器实现网页内容的抓取! 启动爬虫celery进程:python manage.py celery worker 注意:celery框架里面有个方法和python3.7的关键字冲突,所以用python3.6吧!...
其中数据的爬取是通过python调用selenium驱动Chrome浏览器实现网页内容的抓取! 启动爬虫celery进程:python manage.py celery worker 注意:celery框架里面有个方法和python3.7的关键字冲突,所以用python3.6吧!...
2. 网页抓取:可用于爬虫和数据抓取,模拟浏览器访问网页并提取所需数据。 3. 脚本执行:开发者可以使用chromedriver.exe执行浏览器相关的任务,如页面截图、页面渲染和自动化交互。 【其他说明】 1. 版本兼容性:...
2. 网页抓取:可用于爬虫和数据抓取,模拟浏览器访问网页并提取所需数据。 3. 脚本执行:开发者可以使用chromedriver.exe执行浏览器相关的任务,如页面截图、页面渲染和自动化交互。 【其他说明】 1. 版本兼容性:...
2. 网页抓取:可用于爬虫和数据抓取,模拟浏览器访问网页并提取所需数据。 3. 脚本执行:开发者可以使用chromedriver.exe执行浏览器相关的任务,如页面截图、页面渲染和自动化交互。 【其他说明】 1. 版本兼容性:...
其中数据的爬取是通过python调用selenium驱动Chrome浏览器实现网页内容的抓取! 启动爬虫celery进程:python manage.py celery worker 注意:celery框架里面有个方法和python3.7的关键字冲突,所以用python3.6吧!...
2. 网页抓取:可用于爬虫和数据抓取,模拟浏览器访问网页并提取所需数据。 3. 脚本执行:开发者可以使用chromedriver.exe执行浏览器相关的任务,如页面截图、页面渲染和自动化交互。 【其他说明】 1. 版本兼容性:...
2. 网页抓取:可用于爬虫和数据抓取,模拟浏览器访问网页并提取所需数据。 3. 脚本执行:开发者可以使用chromedriver.exe执行浏览器相关的任务,如页面截图、页面渲染和自动化交互。 【其他说明】 1. 版本兼容性:...
2. 网页抓取:可用于爬虫和数据抓取,模拟浏览器访问网页并提取所需数据。 3. 脚本执行:开发者可以使用chromedriver.exe执行浏览器相关的任务,如页面截图、页面渲染和自动化交互。 【其他说明】 1. 版本兼容性:...
2. 网页抓取:可用于爬虫和数据抓取,模拟浏览器访问网页并提取所需数据。 3. 脚本执行:开发者可以使用chromedriver.exe执行浏览器相关的任务,如页面截图、页面渲染和自动化交互。 【其他说明】 1. 版本兼容性:...
2. 网页抓取:可用于爬虫和数据抓取,模拟浏览器访问网页并提取所需数据。 3. 脚本执行:开发者可以使用chromedriver.exe执行浏览器相关的任务,如页面截图、页面渲染和自动化交互。 【其他说明】 1. 版本兼容性:...
2. 网页抓取:可用于爬虫和数据抓取,模拟浏览器访问网页并提取所需数据。 3. 脚本执行:开发者可以使用chromedriver.exe执行浏览器相关的任务,如页面截图、页面渲染和自动化交互。 【其他说明】 1. 版本兼容性:...
数据抓取: 使用驱动程序,可以编写脚本来抓取网页上的数据,用于分析、监测和报告等用途。 无人值守操作: 驱动程序使开发人员能够在无人值守环境中模拟用户行为,从而执行重复性任务,如网站巡检、定时报告生成等...
2. 网页抓取:可用于爬虫和数据抓取,模拟浏览器访问网页并提取所需数据。 3. 脚本执行:开发者可以使用chromedriver.exe执行浏览器相关的任务,如页面截图、页面渲染和自动化交互。 【其他说明】 1. 版本兼容性:...
2. 网页抓取:可用于爬虫和数据抓取,模拟浏览器访问网页并提取所需数据。 3. 脚本执行:开发者可以使用chromedriver.exe执行浏览器相关的任务,如页面截图、页面渲染和自动化交互。 【其他说明】 1. 版本兼容性:...
2. 网页抓取:可用于爬虫和数据抓取,模拟浏览器访问网页并提取所需数据。 3. 脚本执行:开发者可以使用chromedriver.exe执行浏览器相关的任务,如页面截图、页面渲染和自动化交互。 【其他说明】 1. 版本兼容性:...