python+selenium+chromedriver实现爬虫示例代码
作者:茶哩 时间:2021-03-05 02:53:23
下载好所需程序
1.Selenium简介
Selenium是一个用于Web应用程序测试的工具,直接运行在浏览器中,就像真正的用户在操作一样。
2.Selenium安装
方法一:在Windows命令行(cmd)输入pip install selenium即可自动安装,安装完成后,输入pip show selenium可查看当前的版本
方法二:直接下载selenium包:
selenium下载网址
Pychome安装selenium如果出现无法安装,参考以下博客
解决Pycharm无法使用已经安装Selenium的问题
3.禁止谷歌浏览器自动更新
搜索本地:管理工具-服务-Google自动更新服务-选择禁止
安装浏览器对应的驱动driver
我这里用的是谷歌,选择对应的驱动版本
驱动的下载地址如下:
http://chromedriver.storage.googleapis.com/index.html
win32、win64的都下载win32.zip的
将下载的chromedriver进行解压,并将文件复制或移动到,浏览器快捷方式所在目录。
环境变量配置
1.Python环境配置
2.chromedriver环境配置
3.pychrome的python环境指向自己电脑安装好的python
注意:将下载好的chromewebdriver.exe驱动放在Python的安装路径下的Scripts里面,同时将Scripts路径添加到PATH中,这样每次运行python的时候就会自动加载驱动
代码实现
#已经准备环境:webdriver:Google已经安装好;环境变量配置好;pip install selenium;
#selenium是一个包,包有很多对象,对象有属性,方法。
from selenium import webdriver
browser=webdriver.Chrome()#打开浏览器
url="https://news.qq.com/zt2020/page/feiyan.htm#/global?nojump=1"#获取数据的地址
#请求浏览器内容:请求方式:get,post,token
browser.get(url)
#css选择器,id选择器:#开头,class选择器:.开头,标签选择器:p,span,div。
coronavirus_countent=browser.find_element_by_class_name('d')#定位到class选择器d这个内容
print(coronavirus_countent)#查看内容,session,一种缓存机制,通过浏览器解析,然后缓存的内容
# <selenium.webdriver.remote.webelement.WebElement (session="a1aa22161543b44f599e97b35dbc1ac5", element="fe645993-43cb-46cf-83a7-2488dd3d838a")>
print(coronavirus_countent.text)#查看当前css.class中的d的内容
coronavirus_time=browser.find_element_by_class_name('ml')#定位到class选择器d这个内容
print(coronavirus_time.text)
coronavirus_data=browser.find_element_by_class_name('nowConfirm')#定位到class选择器d这个内容
print("=======")
print(coronavirus_data.text)
print("=====找nowConfirm下面的字内容")
coronavirus_sub=coronavirus_data.find_element_by_class_name('addnum')
print(coronavirus_sub.text)
browser.quit()
来源:https://blog.csdn.net/Zsusan7/article/details/105385582
标签:python,selenium,chromedriver,爬虫
0
投稿
猜你喜欢
Google中国新首页风格再度变脸
2008-10-27 13:37:00
Python机器学习性能度量利用鸢尾花数据绘制P-R曲线
2023-01-27 20:55:48
PHP5在Apache下的两种模式的安装
2023-11-24 05:18:08
对Python使用mfcc的两种方式详解
2023-06-04 14:56:52
TensorFlow平台下Python实现神经网络
2023-10-11 22:31:31
Python 使用 Pillow 模块给图片添加文字水印的方法
2022-06-13 04:13:37
Python基础详解之列表复制
2022-09-24 02:39:10
Django实现auth模块下的登录注册与注销功能
2022-03-06 17:49:15
thinkphp(php)插件钩子(hooks)分析的简单实现机制
2023-05-25 09:27:58
仿淘宝网站的导航标签效果!
2008-11-05 12:37:00
图片链接轮换代码, 支持预载
2007-10-16 19:57:00
python3 中使用urllib问题以及urllib详解
2022-01-09 05:59:16
谈谈Javascript中的++和–操作符
2009-05-08 11:43:00
浅析Python 实现一个自动化翻译和替换的工具
2021-12-03 20:48:25
python numpy中cumsum的用法详解
2022-09-17 03:21:17
ASP网站程序自动升级实现的方法
2008-10-15 14:28:00
基于Tensorflow的MNIST手写数字识别分类
2023-12-01 11:35:18
python 把列表转化为字符串的方法
2023-06-14 20:35:48
用python批量移动文件
2022-12-21 10:48:43
使用OpenCV实现仿射变换—平移功能
2022-11-01 01:45:06