Safari浏览器 2020-04-20
selenium是一款用于web程序的测试工具,它能直接调用控制浏览器,就像用户操作浏览器一样,多用于爬虫等.
# 安装seleniumpip install selenium
# 安装火狐firefoxdriver或者谷歌chromedriver # 查看谷歌浏览器版本信息 chrome://version/ # 根据版本下载驱动 http://chromedriver.storage.googleapis.com/index.html # windows下载win32的驱动 # 将chromedriver.exe 放入安装的selenium库下 from selenium import webdriver chrome_driver=r"C:\Python36\Lib\site-packages\selenium\webdriver\chrome\chromedriver.exe" driver=webdriver.Chrome(executable_path=chrome_driver)
#coding: utf-8 from selenium import webdriver def forcitiurl(xq_url): driver = webdriver.Firefox() # 创建浏览器对象 driver.get(xq_url) # 请求要访问的url tmp = driver.find_element_by_xpath("/html/body/div[2]/div[3]/div[1]").text # 获取拿到的html的信息 print(tmp) driver.quit() # 关闭浏览器 forcitiurl("https://anqing.anjuke.com/community/view/861940")
from selenium import webdriver def forcitiurl(xq_url): chrome_driver = r"C:\Python36\Lib\site-packages\selenium\webdriver\chrome\chromedriver.exe" driver = webdriver.Chrome(executable_path=chrome_driver) driver.get(xq_url) # 请求要访问的url tmp = driver.find_element_by_xpath("/html/body/div[2]/div[3]/div[1]").text # 获取拿到的html的信息 print(tmp) driver.quit() # 关闭浏览器 forcitiurl("https://anqing.anjuke.com/community/view/861940")
from selenium import webdriver from selenium.webdriver.chrome.options import Options def forcitiurl(xq_url): chrome_opt = Options() # 创建参数设置对象 chrome_opt.add_argument(‘--headless‘) # 无界面化 chrome_opt.add_argument(‘--disable-gpu‘) # 配合上面的无界面化 chrome_opt.add_argument(‘--window-size=1366,768‘) # 设置窗口大小 chrome_driver = r"C:\Python36\Lib\site-packages\selenium\webdriver\chrome\chromedriver.exe" driver = webdriver.Chrome(executable_path=chrome_driver,chrome_options=chrome_opt) driver.get(xq_url) # 请求要访问的url tmp = driver.find_element_by_xpath("/html/body/div[2]/div[3]/div[1]").text # 获取拿到的html的信息 print(tmp) print(tmp) driver.quit() # 关闭浏览器 forcitiurl("https://anqing.anjuke.com/community/view/861940")
方法 | 作用 |
find_element_by_xpath() | 通过Xpath 查找 |
find_element_by_class_name() | 通过class属性 查找 |
find_element_by_css_selector() | 通过css选择器 查找 |
find_element_by_id() | 通过id 查找 |
find_element_by_link_text() | 通过链接文本 查找 |
ind_element_by_name() | 通过name属性 进行查找 |
find_element_by_partial_link_text() | 通过链接文本的部分匹配 查找 |
find_element_by_tag_name() | 通过标签名 查找 |
4.3 操作cookie
5.环境变量配置在linux系统下,需要将可执行文件配置到环境变量或将文件移动到属于环境变量的目录里面方法一:将文件移动到属于环境变量目录中sudo mv chromedriver /user/bin