在linux系统下部署selenium爬虫程序介绍

目录
  • 前言
  • 一、selenium是什么?
  • 二、使用步骤
    • 1.引入库
    • 2.测试代码
  • 三、部署程序
    • 1.安装chrome
    • 2.安装chromedriver驱动
    • 3.运行测试代码
  • 总结

前言

我这里是工作需要把selenium 爬虫程序部署到Linux 服务器上面 顺便跟大家交流一下 如果有兴趣的话可以看一下


一、selenium是什么?

Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中,就像真正的用户在操作一样, 爬虫用它来抓取一些js动态加载的数据

二、使用步骤

1.引入库

代码如下

from selenium.webdriver import Chrome
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options  # 使用无头浏览器
from selenium.webdriver import ChromeOptions
chrome_options = Options()
options = ChromeOptions()
options.add_experimental_option('excludeSwitches', ['enable-automation']) # =>去掉浏览器正在受到自动测试软件的控制
options.add_experimental_option('useAutomationExtension', False)
chrome_options.add_argument("--headless")  # => 为Chrome配置无头模式
chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument('--disable-gpu')
chrome_options.add_argument('--disable-dev-shm-usage')

2.测试代码

代码如下:

s = Service(r"/home/driver/chromedriver")
driver = Chrome(
     service=s, options=chrome_options
 )
 driver.get("https://www.baidu.com")
 print(diiver.title)

三、部署程序

1.安装chrome

命令如下:

yum install https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm
检查chrome的版本
google-chrome --version

2.安装chromedriver驱动

命令如下:

按照对应的chrome版本下载chromedriver驱动
地址: https://npm.taobao.org/mirrors/chromedriver
我的版本号是: 96.0.4664.45
wget https://npm.taobao.org/mirrors/chromedriver/96.0.4664.45/chromedriver_linux64.zip
yum install -y unzip zip
unzip chromedriver_linux64.zip # 解压zip文件
mkdir driver #新建文件夹用来存放驱动
chmod 777 driver/chromedriver # 这是权限 我这里给的是 777

3.运行测试代码

新建test.py文件

vi test.py


保存 test.py run 一下看看

看到这个我么就算请求成功了

总结

到此这篇关于在linux系统下部署selenium爬虫程序介绍的文章就介绍到这了,更多相关linux selenium爬虫程序内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们!

时间: 2021-11-24

基于linux配置selenium环境并实现运行

一.在linux中使用selenium 1.安装chrome 用下面的命令安装Google Chrome yum install https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm 也可以先下载至本地,然后安装 wget https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm yum install ./g

linux配置jdk环境变量简单教程

前期准备 window安装VMware VMware安装linux系统 jdk-8u60-linux-x64.tar.gz (下载链接:链接: https://pan.baidu.com/s/1o88U0wq 密码: g5d9 ) linux 压缩解压命令 http://www.jb51.net/article/103658.htm linux常用命令之一: vi命令 linux下的source命令 http://www.jb51.net/article/103657.htm 方法/步骤 需要配

linux配置java环境变量详细过程

直接上实现过程: 一. 解压安装jdk 在shell终端下进入jdk-6u14-linux-i586.bin文件所在目录, 执行命令 ./jdk-6u14-linux-i586.bin 这时会出现一段协议,连继敲回车,当询问是否同意的时候,输入yes,回车.之后会在当前目录下生成一个jdk1.6.0_14目录,你可以将它复制到 任何一个目录下. 二. 需要配置的环境变量 1. PATH环境变量.作用是指定命令搜索路径,在shell下面执行命令时,它会到PATH变量所指定的路径中查找看是否能找到相

配置java环境变量(linux mac windows7)

linux配置java环境变量(详细) 一. 解压安装jdk 在shell终端下进入jdk-6u14-linux-i586.bin文件所在目录, 执行命令 ./jdk-6u14-linux-i586.bin 这时会出现一段协议,连继敲回车,当询问是否同意的时候,输入yes,回车.之后会在当前目录下生成一个jdk1.6.0_14目录,你可以将它复制到 任何一个目录下. 二. 需要配置的环境变量 1. PATH环境变量.作用是指定命令搜索路径,在shell下面执行命令时,它会到PATH变量所指定的路

基于Linux中vnc配置端口号的修改方法

vnc的默认端口是自己配置的,并不是这有一个端口号. 通过打开/etc/sysconfig/vncservers. 这里就配置了2个桌面,一个桌面号是1, 一个是2. 这里的配置的参数 VNCSERVERS="2:root" VNCSERVERARGS[2]="-geometry 1280x800" 就可以看出,这里就配置了2个桌面,一个桌面号是1, 一个是2.还有远程桌面的分辨率 想要修改vncserver的配置,先找配置文件路径 [root@jtsyb01 lo

Linux下配置jdk环境的方法

1.去官网下载适用于linux的jdk包,如jdk-8u162-linux-x64.tar.gz 2.创建目录,将jdk包拷贝到该目录下,如home/haha/user/java 3.在控制台中进入该目录,执行tar zxvf jdk-8u162-linux-x64.tar.gz 进行解压 4.配置环境变量: 打开控制台,运行sudo vi /etc/profile,在文件中插入如下配置内容,然后保存退出(先按esc, 再按:wq) JAVA_HOME=/home/haha/user/java/

Linux中Bash环境变量的配置方法

Shell 是一个用 C 语言编写的程序,它是用户使用 Linux 的桥梁.Shell 既是一种命令语言,又是一种程序设计语言. 以下是几种shell版本,bash是默认的: sh(全称 Bourne Shell): 是UNIX最初使用的 shell,而且在每种 UNIX 上都可以使用. Bourne Shell 在 shell 编程方面相当优秀,但在处理与用户的交互方面做得不如其他几种 shell. bash(全称 Bourne Again Shell): LinuxOS 默认的,它是 Bou

Linux安装配置php环境的方法

本文实例讲述了Linux安装配置php环境的方法.分享给大家供大家参考,具体如下: 1.获取安装文件: http://www.php.net/downloads.php php-5.3.8.tar.gz 获取安装php需要的支持文件:http://download.csdn.net/download/netlong339/1351852 libxml2-2.6.32.tar.gz 2.安装libxml2 复制代码 代码如下: tar zxvf libxml2-2.6.32.tar.gz cd l

非集成环境的php运行环境(Apache配置、Mysql)搭建安装图文教程

本文为大家分享了php运行环境搭建安装图文教程,供大家参考,具体内容如下 安装apache: 1,不要安装到有中文的目录中: 2,尽量将apache,php,mysql安装到一个总的目录,便于管理. 3,尽量将之前安装的amp集成安装环境删除,并删除已经配置的环境变量: 此处是服务器名称的设置,可以随便输入,完成之后可用IP或者localhost来进行访问, 邮箱随便填写,保证邮箱格式的正确 apache安装后的默认主页(站点)的位置为: apache的安装位置/htdocs/ localhos

Linux Crontab 获取环境变量配置解析

使用Laravel分版本环境部署时遇到的问题 Crontab 执行 Laravel 获取不到用户全局变量,通过查阅资料获知 Crontab 载入配置的时候 并未载入 /etc/profile : 针对这个现象 初期解决方式是在Crontab 任务内添加配置文件载入 * * * * * source /etc/profile && php task.php 或 * * * * * export PHP_ENV=prod && php task.php 或 * * * * *