【Python】Python的urllib模块、urllib2模块批量进行网页下载文件

2024-04-22 00:31:22

由于需要从某个网页上下载一些PDF文件，但是需要下载的PDF文件有几百个，所以不可能用人工点击来下载。正好Python有相关的模块，所以写了个程序来进行PDF文件的下载，顺便熟悉了Python的urllib模块和ulrllib2模块。

1、问题描述

需要从http://www.cvpapers.com/cvpr2014.html上下载几百个论文的PDF文件，该网页如下图所示：

2、问题解决

通过结合Python的urllib模块和urllib2模块来实现自动下载。代码如下：

test.py

#!/usr/bin/python
# -*- coding:utf-8 -*- 

import urllib              #导入urllib模块
import urllib2             #导入urllib2模块
import re               #导入正则表达式模块：re模块 

def getPDFFromNet(inputURL):
  req = urllib2.Request(inputURL)
  f = urllib2.urlopen(req)         #打开网页
  localDir = 'E:\downloadPDF\\'        #下载PDF文件需要存储在本地的文件夹
  urlList = []            #用来存储提取的PDF下载的url的列表
  for eachLine in f:          #遍历网页的每一行
    line = eachLine.strip()       #去除行首位的空格，习惯性写法
    if re.match('.*PDF.*', line):      #去匹配含有“PDF”字符串的行，只有这些行才有PDF下载地址
      wordList = line.split('\"')    #以"为分界，将该行分开，这样就将url地址单独分开了
      for word in wordList:      #遍历每个字符串
        if re.match('.*\.pdf$', word): #去匹配含有“.pdf”的字符串，只有url中才有
          urlList.append(word)  #将提取的url存入列表
  for everyURL in urlList:         #遍历列表的每一项，即每一个PDF的url
    wordItems = everyURL.split('/')     #将url以/为界进行划分，为了提取该PDF文件名
    for item in wordItems:       #遍历每个字符串
      if re.match('.*\.pdf$', item):   #查找PDF的文件名
        PDFName = item     #查找到PDF文件名
    localPDF = localDir + PDFName      #将本地存储目录和需要提取的PDF文件名进行连接
    try:
      urllib.urlretrieve(everyURL, localPDF) #按照url进行下载，并以其文件名存储到本地目录
    except Exception,e:
      continue 

getPDFFromNet('http://www.cvpapers.com/cvpr2014.html')

注意：

（1）第1、6、8、23行分别多谢了一个“\”来进行转义；

（2）第27行的urlretrieve函数有3个参数：第一个参数就是目标url；第二个参数是保存的文件绝对路径(含文件名)，该函数的返回值是一个tuple(filename,header)，其中的filename就是第二个参数filename。如果urlretrieve仅提供1个参数,返回值的filename就是产生的临时文件名,函数执行完毕后该临时文件会被删除参数。第3个参数是一个回调函数，当连接上服务器、以及相应的数据块传输完毕的时候会触发该回调。其中回调函数名称可任意，但是参数必须为三个。一般直接使用reporthook(block_read,block_size,total_size)定义回调函数，block_size是每次读取的数据块的大小，block_read是每次读取的数据块个数，taotal_size是一一共读取的数据量，单位是byte。可以使用reporthook函数来显示读取进度。
如果想显示读取进度，则可以讲第三个参数加上，将上述程序第27行改为如下：

urllib.urlretrieve(everyURL, localPDF, reporthook=reporthook)

而reporthook回调函数的代码如下：

def reporthook(block_read,block_size,total_size):
 if not block_read:
 print "connection opened";
 return
 if total_size<0:
 #unknown size
 print "read %d blocks (%dbytes)" %(block_read,block_read*block_size);
 else:
 amount_read=block_read*block_size;
 print 'Read %d blocks,or %d/%d' %(block_read,block_read*block_size,total_size);

综上所述，这就是一个简单的从网页抓取数据、下载文件的小程序，希望对正在学习Python的同学有帮助。谢谢！

Python实现文件内容批量追加的方法示例

本文实例讲述了Python实现文件内容批量追加的方法.分享给大家供大家参考,具体如下: #coding:utf-8 import os #-------代码段一 #获取当前文件夹 filePath = os.getcwd() #获取当前文件列表 fileNameList = os.listdir(filePath) fileDirList = [] #获取文件路径列表 for fileName in fileNameList: fileDirList.append(os.path.join(fi
Python实现批量检测HTTP服务的状态

用Python实现批量测试一组url的可用性(可以包括HTTP状态.响应时间等)并统计出现不可用情况的次数和频率等. 类似的,这样的脚本可以判断某个服务的可用性,以及在众多的服务提供者中选择最优的. 需求以及脚本实现的功能如下: 默认情况下,执行脚本会检测一组url的可用性. 如果可用,返回从脚本所在的机器到HTTP服务器所消耗的时间和内容等信息. 如果url不可用,则记录并提示用户,并显示不可用发生的时间. 默认情况下,允许最大的错误次数是200,数目可以自定义,如果达到允许的最大错误次数,则
批量获取及验证HTTP代理的Python脚本

HTTP暴力破解.撞库,有一些惯用的技巧,比如: 1. 在扫号人人网时,我遇到单个账号错误两次,强制要求输入验证码,而对方并未实施IP策略. 我采用维护10万(用户名,密码) 队列的方式来绕过验证码.具体的做法是,当某个用户名.密码组合遇到需要验证码,就把该破解序列挂起,放到队列尾部等待下次测试,继续破解其他账号密码. 这样就可以保证2/3的时间都在进行正常破解和扫号. 2. 在破解美团网某系统账号时,我遇到了单个IP访问有一定限制,请求频率不可过快.于是我挂了72个 HTTP代理来解决这个问题
Python批量更改文件名的实现方法

Python批量更改文件名的实现方法前言: 由于后台数据有好多,但是文案提供过来的图片命名全部没有按照格式来命名,Python这么强大的语言,肯定是能够处理这个问题的,于是我就写了一个小脚本批量改文件名. 版本相关操作系统:Mac OS X EI Caption Python版本:2.7 IDE:Sublime 思路我的思路是这样的,在当前文件下创建一个新的目录newfile,然后把所有的文件拷贝过去重命名一下就行了素材文案提供过来的图片全部都是1.jpg,2.jpg--这样顺序递增的
python批量添加zabbix Screens的两个脚本分享

前言在最初搭建公司监控系统的时候,最头疼的是需要把同类项目组的相同图形添加到一个Screens,由于只能一个一个的添加,非常耗时耗经历. 下面分享两个脚本来解决这个头疼的问题. 1.将单个主机的所有图形添加到一个Screens 使用方法 #更改main()函数里的url.username.password #参数一:主机名 #参数二:筛选图名称 python zabbix_screen_host.py 'zabbixserver' 'zabbixserver' zabbix_screen_ho
Python爬取qq music中的音乐url及批量下载

前言 qq music上的音乐还是不少的,有些时候想要下载好听的音乐,但有每次在网页下载都是烦人的登录什么的.于是,来了个qqmusic的爬虫.至少我觉得for循环爬虫,最核心的应该就是找到待爬元素所在url吧.下面开始找吧(讲的不对不要笑我) 实现如下 #寻找url: 这个url可不想其他的网站那么好找.把我给累得不轻,关键是数据多,从那么多数据里面挑出有用的数据,最后组合为music真正的music.昨天做的时候整理的几个中间url: #url1:https://c.y.qq.com/sos
Python实现ssh批量登录并执行命令

局域网内有一百多台电脑,全部都是linux操作系统,所有电脑配置相同,系统完全相同(包括用户名和密码),ip地址是自动分配的.现在有个任务是在这些电脑上执行某些命令,者说进行某些操作,比如安装某些软件,拷贝某些文件,批量关机等.如果一台一台得手工去操作,费时又费力,如果要进行多个操作就更麻烦啦. 或许你会想到网络同传,网络同传是什么?就是在一台电脑上把电脑装好,配置好,然后利用某些软件,如"联想网络同传"把系统原样拷贝过去,在装系统时很有用,只要在一台电脑上装好,同传以后所有的电脑都装
Python3.4实现从HTTP代理网站批量获取代理并筛选的方法示例

本文实例讲述了Python3.4实现从HTTP代理网站批量获取代理并筛选的方法.分享给大家供大家参考,具体如下: 最近在写爬虫,苦于不采用代理的情况下,默认的IP不出几分钟就被封了,故而只能寻找代理.原以为找到HTTP代理就万事大吉了,没想到从那个网站获取的代理大部分都是不能用的,只有少部分能用...故而无奈之下,只能从那些代理网站大量获取代理IP,然后再拿过来进行进一步的筛选,将有效的代理IP提取出来,留待进一步使用. 筛选的主要原理是,通过main函数提取到未经筛选的代理rawProxyLi
【Python】Python的urllib模块、urllib2模块批量进行网页下载文件

由于需要从某个网页上下载一些PDF文件,但是需要下载的PDF文件有几百个,所以不可能用人工点击来下载.正好Python有相关的模块,所以写了个程序来进行PDF文件的下载,顺便熟悉了Python的urllib模块和ulrllib2模块. 1.问题描述需要从http://www.cvpapers.com/cvpr2014.html上下载几百个论文的PDF文件,该网页如下图所示: 2.问题解决通过结合Python的urllib模块和urllib2模块来实现自动下载.代码如下: test.py #!
python基于paramiko库远程执行 SSH 命令,实现 sftp 下载文件

楔子我们使用 Python 避免不了和 Linux 打交道,而有时我们需要执行一些 shell 命令.如果在本地的话,那么可以通过调用 os.system 或者 subprocess.Popen 来执行,但如果我们希望远程执行其它机器上的 shell 命令,这个时候该怎么做呢?下面我们就来推荐一个第三方库 paramiko,看看如何使用 Python 远程操作其它机器. paramiko 网络传输是遵循协议的,比如 SSH,paramiko 则是实现了 SSHv2 协议的一个 Python 第
使用Python的urllib和urllib2模块制作爬虫的实例教程

urllib 学习python完基础,有些迷茫.眼睛一闭,一种空白的窒息源源不断而来.还是缺少练习,遂拿爬虫来练练手.学习完斯巴达python爬虫课程后,将心得整理如下,供后续翻看.整篇笔记主要分以下几个部分: 1.做一个简单的爬虫程序 2.小试牛刀--抓取百度贴吧图片 3.总结 1.做一个简单的爬虫程序首先环境描述 Device: Mba 2012 Yosemite 10.10.1 Python: python 2.7.9 编辑器: Sublime Text 3 这个没有什么好说的,直接上代
Python库urllib与urllib2主要区别分析

作为一个Python菜鸟,之前一直懵懂于urllib和urllib2,以为2是1的升级版.今天看到老外写的一篇<Python: difference between urllib and urllib2>才明白其中的区别 You might be intrigued by the existence of two separate URL modules in Python -urllib and urllib2. Even more intriguing: they are not alte
python实现下载文件的三种方法

Python开发中时长遇到要下载文件的情况,最常用的方法就是通过Http利用urllib或者urllib2模块. 当然你也可以利用ftplib从ftp站点下载文件.此外Python还提供了另外一种方法requests. 下面来看看三种方法是如何来下载zip文件的: 方法一: import urllib import urllib2 import requests print "downloading with urllib" url = 'http://www.jb51.net//te
Python网络编程中urllib2模块的用法总结

一.最基础的应用 import urllib2 url = r'http://www.baidu.com' html = urllib2.urlopen(url).read() print html 客户端与服务器端通过request与response来沟通,客户端先向服务端发送request,然后接收服务端返回的response urllib2提供了request的类,可以让用户在发送请求前先构造一个request的对象,然后通过urllib2.urlopen方法来发送请求 import ur
python网页请求urllib2模块简单封装代码

对python网页请求模块urllib2进行简单的封装. 例子: 复制代码代码如下: #!/usr/bin/python#coding: utf-8import base64import urllibimport urllib2import time class SendRequest: ''' This class use to set and request the http, and get the info of response. e.g. set Authorization
Python网络编程之HTTP客户端模块urllib与urllib3

一.urllib 概述: urllib是Python中请求url连接的官方标准库,就是你安装了python,这个库就已经可以直接使用了,基本上涵盖了基础的网络请求功能.在Python2中主要为urllib和urllib2,在Python3中整合成了urllib. Python3.x中将urllib2合并到了urllib,之后此包分成了以下四个模块: urllib.request: 它是最基本的http请求模块,用来模拟发送请求 urllib.error: 异常处理模块,如果出现错误可以捕获这些异
Python使用urllib2模块实现断点续传下载的方法

本文实例讲述了Python使用urllib2模块实现断点续传下载的方法.分享给大家供大家参考.具体分析如下: 在使用HTTP协议进行下载的时候只需要在头上设置一下Range的范围就可以进行断点续传下载,当然,首先服务器需要支持断点续传. 利用Python的urllib2模块完成断点续传下载的例子: #!/usr/bin/python # -*- coding: UTF-8 -* ''' Created on 2013-04-15 Created by RobinTang A demo for R
Python中的urllib模块使用详解

urllib模块提供的上层接口,使我们可以像读取本地文件一样读取www和ftp上的数据.每当使用这个模块的时候,老是会想起公司产品的客户端,同事用C++下载Web上的图片,那种"痛苦"的表情.我以前翻译过libcurl教程,这是在C/C++环境下比较方便实用的网络操作库,相比起libcurl,Python的urllib模块的使用门槛则低多了.可能有些人又会用效率来批评Python,其实在操作网络,或者在集群交互的时候, 语言的执行效率绝不是瓶颈.这种情况下,一个比较好的方法是,将pyt

【Python】Python的urllib模块、urllib2模块批量进行网页下载文件

相关推荐

随机推荐