python抓取网页中链接的静态图片

本文实例为大家分享了python抓取网页中链接的静态图片的具体代码，供大家参考，具体内容如下

# -*- coding:utf-8 -*- 

#http://tieba.baidu.com/p/2460150866
#抓取图片地址 

from bs4 import BeautifulSoup
import urllib.request
from time import sleep 

html_doc = "http://tieba.baidu.com/p/2460150866" 

def get_image(url):
 req = urllib.request.Request(url)
 webpage = urllib.request.urlopen(req) 

 html = webpage.read()
 soup = BeautifulSoup(html, 'html.parser') 

 #抓取图片地址
 #抓取img标签且class为BDE_Image的所有内容
 img_src=soup.findAll("img",{'class':'BDE_Image'})
 i = 1
 for img in img_src:
  img_url = img.get('src') #抓取src
 # print(img)
  req = urllib.request.Request(img_url)
  u = urllib.request.urlopen(req)
  data = u.read()
  with open("AutoCodePng20180119-"+str(i)+".jpg", 'wb') as f:
   sleep(2)
   f.write(data)
   i += 1 

def getImg(url):
 html = urllib.request(url)
 page = html.read()
 soup = BeautifulSoup(page, "html.parser")
 imglist = soup.find_all('img') #发现html中带img标签的数据，输出格式为<img xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx，存入集合
 lenth = len(imglist) #计算集合的个数
 for i in range(lenth):
  print imglist[i].attrs['src'] #抓取img中属性为src的信息,例如<img src="123456" xxxxxxxxxxxxxxxx,则输出为123456

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持我们。

您可能感兴趣的文章:

  • Python使用Selenium+BeautifulSoup爬取淘宝搜索页
  • python3爬取各类天气信息
  • 使用Python爬取最好大学网大学排名
  • python爬虫爬取淘宝商品信息
  • python3爬取淘宝信息代码分析
  • Python如何抓取天猫商品详细信息及交易记录
  • Python爬虫使用Selenium+PhantomJS抓取Ajax和动态HTML内容
  • Python抓取聚划算商品分析页面获取商品信息并以XML格式保存到本地
  • 学习Python selenium自动化网页抓取器
  • python按综合、销量排序抓取100页的淘宝商品列表信息
赞 (0)

相关推荐

  • python3爬取各类天气信息

    python3爬取各类天气信息

    本来是想从网上找找有没有现成的爬取空气质量状况和天气情况的爬虫程序,结果找了一会儿感觉还是自己写一个吧. 主要是爬取北京包括北京周边省会城市的空气质量数据和天气数据. 过程中出现了一个错误:UnicodeDecodeError: 'utf-8' codec can't decode byte 0xa1 in position 250. 原来发现是页面的编码是gbk,把语句改成data=urllib.request.urlopen(url).read().decode("gbk")就可以

  • 使用Python爬取最好大学网大学排名

    本文实例为大家分享了Python爬取最好大学网大学排名的具体代码,供大家参考,具体内容如下 源代码: #-*-coding:utf-8-*- ''''' Created on 2017年3月17日 @author: lavi ''' import requests from bs4 import BeautifulSoup import bs4 def getHTMLText(url): try: r = requests.get(url) r.raise_for_status r.encodi

  • Python爬虫使用Selenium+PhantomJS抓取Ajax和动态HTML内容

    Python爬虫使用Selenium+PhantomJS抓取Ajax和动态HTML内容

    1.引言 在Python网络爬虫内容提取器一文我们详细讲解了核心部件:可插拔的内容提取器类gsExtractor.本文记录了确定gsExtractor的技术路线过程中所做的编程实验.这是第二部分,第一部分实验了用xslt方式一次性提取静态网页内容并转换成xml格式.留下了一个问题:javascript管理的动态内容怎样提取?那么本文就回答这个问题. 2.提取动态内容的技术部件 在上一篇python使用xslt提取网页数据中,要提取的内容是直接从网页的source code里拿到的.但是一些Aja

  • Python如何抓取天猫商品详细信息及交易记录

    本文实例为大家分享了Python抓取天猫商品详细信息及交易记录的具体代码,供大家参考,具体内容如下 一.搭建Python环境 本帖使用的是Python 2.7 涉及到的模块:spynner, scrapy, bs4, pymmssql 二.要获取的天猫数据 三.数据抓取流程 四.源代码 #coding:utf-8 import spynner from scrapy.selector import Selector from bs4 import BeautifulSoup import ran

  • python爬虫爬取淘宝商品信息

    python爬虫爬取淘宝商品信息

    本文实例为大家分享了python爬取淘宝商品的具体代码,供大家参考,具体内容如下 import requests as req import re def getHTMLText(url): try: r = req.get(url, timeout=30) r.raise_for_status() r.encoding = r.apparent_encoding return r.text except: return "" def parasePage(ilt, html): tr

  • python按综合、销量排序抓取100页的淘宝商品列表信息

    进入淘宝网,分别按综合.销量排序抓取100页的所有商品的列表信息. 1.按综合 import re from selenium import webdriver from selenium.common.exceptions import TimeoutException from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium

  • Python使用Selenium+BeautifulSoup爬取淘宝搜索页

    使用Selenium驱动chrome页面,获得淘宝信息并用BeautifulSoup分析得到结果. 使用Selenium时注意页面的加载判断,以及加载超时的异常处理. import json import re from bs4 import BeautifulSoup from selenium import webdriver from selenium.common.exceptions import TimeoutException from selenium.webdriver.com

  • Python抓取聚划算商品分析页面获取商品信息并以XML格式保存到本地

    本文实例为大家分享了Android九宫格图片展示的具体代码,供大家参考,具体内容如下 #!/user/bin/python # -*- coding: gbk -*- #Spider.py import urllib2 import httplib import StringIO import gzip import re import chardet import sys import os import datetime from xml.dom.minidom import Documen

  • python3爬取淘宝信息代码分析

    # encoding:utf-8 import re # 使用正则 匹配想要的数据 import requests # 使用requests得到网页源码 这个函数是用来得到源码 # 得到主函数传入的链接 def getHtmlText(url): try: # 异常处理 # 得到你传入的URL链接 设置超时时间3秒 r = requests.get(url, timeout=3) # 判断它的http状态码 r.raise_for_status() # 设置它的编码 encoding是设置它的头

  • 学习Python selenium自动化网页抓取器

    直接入正题---Python selenium自动控制浏览器对网页的数据进行抓取,其中包含按钮点击.跳转页面.搜索框的输入.页面的价值数据存储.mongodb自动id标识等等等. 1.首先介绍一下 Python selenium ---自动化测试工具,用来控制浏览器来对网页的操作,在爬虫中与BeautifulSoup结合那就是天衣无缝,除去国外的一些变态的验证网页,对于图片验证码我有自己写的破解图片验证码的源代码,成功率在85%. 详情请咨询QQ群--607021567(这不算广告,群里有好多P

随机推荐