简单的抓取淘宝图片的Python爬虫

写了一个抓taobao图片的爬虫，全是用if，for，while写的，比较简陋，入门作品。

从网页http://mm.taobao.com/json/request_top_list.htm?type=0&page=中提取taobao模特的照片。

代码如下:

# -*- coding: cp936 -*-
import urllib2
import urllib
mmurl="http://mm.taobao.com/json/request_top_list.htm?type=0&page="
i=0#第二页有个人的页面没图片,会出现IO错误
while i<15:
        url=mmurl+str(i)
        #print url #打印出列表的url
        up=urllib2.urlopen(url)#打开页面，存入句柄中
        cont=up.read()
        #print len(cont)#页面的长度
        ahref='<a href="http'#筛选页面内网页链接的关键字
        target="target"
        pa=cont.find(ahref)#找出网页链接的头部位置
        pt=cont.find(target,pa)#找出网页链接的尾部位置
        for a in range(0,20):#如才能不把20硬编码进去？如何找到文件结尾？
                urlx=cont[pa+len(ahref)-4:pt-2]#从头部到尾部，将网页链接存入变量
                if len(urlx) < 60:#如果网页链接长度适合【len（）！！！！】
                    urla=urlx     #那么就准备将其打印出来
                    print urla    #这是想要的model个人URL
                    #########以下开始对model个人的URL进行操作#########
                    mup=urllib2.urlopen(urla)#打开model个人的页面，存入句柄中
                    mcont=mup.read()#对model页面的句柄进行读出操作，存入mcont字符串
                    imgh="<img style=" #筛选页面内【图片】链接的关键字
                    imgt=".jpg"
                    iph=mcont.find(imgh)#找出【图片】链接的头部位置
                    ipt=mcont.find(imgt,iph)#找出【图片】链接的尾部位置
                    for b in range(0,10):#又是硬编码····
                            mpic=mcont[iph:ipt+len(imgt)]#原始图片链接，链接字符的噪声太大
                            iph1=mpic.find("http")#对上面的链接再过滤一次
                            ipt1=mpic.find(imgt)  #同上
                            picx=mpic[iph1:ipt1+len(imgt)]
                            if len(picx)<150:#仍有一些URL是“http：ss.png><dfsdf>.jpg”(设为100竟然会误伤)
                                    pica=picx #【是len(picx)<100而不是picx!!】不然会不显示
                                    print pica
                                    ############################
                                    ###########开始下载pica这个图片
                                    urllib.urlretrieve(pica,"pic\\tb"+str(i)+"x"+str(a)+"x"+str(b)+".jpg")                                  
                                    ###########   pica图片下载完毕.(加上各循环体的数字，以免名字重复)
                                    ############################
                            iph=mcont.find(imgh,iph+len(imgh))#开始下一个循环
                            ipt=mcont.find(imgt,iph)
                    ############model个人URL内的【图片链接】提取完毕##########
                pa=cont.find(ahref,pa+len(ahref))#将原来的头部位作为起始点，继续向后找下一个头部
                pt=cont.find(target,pa)#继续找下一个尾部
        i+=1

是不是很简单呢，小伙伴们稍微修改下就可以抓取其他内容了的。。。

赞 (0)

相关推荐

  • 在阿里云服务器上配置CentOS+Nginx+Python+Flask环境

    项目运行环境 阿里云(单核CPU, 1G内存, Ubuntu 14.04 x64 带宽1Mbps), 具体购买和ssh连接阿里云本文不做描述. 实用工具 首先进入阿里云后先要升级下apt-get, 并下载所需软件 sudo apt-get update sudo apt-get install vim git wget tmux 我还会使用zsh和oh-my-zsh来替换bash sudo apt-get install zsh # 终端下打以下命令 wget --no-check-certif

  • python实现爬取千万淘宝商品的方法

    本文实例讲述了python实现爬取千万淘宝商品的方法.分享给大家供大家参考.具体实现方法如下: import time import leveldb from urllib.parse import quote_plus import re import json import itertools import sys import requests from queue import Queue from threading import Thread URL_BASE = 'http://s

  • Python使用淘宝API查询IP归属地功能分享

    网上有很多方法能够过去到IP地址归属地的脚本,但是我发现淘宝IP地址库的信息更详细些,所以用shell写个脚本来处理日常工作中一些IP地址分析工作. 脚本首先是从http://ip.taobao.com/的数据接口获取IP地址的JSON格式的数据信息,在使用一个python脚本来把Unicode字符转换成UTF-8编码. Shell脚本内容: 复制代码 代码如下: #!/bin/bash ipInfo() {   for i in `cat list`   do     TransCoding=

  • python模拟登陆阿里妈妈生成商品推广链接

    淘宝官方有获取商品推广链接的API,但该API属于增值API 普通开发者没有调用权限 需要申请开通 备注:登陆采用的是阿里妈妈账号登陆非淘宝账号登陆 复制代码 代码如下: #coding:utf-8__author__ = 'liukoo'import urllib,urllib2,cookielib,refrom hashlib import md5class alimama:    def __init__(self):        self.header = {'User-Agent':

  • Python抓取淘宝下拉框关键词的方法

    本文实例讲述了Python抓取淘宝下拉框关键词的方法.分享给大家供大家参考.具体如下: import urllib2,re for key in open('key.txt'): do = "http://suggest.taobao.com/sug?code=utf-8&q=%s" % key.rstrip() _re = re.findall('\[\"(.*?)\",\".*?\"\]',urllib2.urlopen(do).re

  • Python查询阿里巴巴关键字排名的方法

    本文实例讲述了Python查询阿里巴巴关键字排名的方法.分享给大家供大家参考.具体如下: 这里使用python库urllib及pyquery基本东西的应用,实现阿里巴巴关键词排名的查询,其中涉及到urllib代理的设置,pyquery对html文档的解析 1. urllib 基础模块的应用,通过该类获取到url中的html文档信息,内部可以重写代理的获取方法 class ProxyScrapy(object): def __init__(self): self.proxy_robot = Pro

  • python使用urllib模块和pyquery实现阿里巴巴排名查询

    urllib基础模块的应用,通过该类获取到url中的html文档信息,内部可以重写代理的获取方法 复制代码 代码如下: class ProxyScrapy(object):    def __init__(self):        self.proxy_robot = ProxyRobot()        self.current_proxy = None        self.cookie = cookielib.CookieJar() def __builder_proxy_cooki

  • Python2.7基于淘宝接口获取IP地址所在地理位置的方法【测试可用】

    Python2.7基于淘宝接口获取IP地址所在地理位置的方法【测试可用】

    本文实例讲述了Python2.7基于淘宝接口获取IP地址所在地理位置的方法.分享给大家供大家参考,具体如下: #!/usr/bin/python import sys, os, urllib2, json def get_ip_area(ip): try: apiurl = "http://ip.taobao.com/service/getIpInfo.php?ip=%s" %ip content = urllib2.urlopen(apiurl).read() data = json

  • Python3编程实现获取阿里云ECS实例及监控的方法

    本文实例讲述了Python3编程实现获取阿里云ECS实例及监控的方法.分享给大家供大家参考,具体如下: #!/usr/bin/env python3.5 # -*- coding:utf8 -*- try: import httplib except ImportError: import http.client as httplib import sys,datetime import urllib import urllib.request import urllib.error impor

  • python实现二维码扫码自动登录淘宝

    python实现二维码扫码自动登录淘宝

    一个小项目自动登录淘宝联盟抓取数据,由于之前在Github上看过类似用Python写的代码因此选择用Python来写,第一次用Python正式写程序还是被其"简单"所震撼,当然用的时候还是对其(2.7版)编码.迁移环境等问题所困扰,还好后来都解决了. 言归正传,抓取淘宝联盟的数据首先要解决的就是登录的问题,之前一般会碰到验证码的困扰,现在支持二维码扫码登录反而简单了,以下是登录的Python代码,主要是获取二维码打印,然后不断的检查扫码状态,如果过期了重新请求二维码(主要看逻辑,由于有

  • 通过抓取淘宝评论为例讲解Python爬取ajax动态生成的数据(经典)

    通过抓取淘宝评论为例讲解Python爬取ajax动态生成的数据(经典)

    在学习python的时候,一定会遇到网站内容是通过 ajax动态请求.异步刷新生成的json数据 的情况,并且通过python使用之前爬取静态网页内容的方式是不可以实现的,所以这篇文章将要讲述如果在python中爬取ajax动态生成的数据. 至于读取静态网页内容的方式,有兴趣的可以查看本文内容. 这里我们以爬取淘宝评论为例子讲解一下如何去做到的. 这里主要分为了四步: 一 获取淘宝评论时,ajax请求链接(url) 二 获取该ajax请求返回的json数据 三 使用python解析json数据

  • Python模拟登陆淘宝并统计淘宝消费情况的代码实例分享

    Python模拟登陆淘宝并统计淘宝消费情况的代码实例分享

    支付宝十年账单上的数字有点吓人,但它统计的项目太多,只是想看看到底单纯在淘宝上支出了多少,于是写了段脚本,统计任意时间段淘宝订单的消费情况,看那结果其实在淘宝上我还是相当节约的说. 脚本的主要工作是模拟了浏览器登录,解析"已买到的宝贝"页面以获得指定的订单及宝贝信息. 使用方法见代码或执行命令加参数-h,另外需要BeautifulSoup4支持,BeautifulSoup的官方项目列表页:https://www.crummy.com/software/BeautifulSoup/bs4

随机推荐