python解析中国天气网的天气数据

使用方法：terminal中输入


代码如下:

python weather.py http://www.weather.com.cn/weather/101010100.shtml

北京6天的天气数据 json格式

代码如下:

#coding=utf-8 
#weather.py 
import urllib 
import re 
import simplejson 
import sys

if len(sys.argv) != 2: 
    print 'please enter: python ' + sys.argv[0] + '  <url>' 
    exit(0)  
url = sys.argv[1]; 
def readurlPageContent(url):#获取页面的所有数据 逐行读取 
    webpage = urllib.urlopen(url); 
    line = webpage.readline(); 
    data = '' 
    while line: 
        data = data + line.strip(); #去除每行两边的的空格 
        line = webpage.readline();  
    return data

def getDatabody(data): 
    reg = re.compile(r'(<div class=\"weatherYubaoBox\">(?:(?!<div)(?!</div).)*</div>)'); 
    matchs = reg.findall(data,re.I); 
    if len(matchs) > 0: 
        return matchs[0] 
    return None

def getSixDayWeather(data): 
    regs = re.compile(r'>((?:(?!<)(?!>)(?!var).)+)<'); 
    datas = regs.findall(data) 
    if len(datas) > 12: 
        datas = datas[12:len(datas)-7];#提取其中的78项 即后面6天的天气数据 每天相关的信息有13个

return datas     
    return None

data = readurlPageContent(url); 
match_data = getDatabody(data) 
if match_data == None : 
    print 'get weather data fail' 
    exit(0)

weathers_data = getSixDayWeather(match_data) 
if weathers_data == None: 
    print 'get six day info fail' 
    exit(0)

count = len(weathers_data); 
groups_item_count = count / 6; 
weathers = {}; 
groups = [];

start = 0 
for item in weathers_data : 
    if (start % groups_item_count) == 0: 
        groups = []; 
        weathers[('day'+str(start/groups_item_count + 1))] = groups;

groups.append(item) 
    start = start + 1

print simplejson.dumps(weathers, encoding='UTF-8', ensure_ascii=False)

注：本文中使用了第三方JSON库simplejson，安装方法参考下面：
1.下载：http://pypi.python.org/pypi/simplejson/ ，文件为压缩文件
2.解压：可以直接右键：解压文件.例如：D:/simplejson
3.开始---运行---输入命令：cmd
4.进入到目录（如：D:/simplejson）


代码如下:

cd D:/simplejson

5.运行安装文件：setup.py install

赞 (0)

相关推荐

  • Python天气预报采集器实现代码(网页爬虫)

    爬虫简单说来包括两个步骤:获得网页文本.过滤得到数据. 1.获得html文本. python在获取html方面十分方便,寥寥数行代码就可以实现我们需要的功能. 复制代码 代码如下: def getHtml(url): page = urllib.urlopen(url) html = page.read() page.close() return html 这么几行代码相信不用注释都能大概知道它的意思. 2.根据正则表达式等获得需要的内容. 使用正则表达式时需要仔细观察该网页信息的结构,并写出正

  • Python爬取国外天气预报网站的方法

    本文实例讲述了Python爬取国外天气预报网站的方法.分享给大家供大家参考.具体如下: crawl_weather.py如下: #encoding=utf-8 import httplib import urllib2 import time from threading import Thread import threading from Queue import Queue from time import sleep import re import copy lang = "fr&qu

  • python显示天气预报

    复制代码 代码如下: import urllib2import jsonimport stringurl ='http://m.weather.com.cn/data/101090502.html're = urllib2.urlopen(url).read()we = json.loads(re)['weatherinfo']print we['city'] , we['date_y'].center(30) ,   we['week']print we['temp1'], we['weath

  • python结合API实现即时天气信息

    python结合API实现即时天气信息

    python结合API实现即时天气信息 import urllib.request import urllib.parse import json """ 利用"最美天气"抓取即时天气情况 http://www.zuimeitianqi.com/ """ class ZuiMei(): def __init__(self): self.url = 'http://www.zuimeitianqi.com/zuimei/quer

  • Python实现从百度API获取天气的方法

    本文实例讲述了Python实现从百度API获取天气的方法.分享给大家供大家参考.具体实现方法如下: 复制代码 代码如下: __author__ = 'saint' import os import urllib.request import urllib.parse import json class weather(object):     # 获取城市代码的uri     code_uri = "http://apistore.baidu.com/microservice/cityinfo?

  • python解析中国天气网的天气数据

    使用方法:terminal中输入 复制代码 代码如下: python weather.py http://www.weather.com.cn/weather/101010100.shtml 北京6天的天气数据 json格式 复制代码 代码如下: #coding=utf-8  #weather.py  import urllib  import re  import simplejson  import sys if len(sys.argv) != 2:      print 'please

  • python解析发往本机的数据包示例 (解析数据包)

    tcp.py 复制代码 代码如下: # -*- coding: cp936 -*-import socketfrom struct import *from time import ctime,sleepfrom os import system system('title tcp sniffer')system('color 05') # the public network interfaceHOST = socket.gethostbyname(socket.gethostname())

  • Python爬虫之获取心知天气API实时天气数据并弹窗提醒

    Python爬虫之获取心知天气API实时天气数据并弹窗提醒

    一.心知天气API密钥获取 首先,访问https://www.seniverse.com,进行登录或者注册操作,然后在控制台上创建一个免费版的项目,创建后,项目信息为: 复制你的私钥信息,来到官方文档,发现API地址为: 在文档中,可以看到查询的API网址,接下来,把url中的参数key改为你的密钥,访问,返回的json数据: 二.编写代码 代码如下: import requests from plyer import notification """ plyer是用来显示弹

  • python 爬取天气网卫星图片

    python 爬取天气网卫星图片

    项目地址: https://github.com/MrWayneLee/weather-demo 代码部分 下载生成文件功能 # 下载并生成文件 def downloadImg(imgDate, imgURLs, pathName): a,s,f = 0,0,0 timeStart = time.time() while a < len(imgURLs): req = requests.get(imgURLs[a]) imgName = str(imgURLs[a])[-13:-9] print

  • java调用中国天气网api获得天气预报信息的方法

    本文实例讲述了java调用中国天气网api获得天气预报信息的方法.分享给大家供大家参考.具体实现方法如下: //以冰城哈尔滨为例通过中国天气api调用天气信息 private String getWeatherInfo2(){ StringBuilder info = new StringBuilder(); try { DefaultHttpClient httpclient = new DefaultHttpClient(); HttpGet httget = new HttpGet("ht

  • python趣味挑战之爬取天气与微博热搜并自动发给微信好友

    python趣味挑战之爬取天气与微博热搜并自动发给微信好友

    一.系统环境 1.python 3.8.2 2.webdriver(用于驱动edge) 3.微信电脑版 4.windows10 二.爬取中国天气网 因为中国天气网的网页是动态生成的,所以不能直接爬取到数据,需要先使用webdriver打开网页并渲染完成,然后保存网页源代码,使用beautifulsoup分析数据.爬取的数据包括实时温度.最高温度与最低温度.污染状况.风向和湿度.紫外线状况.穿衣指南八项数据. def getZZWeatherAndSendMsg(): HTML1='http://

  • 使用Python解析JSON数据的基本方法

    Python的json模块提供了一种很简单的方式来编码和解码JSON数据. 其中两个主要的函数是 json.dumps() 和 json.loads() , 要比其他序列化函数库如pickle的接口少得多. 下面演示如何将一个Python数据结构转换为JSON: import json data = { 'name' : 'ACME', 'shares' : 100, 'price' : 542.23 } json_str = json.dumps(data) 下面演示如何将一个JSON编码的字

  • python小程序基于Jupyter实现天气查询的方法

    天气查询python小程序第0步:导入工具库第一步:生成查询天气的url链接第二步:访问url链接,解析服务器返回的json数据,变成python的字典数据第三步:对字典进行索引,获取气温.风速.风向等天气信息第四步:遍历forecast列表中的五个元素,打印天气信息完整Python代码 本案例是一个非常有趣的python小程序,调用网络API查询指定城市的天气,并打印输出天气信息. 你将学到以下技能: 向网络API发起请求,解析和处理服务器返回的json数据,可以迁移到各种各样的API中,如P

  • Python爬虫+tkinter界面实现历史天气查询的思路详解

    Python爬虫+tkinter界面实现历史天气查询的思路详解

    今天给大家分享用Python 爬虫+tkinter界面来实现历史天气查询. 一.实现效果 运行效果 运行效果如下: 二.基本思路 导入用到的库 import requests from lxml import etree import re import tkinter as tk from PIL import Image, ImageTk from xpinyin import Pinyin 1. 爬虫部分 目标url:https://lishi.tianqi.com/ 该网站提供了全国34

  • Python爬虫实战之网易云音乐加密解析附源码

    Python爬虫实战之网易云音乐加密解析附源码

    目录 环境 知识点 第一步 第二步 开始代码 先导入所需模块 请求数据 提取我们真正想要的 音乐的名称 id 导入js文件 保存文件 完整代码 环境 python3.8 pycharm2021.2 知识点 requests >>> pip install requests execjs >>> pip install PyExecJS 第一步 打开这个网站 在里面去分析我们需要的数据 每个音乐的名称 id 去网页源代码查找数据,发现并没有,这个网页 并不是一个静态页面

随机推荐