Python实现JSON反序列化类对象的示例

我们的网络协议一般是把数据转换成JSON之后再传输。之前在Java里面,实现序列化和反序列化,不管是 jackson ,还是 fastjson 都非常的简单。现在有项目需要用Python来开发,很自然的希望这样的便利也能在Python中体现。

但是在网上看了一些教程,讲反序列化的时候,基本都是转换为 dict 或者 array 。这种编程方式我从情感上是无法接受的。难道是这些JSON库都不支持反序列化为类对象?我马上打消了这个念头,Python这样强大的脚本语言,不可能没有完善的JSON库。

于是我就研究了一下原生的 json ,以及第三方的 demjson 和 simplejson 。

一、原生json

我仔细研究了原生 json 的 loads 方法的定义

代码如下:

def loads(s, encoding=None, cls=None, object_hook=None, parse_float=None, parse_int=None, parse_constant=None, object_pairs_hook=None, **kw)

这里面的 object_hook 和 object_pairs_hook 参数引起了我的注意,我重点说一下 object_hook 。

官方文档的说明如下:

object_hook is an optional function that will be called with the result of any object literal decoded (a dict). The return value of object_hook will be used instead of the dict. This feature can be used to implement custom decoders (e.g. JSON-RPC class hinting).

这个 object_hook 根据文档的解释就是一个自定义解码函数,入参数标准反序列化后的dict,我们可以根据自己的规则转换输出为想要的格式。

我又去搜了一下 object_hook ,大家对于这个东西的处理方式基本就是用一个静态方法把dict转换成对象。

我们的数据结构是这样的

{"status":1,"info":"发布成功","data":{"id":"52","feed_id":"70"}}

于是我就写了这样的代码:

class Response:

  def __init__(self, status, info, data) -> None:
    super().__init__()
    self.status = status
    self.info = info
    self.data = data

  @staticmethod
  def object_hook(d):
    return Response(d['status'], d['info'], d['data'])
 ...
resp = json.loads(body, object_hook=Response.object_hook)

一开始呢,确实没有问题,虽然用起来没有java的json库辣么方便,但总归实现了需求。

好景不长,我测试的第一个接口返回的数据中, data 是字段一个字符串,反序列化正常。可是后来当接口返回的结构中 data 字段是一个dict结构的时候, object_hook 的入参居然变成了 data 字段转换之后的dict( {"id":"52","feed_id":"70"} ),而不是完整的数据。

这些懵逼了,上网搜索了一圈没有结论。于是上网搜了一圈,也没有结论。 好吧,我最后又回到官方文档, read the fucking official document 。

不看不知道,一看吓一跳,官方文档用了一种巧妙的方式实现了上面的需求。

>>> class JSONObject:
...   def __init__(self, d):
...     self.__dict__ = d
...
>>>
>>> data = json.loads(s, object_hook=JSONObject)
>>> data.name
'ACME'
>>> data.shares
50
>>> data.price
490.1
>>>

我服了,把json解析之后的dict直接赋值给对象的属性dict,然后就可以随心所欲的使用属性了,真心方便,动态语言就是好。

以上是官方的json库实现方案,那另外两个知名的第三方库呢?

二、demjson

demjson 也支持 hook 。有两种配置的方式: decode 函数配置和 set_hook 函数配置

1. decode

def decode( txt, encoding=None, **kwargs )

decode 函数可以指定很多参数,其中就包括 hook 函数。 hook 函数的指定是使用键值对的方式,键是 hook 函数的名称,值是 hook 函数。

demjson是通过名字来管理hook函数的,所以hookname不是随便指定的,必须是内置的几种hook函数的名称。

  1. decode_number
  2. decode_float
  3. decode_object
  4. decode_array
  5. decode_string
  6. encode_value
  7. encode_dict
  8. encode_dict_key
  9. encode_sequence
  10. encode_bytes
  11. encode_default
demjson.decode(body, encode='utf-8',decode_obbject=Reponse.object_hook)

结果并没有让我很开森,依然是无法处理嵌套结构。 日志中显示如下内容:

2018-01-30 16:01:17,137 poster.py post_all 73 INFO    : {"status":1,"info":"\u53d1\u5e03\u6210\u529f","data":{"id":"54","feed_id":"72"}}
2018-01-30 16:01:17,138 response.py object_hook 13 INFO    : {'id': '54', 'feed_id': '72'}
2018-01-30 16:01:17,138 response.py object_hook 13 INFO    : {'status': 1, 'info': '发布成功', 'data': demjson.undefined}

很奇怪的是 object_hook 函数被调用了两次,第一次是 data 字段的内容,第二是全部的内容,但是 data 字段没有解析出来。 非常奇怪,百思不得其解!!!

2. set_hook

set_hook 函数跟上面的 decode 函数不一样,它是 JSON 类的成员函数,而 decode 函数是个静态函数。

def set_hook(self, hookname, function)

吸取之前的教训,这次我仔细阅读了demjson的文档,还真发现点东西。

Netsted values. When decoding JSON that has nested objects or arrays, the decoding hooks will be called once for every corresponding value, even if nested. Generally the decoding hooks will be called from the inner-most value outward, and then left to right.

这里重点说到嵌套的问题,出现嵌套的时候,每个对应的类型都会调用 hook 函数一次,而且是从最内层,从左往右。好吧,之前出现的问题全部明白了,原来都是这个规则惹的祸,但是为什么这样设计我暂时还是不明白。

set_hook 的使用方式

j = demjson.JSON()
  j.set_hook( 'decode_array', my_sort_array )
  j.decode(body, encode='utf-8')

三、simplejson

前面说了那么多, simplejson 的方式就没什么可说的,跟官方的 json 库 hook 方式一致。

总结

虽然我的需求是满足了,但是还是有一个大大的问号留在我心中,为什么是这样设计,网上没有找到合适的答案,剩下的需要研究源代码分析了。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持我们。

您可能感兴趣的文章:

  • 详解Python 序列化Serialize 和 反序列化Deserialize
  • 老生常谈Python序列化和反序列化
  • 详解Python中的序列化与反序列化的使用
  • python3序列化与反序列化用法实例
  • Python pickle类库介绍(对象序列化和反序列化)
  • Python Json序列化与反序列化的示例
时间: 2018-01-28

老生常谈Python序列化和反序列化

通过将对象序列化可以将其存储在变量或者文件中,可以保存当时对象的状态,实现其生命周期的延长.并且需要时可以再次将这个对象读取出来.Python中有几个常用模块可实现这一功能. pickle模块 存储在变量中 dumps(obj)返回存入的字节 dic = {'age': 23, 'job': 'student'} byte_data = pickle.dumps(dic) # out -> b'\x80\x03}q\x00(X\x03\x00\x00\...' print(byte_data)

详解Python中的序列化与反序列化的使用

学习过marshal模块用于序列化和反序列化,但marshal的功能比较薄弱,只支持部分内置数据类型的序列化/反序列化,对于用户自定义的类型就无能为力,同时marshal不支持自引用(递归引用)的对象的序列化.所以直接使用marshal来序列化/反序列化可能不是很方便.还好,python标准库提供了功能更加强大且更加安全的pickle和cPickle模块. cPickle模块是使用C语言实现的,所以在运行效率上比pickle要高.但是cPickle模块中定义的类型不能被继承(其实大多数时候,我们

Python Json序列化与反序列化的示例

不同的编程语言有不同的数据类型; 比如说: Python的数据类型有(dict.list.string.int.float.long.bool.None) Java的数据类型有(bool.char.byte.short.int.long.float.double) C的数据类型有(bit.bool.char.int.short.long.unsigned.double.float) Tcl的数据类型(int.bool.float.string) Ruby的数据类型(Number.String.R

python3序列化与反序列化用法实例

本文实例讲述了python3序列化与反序列化用法.分享给大家供大家参考.具体如下: #coding=utf-8 import pickle aa={} aa["title"]="我是好人" aa["num"]=2 t=pickle.dumps(aa)#序列化这个字典 print(t) f=pickle.loads(t)#反序列化,还原原来的状态 print(f) 运行结果如下: (dp0 S'num' p1 I2 sS'title' p2 S'\

详解Python 序列化Serialize 和 反序列化Deserialize

详解Python 序列化Serialize 和 反序列化Deserialize 序列化 (serialization) 序列化是将对象状态转换为可保持或传输的格式的过程.与序列化相对的是反序列化, 它将流转换为对象.这两个过程结合起来,可以轻松地存储和传输数据. 序列化和反序列化的目的 1.以某种存储形式使自定义对象持久化: 2.将对象从一个地方传递到另一个地方. 3.使程序更具维护性 序列化   由于存在于内存中的对象都是暂时的,无法长期驻存,为了把对象的状态保持下来,这时需要把对象写入到磁盘

Python pickle类库介绍(对象序列化和反序列化)

一.pickle pickle模块用来实现python对象的序列化和反序列化.通常地pickle将python对象序列化为二进制流或文件.   python对象与文件之间的序列化和反序列化: 复制代码 代码如下: pickle.dump() pickle.load() 如果要实现python对象和字符串间的序列化和反序列化,则使用: 复制代码 代码如下: pickle.dumps() pickle.loads() 可以被序列化的类型有: * None,True 和 False; * 整数,浮点数

Python pickle模块实现对象序列化

这篇文章主要介绍了Python pickle模块实现对象序列化,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 作用 对Python对象进行序列化,便于存储和传输 Python对象序列化成bytes类型 pickle.dumps(obj) 将Python对象转化为bytes类型 pickle.loads(str) 将转化成的bytes类型数据还原成对象 Python 3.7.0 (v3.7.0:1bf9cc5093, Jun 27 2018, 0

详解Java 对象序列化和反序列化

之前的文章中我们介绍过有关字节流字符流的使用,当时我们对于将一个对象输出到流中的操作,使用DataOutputStream流将该对象中的每个属性值逐个输出到流中,读出时相反.在我们看来这种行为实在是繁琐,尤其是在这个对象中属性值很多的时候.基于此,Java中对象的序列化机制就可以很好的解决这种操作.本篇就简单的介绍Java对象序列化,主要内容如下: 简洁的代码实现 序列化实现的基本算法 两种特殊的情况 自定义序列化机制 序列化的版本控制 一.简洁的代码实现 在介绍对象序列化的使用方法之前,先看看

Java中对象序列化与反序列化详解

本文实例讲述了Java中对象序列化与反序列化.分享给大家供大家参考.具体如下: 一.简介 对象序列化(Serializable)是指将对象转换为字节序列的过程,而反序列化则是根据字节序列恢复对象的过程. 序列化一般用于以下场景: 1.永久性保存对象,保存对象的字节序列到本地文件中: 2.通过序列化对象在网络中传递对象: 3.通过序列化在进程间传递对象. 对象所属的类必须实现Serializable或是Externalizable接口才能被序列化.对实现了Serializable接口的类,其序列化

详解Java中对象序列化与反序列化

序列化 (Serialization)是将对象的状态信息转换为可以存储或传输的形式的过程.一般将一个对象存储至一个储存媒介,例如档案或是记亿体缓冲等.在网络传输过程中,可以是字节或是XML等格式.而字节的或XML编码格式可以还原完全相等的对象.这个相反的过程又称为反序列化. Java对象的序列化与反序列化 在Java中,我们可以通过多种方式来创建对象,并且只要对象没有被回收我们都可以复用该对象.但是,我们创建出来的这些Java对象都是存在于JVM的堆内存中的.只有JVM处于运行状态的时候,这些对

java对象序列化与反序列化的默认格式和json格式使用示例

默认格式 复制代码 代码如下: public class MyClass implements Serializable{...} 序列化: 复制代码 代码如下: ObjectOutputStream output = new ObjectOutputStream(new FileOutputStream(outputPath)); output.writeObject(myObject); 反序列化: 复制代码 代码如下: ObjectInputStream input = new Objec

java 对象的序列化和反序列化详细介绍

最近周末,对java 的基础知识做了一个整理,其中java 序列化和反序列化的资料进行了详细整理,这里做个笔记,希望也能帮助到读到此文的朋友. 一.序列化和反序列化的概念 把对象转换为字节序列的过程称为对象的序列化. 把字节序列恢复为对象的过程称为对象的反序列化. 对象的序列化主要有两种用途: 1) 把对象的字节序列永久地保存到硬盘上,通常存放在一个文件中: 2) 在网络上传送对象的字节序列. 在很多应用中,需要对某些对象进行序列化,让它们离开内存空间,入住物理硬盘,以便长期保存.比如最常见的是

Java对象的序列化与反序列化详解

一.序列化和反序列化的概念 把对象转换为字节序列的过程称为对象的序列化,把字节序列恢复为对象的过程称为对象的反序列化. 对象的序列化主要有两种途径: Ⅰ . 把对象的字节序列永久地保存到硬盘上,通常存放在一个文件中 Ⅱ.  在网络上传送对象的字节序列. 当两个进程在进行远程通信时,彼此可以发送各种类型的数据.无论是何种类型的数据,都会以二进制序列的形式在网络上传送.发送方需要把这个Java对象转换为字节序列,才能在网络上传送:接收方则需要把字节序列再恢复为Java对象. 二.序列化API 1.

java中对象的序列化与反序列化深入讲解

引言: 序列化就是一种用来处理对象流的机制,所谓对象流也就是将对象的内容进行流化.可以对流化后的对象进行读写操作,也可将流化后的对象传输于网络之间.序列化是为了解决在对对象流进行读写操作时所引发的问题. 把对象转换为字节序列的过程称为对象的序列化. 把字节序列恢复为对象的过程称为对象的反序列化. 在很多应用中,需要对某些对象进行序列化,让它们离开内存空间,入住物理硬盘,以便长期保存.比如最常见的是Web服务器中的Session对 象,当有 10万用户并发访问,就有可能出现10万个Session对