了解不常见但是实用的Python技巧

一般来说,用pandas处理小于100兆的数据,性能不是问题.当用pandas来处理100兆至几个G的数据时,将会比较耗时,同时会导致程序因内存不足而运行失败. 当然,像Spark这类的工具能够胜任处理100G至几个T的大数据集,但要想充分发挥这些工具的优势,通常需要比较贵的硬件设备.而且,这些工具不像pandas那样具有丰富的进行高质量数据清洗.探索和分析的特性.对于中等规模的数据,我们的愿望是尽量让pandas继续发挥其优势,而不是换用其他工具. 本文我们讨论pandas的内存使用,展示怎样

密码学俱乐部的第一条规则是:永远不要自己发明密码系统.密码学俱乐部的第二条规则是:永远不要自己实现密码系统:在现实世界中,在实现以及设计密码系统阶段都找到过许多漏洞. Python 中的一个有用的基本加密库就叫做 cryptography .它既是一个"安全"方面的基础库,也是一个"危险"层."危险"层需要更加小心和相关的知识,并且使用它很容易出现安全漏洞.在这篇介绍性文章中,我们不会涵盖"危险"层中的任何内容! crypto

Python 开发中有哪些高级技巧?这是知乎上一个问题,我总结了一些常见的技巧在这里,可能谈不上多高级,但掌握这些至少可以让你的代码看起来 Pythonic 一点.如果你还在按照类C语言的那套风格来写的话,在 code review 恐怕会要被吐槽了. 列表推导式 >>> chars = [ c for c in 'python' ] >>> chars ['p', 'y', 't', 'h', 'o', 'n'] 字典推导式 >>> dict1 =

Python时间日期转换在开发中是非常高频的一个操作,你经常会遇到需要将字符串转换成 datetime 或者是反过来将 datetime 转换成字符串. datetime 分别提供了两个方法 strptime 和 strftime ,但是我们老是被这两个方法搞混,不知道哪个是字符串转 datetime,哪个是 datetime 转字符串,每次都要去百度 Google 一下,或者跑去查个文档. 其实,这两个方法可以稍微用点技巧把这两个方法记住,而且是永远的记住. strptime strptime

本文为你介绍Pandas隐藏的炫酷小技巧,我相信这些会对你有所帮助. 或许本文中的某些命令你早已知晓,只是没意识到它还有这种打开方式. Pandas是一个在Python中广泛应用的数据分析包.市面上有很多关于Pandas的经典教程,但本文介绍几个隐藏的炫酷小技巧,我相信这些会对你有所帮助. 1. read_csv 这是读取数据的入门级命令.当要你所读取的数据量特别大时,试着加上这个参数nrows = 5,就可以在载入全部数据前先读取一小部分数据.如此一来,就可以避免选错分隔符这样的错误啦(数据不

目录 1.唯一性 2.变位词(相同字母异序词) 3.内存 4.字节大小 5.打印N次字符串 6.首字母大写 7.列表细分 8.压缩 9.计数 10.链式比较 11.逗号分隔 12.元音计数 13.首字母小写 14.展开列表 15.寻找差异 16.输出差异 17.链式函数调用 18. 19.将两个列表转换为字库 20.出现频率最高的元素 21.回文(正反读有一样的字符串) 22.不用if-else语句的计算器 23.随机排序 24.展开列表 1.唯一性 以下方法可以检查给定列表是否有重复的地方,可

译者 | 豌豆花下猫 声明 :本文获得原作者授权翻译,转载请保留原文出处,请勿用于商业或非法用途. 有许许多多文章写了 Python 中的许多很酷的特性,例如变量解包.偏函数.枚举可迭代对象,但是关于 Python 还有很多要讨论的话题,因此在本文中,我将尝试展示一些我知道的和在使用的,但很少在其它文章提到过的特性.那就开始吧. 1.对输入的字符串"消毒" 对用户输入的内容"消毒",这问题几乎适用于你编写的所有程序.通常将字符转换为小写或大写就足够了,有时你还可以使

自带库 一.datetime datetime是Python处理日期和时间的标准库. 1.获取当前日期和时间 >>> from datetime import datetime >>> now = datetime.now() >>> print(now) 2021-06-14 09:33:10.460192 >>> print(type(now)) <class 'datetime.datetime'> 2.获取指定日期

目录 1.定义匿名或内联函数 2.在匿名函数中绑定变量的值 3.让带有n个参数的可调用对象以较少的参数调用 4.在回调函数中携带额外的状态 1.定义匿名或内联函数 如果我们想提供一个短小的回调函数供sort()这样的函数用,但不想用def这样的语句编写一个单行的函数,我们可以借助lambda表达式来编写"内联"式的函数. 如下图所示: add = lambda x, y: x + y print(add(2, 3)) # 5 print(add("hello", &

目录 1.元组拆分 2.字符串拆分 3.拆分时丢弃值 4.嵌套序列拆分 5.从任意长度的可迭代对象中拆分 Python中的任何序列(可迭代的对象)都可以通过赋值操作进行拆分,包括但不限于元组.列表.字符串.文件.迭代器.生成器等. 1.元组拆分 元组拆分是最为常见的一种拆分,示例如下: p = (4, 5) x, y = p print(x, y) # 4 5 如果写成 x, y, z = p 那么就会抛出ValueError异常: "not enough values to unpack (e

目录 1.引言 2.Trick 1 3.Trick 2 4.Trick3 5.Trick4 6.Trick5 7.Trick6 8.Trick7 9.Trick8 10.Trick9 11.总结 1.引言 本文是Python生态系统中一些有用技巧的分享.大多数技巧只是使用标准库中的包,但其他一些技巧会涉及一些第三方包. 在开始阅读本文内容之前,我们首先来回顾一下Python中的Iterables的概念. 根据Python标准文档,Iterable的概念如下: 一种能够一次返回一个成员的对象. i

前言 最近分享的一些源码.框架设计的东西.我发现大家热情不是特别高,想想大多数应该还是正儿八经写代码的居多:这次就分享一点接地气的: SpringBoot 使用中的一些小技巧. 算不上多高大上的东西,但都还挺有用. 屏蔽外部依赖 第一个是屏蔽外部依赖,什么意思呢? 比如大家日常开发时候有没有这样的烦恼: 项目是基于 SpringCloud 或者是 dubbo 这样的分布式服务,你需要依赖许多基础服务. 比如说某个订单号的生成.获取用户信息等. 由于服务拆分,这些功能都是在其他应用中以接口的形式提