在 Linux/Mac 下为Python函数添加超时时间的方法

我们在使用 requests 这类网络请求第三方库时，可以看到它有一个参数叫做 timeout ，就是指在网络请求发出开始计算，如果超过 timeout 还没有收到返回，就抛出超时异常。(当然存在特殊情况timeout 会失效，请看Timeouts and cancellation for humans* 这篇文章中作者的举例，我们不考虑这种特殊情况）。

但大家有没有考虑过，如何为普通的函数设置超时时间？特别是在运行一些数据处理、AI 相关的代码时，某个函数可能会运行很长时间，我们想实现，在函数运行超过特定的时间时，自动报错。

例如有这样一个场景，我写了一个函数 calc_statistic(datas) ，根据用户传入的数据计算某个值。但如果用户传入的数据非常大，这个函数就可能运行很长时间。我想设置让这个函数最多运行10秒钟。如果10秒还没有运行完成，就报错。应该怎么办呢？

如果你的电脑操作系统是 Linux 或者 macOS，那么 可以使用 signal 来解决。

在公众号前几天的文章中，我们介绍了使用signal来接管键盘的中断信号，用到的是 signal.SIGINT 。今天我们要用到的是 signal.SIGALRM 。

首先我们来看看这个信号的使用方法：

import time
import signal
def handler(signum, _):
  print('定时到！')
  raise Exception('定时到了！')
def clac_statistic(datas):
  time.sleep(100)
signal.signal(signal.SIGALRM, handler)
signal.alarm(5)
clac_statistic('xxx')

运行效果如下图所示：

首先绑定 signal.SIGALRM 事件到 handler 函数中，然后使用 signal.alarm(10) 延迟10秒发送一个信号。10秒到了以后，函数 handler 被运行。在函数中抛出了一个异常，导致程序结束。 clac_statistic 函数原本要运行100秒，但是在10秒以后就停止了，从而实现了函数的超时功能。

基于以上原理，我们实现一个装饰器，来简化为不同函数设置超时功能：

import time
import signal
class FuncTimeoutException(Exception):
  pass
def handler(signum, _):
  raise FuncTimeoutException('函数定时到了！')
def func_timeout(times=0):
  def decorator(func):
    if not times:
      return func
    def wraps(*args, **kwargs):
      signal.alarm(times)
      result = func(*args, **kwargs)
      signal.alarm(0) # 函数提前运行完成，取消信号
      return result
    return wraps
  return decorator
signal.signal(signal.SIGALRM, handler)

我们来试一试测试一下这个函数超时装饰器。首先测试函数的运行时间小于超时时间时，程序正常运行没有问题：

再来测试一下函数运行时间超过超时时间的情况：

正常抛出 FuncTimeoutException 异常。

那我们在实际使用中，可以使用 try...except FuncTimeoutException 捕获这个异常，然后实现自定义的处理流程，例如：

try:
  clac_statistic(100)
except FuncTimeException:
  print('该函数运行超时，运行自定义的处理流程')

当然你如果想直接跳过这个异常也没问题：

import contextlib:
with contextlib.supress(FuncTimeException):
  clac_statistic(100)

总结

以上所述是小编给大家介绍的在 Linux/Mac 下为Python函数添加超时时间的方法，希望对大家有所帮助，也非常感谢大家对我们网站的支持！

赞 (0)

相关推荐

  • Python中为feedparser设置超时时间避免堵塞

    python有一个用于解析feed的模块:feedparser,feedparser解析各种feed是非常方便的,唯一比较恼火的是遇到一些badurl,经常会导致堵塞,因此需要为feedparser设置一个超时时间. 可是feedparser并没有提供这个功能,只好采用其他方法了,具体办法请参看feedparser项目的issue221. 其实也很简单,按照上面文档的说明 developers have had the ability to set a global timeout for ov

  • python脚本设置超时机制系统时间的方法

    python脚本设置超时机制系统时间的方法

    本文为大家介绍了python脚本设置系统时间的方法,一共有两种,其一是调用socket直接发送udp包到国家授时中心,其二是调用ntplib包.我在本地电脑ping 国家授时中心地址cn.pool.ntp.org有时出现丢包,然而,二者都没有检查udp是否丢包的机制,方法一在udp丢包后一直处于阻塞状态无法退出,方法二虽然会提示超时,但是不再做其它尝试,比如重新发包,或者向同一个域名的不同IP地址发包.于是,尝试在方法一的代码基础上,增加了超时机制,并且尝试向同一个域名的不同IP地址发包. 具体

  • python设定并获取socket超时时间的方法

    python写法 import socket def test_socket_timeout(): s = socket.socket(socket.AF_INET, socket.SOCK_STREAM) print "Default socket timeout: %s" %s.gettimeout() s.settimeout(100) print "Current socket timeout: %s" %s.gettimeout() if __name__

  • Python装饰器限制函数运行时间超时则退出执行

    实际项目中会涉及到需要对有些函数的响应时间做一些限制,如果超时就退出函数的执行,停止等待. 可以利用python中的装饰器实现对函数执行时间的控制. python装饰器简单来说可以在不改变某个函数内部实现和原来调用方式的前提下对该函数增加一些附件的功能,提供了对该函数功能的扩展. 方法一. 使用 signal # coding=utf-8 import signal import time def set_timeout(num, callback): def wrap(func): def h

  • Python 2.x如何设置命令执行的超时时间实例

    前言 在Python2.x中的几个用来执行命令行的库或函数在执行命令是均不能设置一个命令执行的超时时间,用来在命令执行时间超时时终端这个命令的执行,这个功能在3.x(?)中解决了,但是在2.x还是只能自己实现.下面话不多说了,来一起看看详细的介绍吧. 下面就简单实现了一个版本: import subprocess from threading import Timer def call(args, timeout): p = subprocess.Popen(args, stdout=subpr

  • 在 Linux/Mac 下为Python函数添加超时时间的方法

    我们在使用 requests 这类网络请求第三方库时,可以看到它有一个参数叫做 timeout ,就是指在网络请求发出开始计算,如果超过 timeout 还没有收到返回,就抛出超时异常.(当然存在特殊情况timeout 会失效,请看Timeouts and cancellation for humans* 这篇文章中作者的举例,我们不考虑这种特殊情况). 但大家有没有考虑过,如何为普通的函数设置超时时间?特别是在运行一些数据处理.AI 相关的代码时,某个函数可能会运行很长时间,我们想实现,在函数

  • 在Mac下使用python实现简单的目录树展示方法

    在Linux或者Windows下想要查看目录树都可以通过tree命令来实现,两个操作系统中的操作也很相似.使用Linux时,最初以为这是shell中都有这个命令可用.结果使用Mac的时候发现并没有这个命令. 为了实现类似的功能,使用python做了一个简单的小脚本.实现不了漂亮的目录树,但是可以实现文件以及所在目录的列表打印. 编写代码如下: #!/usr/bin/python import os pwd = os.getcwd() for root,dirs,files in os.walk(

  • linux环境下安装python虚拟环境及注意事项

    创建python虚拟环境virtualenv.virtualenvwrapper 1,为什么需要搭建虚拟环境 由于当机器上两个项目依赖于相同包的不同版本时,会导致项目运行失败,此时可以安装虚拟环境 . 2,什么是虚拟环境 虚拟环境就是python环境的复制版本 创建虚拟环境时需要有网络连接 3,安装python.pip.virtualenv ubuntu: sudo apt-get install python3 # 安装python3 sudo apt-get install python-p

  • 在linux系统下安装python librtmp包的实现方法

    安装librtmp包需要依赖环境较多,机器上已经安装了python2.7版本,安装librtmp包之前需要先安装依赖环境. 1.安装gcc和依赖包 yum install gcc* python-devel libffi-dev* -y 2.安装librtmp 从git上下载源码: git clone git://git.ffmpeg.org/rtmpdump cd rtmpdump/librtmp/ make && make install 3.安装setuptools wget -S

  • 解决Mac下使用python的坑

    操作系统:macOS High Sierra 10.13.3 Python3.6 因为此版本自带python2.7,就下载并安装了anaconda2的版本,结果使用的时候系统自带的python和anaconda里的python冲突,也就是装包的时候只在一处装了,另一处却不能使用.因此要配置环境变量,替代到系统自带的版本. python2.7总会发生中文字体乱码的情况,果断放弃,准备使用anaconda3. 1.安装anaconda3 在官网下载,并安装,直接都是下一步. 2.修改环境变量 在命令

  • 在mac下查找python包存放路径site-packages的实现方法

    想查找mac下python的site-packages目录,如果用网上搜的安装目录之类的去找,进去每一层很多都是软链接形式存在,比较浪费时间: 比较快捷的方法如下: MacBook-Pro-6:Scrapy-1.5.0 haizhi$ python Python 2.7.10 (default, Jul 30 2016, 18:31:42) [GCC 4.2.1 Compatible Apple LLVM 8.0.0 (clang-800.0.34)] on darwin Type "help&

  • Linux下安装grafana并且添加influxdb监控的方法

    安装grafana,官网提供了ubuntu的安装包,直接进行安装 wget https://dl.grafana.com/oss/release/grafana_6.5.1_amd64.deb dpkg -i grafana_6.5.1_amd64.deb update-rc.d grafana-server defaults 95 10 service grafana-server start 使用influxdb的http api添加数据和查询数据 添加数据 while true;do cu

  • Python函数装饰器常见使用方法实例详解

    本文实例讲述了Python函数装饰器常见使用方法.分享给大家供大家参考,具体如下: 一.装饰器 首先,我们要了解到什么是开放封闭式原则? 软件一旦上线后,对修改源代码是封闭的,对功能的扩张是开放的,所以我们应该遵循开放封闭的原则. 也就是说:我们必须找到一种解决方案,能够在不修改一个功能源代码以及调用方式的前提下,为其加上新功能. 总结:原则如下: 1.不修改源代码 2.不修改调用方式 目的:在遵循1和2原则的基础上扩展新功能. 二.什么是装饰器? 器:指的是工具, 装饰:指的是为被装饰对象添加

  • 在Linux环境下采用压缩包方式安装JDK 13的方法

    什么是JDK? 好吧如果你不知道这个问题的话我实在是不知道你为什么要装这个东西. JDK(Java Development Kit)是Sun公司(后被Oracle收购)推出的面向对象程序设计语言的开发工具包,拥有这个工具包之后我们就可以使用Java语言进行程序设计和开发. 而今天我们要在Linux环境 下对这个东西进行部署以便能够进行开发,并且是以压缩包解压的方式进行安装,之所以不用rpm方式安装主要是为了能够在所有Linux系统上都通用,rpm和deb最多只能在Red Hat和Debian旗下

  • python函数不定长参数使用方法解析

    这篇文章主要介绍了python函数不定长参数使用方法解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 pathon中的函数可以使用不定长参数,可以用参数*args接收单个出现的参数,接收后存成一个元组:用**kwargs接收以键值对形式出现的参数,接收后存丰一个字典.下面的小程序能说明这个问题 代码如下: def print_info(*args,**kwargs): for i in args: print(i) for i in kwar

随机推荐