日常前言 最近接 到一个抢票的爬虫外包,那个网站及其之捞,访问购票地址竟然还要排队,在购票高峰临时升一下服务器配置不行吗-没办法,甲方爸爸的要求还得做啊,其中一个障碍便是目标网站的后端限制了访问频次,俗话说:"上有政策,下有对策." 立刻想到了多线程 + 多代理的方式进行访问. 但此时问题便来了,多代理还好说,再写个爬虫爬一堆下来就好,多线程可就麻烦多了,多线程一旦发出去了,基本等同于失控的状态,你无法去结束或者是重启一个线程,最多只能是获取线程的信息,没有实际的控制权,而且Pytho
Python多线程的退出控制实现
Selenium webdriver添加cookie实现过程详解
一. webdriver中常用的cookie方法 webdriver中提供了操作cookie的相关方法: get_cookies() 获得cookie信息 add_cookie(cookie_dict) 添加cookie delete_cookie(name) 删除特定(部分)的cookie delete_all_cookies() 删除所有的cookie 二. add_cookie()的用法 1. 源码中的解释 源码中简略的向我们展示了如何添加cookie,源码如下: def add_cook
springboot-2.3.x最新版源码阅读环境搭建(基于gradle构建)
一.前言 跟很多小伙伴聊天,发现一个严重的问题,很多小伙伴横向发展的貌似很不错,很多技术都能说出一二,但是如果在某个技术上深挖一下就不行了,问啥啥不会.就拿springboot来说,很多同学止步于springboot的应用,再往深处就一问三不知了,那么如何破局呢?smart哥认为最好的办法就是直捣黄龙,要把一个技术理解透了,听别人讲一万遍原理,不如自己撕一遍源码. 要阅读源码那就首先得先搭建源码阅读环境,那么本篇文章就来介绍下Spring Boot的源码环境搭建. 鉴于spring团队已经全面抛
js实现微信聊天效果
本文实例为大家分享了js实现微信聊天效果的具体代码,供大家参考,具体内容如下 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>Title</title> <style> *{ margin:0; padding:0; } .box{ width: 250px; height: 400px; b
IDEA不编译除了.java之外的文件的解决办法(推荐)
- 遇到问题 今天在IDEA里面运行项目的时候报了一个错,如下图所示: - 找到问题根源 其实控制台给出的错误信息提示说的很明显:类加载器加载文件的时候没有找到指定的文件,于是我看了一下项目编译的二进制文件,如下图所示: 我们可以很清楚的看到我的源文件sixbit和threebit目录和目录下的文件并没有被编译到target二进制文件里面去,所以项目在运行的时候要用到sixbit和threebit目录下的文件时,需要去编译号的classes里面去找相对应的二进制文件,发现根本没有,于是就报错了.
vue+elementUI(el-upload)图片压缩,默认同比例压缩操作
如下所示: 这个需求针对用户上传手机拍摄照片等不便修改图片大小的情况,我们允许上传10M以内的图片由前端对图片进行压缩再传给后台存储,结合elementUI的el-upload组件实现图片上传功能(简单来说就是用户是老大) 1.提取出压缩方法,放在公共方法.js文件里 /** 图片压缩,默认同比例压缩 * @param {Object} fileObj * 图片对象 * 回调函数有一个参数,base64的字符串数据 */ export function compress(fileObj, cal
在vue中使用回调函数,this调用无效的解决
let self = this //使用新变量替换this,以免this无效 //updateStudentInfoToServer是一个将本身部分数据异步上传的接口,接收三个参数,其中第一个是数据,第二.三个是函数,第二.三个函数使用function(){}形式书写 updateStudentInfoToServer:function(data, networkOk, networkError){ let postData = this.$qs.stringify({ data:data })
Python 发送邮件方法总结
1. 前言 邮件,作为最正式规范的沟通方式,在日常办公过程中经常被用到 我们都知道 Python内置了对 SMTP 的支持,可以发送纯文本.富文本.HTML 等格式的邮件 本文将聊聊利用 Python 发送邮件的 3 种方式 2. 准备 以 126 邮箱为例,在编码之前,我们需要开启 SMTP 服务 然后,手动新增一个授权码 其中,账号.授权码和服务器地址用于连接登录邮箱服务器 3. 方式一:smtplib smtplib是 Python 自带的依赖库,可以直接导入使用 首先,通过邮箱账号.授权
Vue将props值实时传递 并可修改的操作
我们都知道props值是只读的,子组件内不可直接修改,会报错滴 但是很多时候这个值是需要子组件主动修改的,一般我们会使用this.$emit()去修改,但比较麻烦 下面这种方式可以实现: 1.父组件实时修改props值时,子组件可以接收到改变 2.子组件可主动修改该值 <div>{{RealValue}}</div> props: [ "value" ], watch: { value (v) { this.RealValue = v } }, data ()
maptalks+three.js+vue webpack实现二维地图上贴三维模型操作
我们不是走在坑里就是走在前往坑的路上_(:зゝ∠)_ 最终效果如图:(地图上添加一个"三维地图"的toolbar按钮,点击后在二维地图上贴上建好的三维模型点击显示弹框) 以下都在已经引入并且初始化maptalks地图的基础上,如何引入使用maptalks可以查看以下文章 https://www.jb51.net/article/192983.htm 1.安装maptalks.three包 npm install maptalks.three 2.安装three包 npm install
Python函数递归调用实现原理实例解析
函数的递归调用: 是函数嵌套调用的一种特殊形式 具体是指: 在调用一个函数的过程中又直接或间接地调用到了本身 # 直接调用本身 def func(): print('我是func') func() func() # 函数会不断的运行永远不会结束,但Python不允许这种情况,会默认限制只能调1000次. # 间接调用本身 def f1(): print('我是f1') f2() def f2(): print('我是f1') f1() f1() # 此时也相当于直接调用本身,f1-->f2-->
IDEA 阿里JAVA规范插件的具体使用
1.打开IDEA,点击File->Settings->Plugins,如下图 2.查找alibaba插件并安装重启IDEA 3.安装完成后,就可以开始体验了 首先如果你想把老的项目统统检查一遍,那么可以使用[编码规约扫描],右键项目->编码规约扫描,如下 如果你的代码不符合阿里巴巴java规范的话,会有如下的扫描信息,可以据此信息改善我们的代码 以上提示信息对应的代码如下,快捷键Ctrl+F1用来查看详细的中文提示信息 并可以快速修复补全规约中的约束代码 最后,我们来查看下阿里巴巴jav
js实现盒子滚动动画效果
本文实例为大家分享了js实现盒子滚动动画效果的具体代码,供大家参考,具体内容如下 1.效果图1: 2.效果图2: 3.源代码如下: <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, initial-scale
nginx 流量控制以及访问控制的实现
nginx 流量控制 流量限制 (rate-limiting),是Nginx中一个非常实用,却经常被错误理解和错误配置的功能.我们可以用来限制用户在给定时间内HTTP请求的数量.请求,可以是一个简单网站首页的GET请求,也可以是登录表单的 POST 请求.流量限制可以用作安全目的,比如可以减慢暴力密码破解的速率.通过将传入请求的速率限制为真实用户的典型值,并标识目标URL地址(通过日志),还可以用来抵御 DDOS 攻击.更常见的情况,该功能被用来保护上游应用服务器不被同时太多用户请求所压垮. 以
idea 访问html页面端口号显示的是63342而不是8080
前提,显示端口8080肯定需要先开启tomcat 第一种情况 可能你的html文件没有放在web包下 正确做法如下: 第二种情况 (1)file-project structure(或者快捷键ctrl+alt+shift+s),点击右边的modeuls,最后勾选tomcat 第三种情况 (1)Run-Edit Configurations (2)点Deployment,点击右边绿色+号,点击artifact.(这里注意,不仅要加入module的名字,而且应该把project的项目名字也加进去)
SpringMvc响应数据及结果视图实现代码
响应数据和结果视图 返回值分类 controller 方法返回字符串可以指定逻辑视图名,通过视图解析器解析为物理视图地址. //指定逻辑视图名,经过视图解析器解析为 jsp 物理路径:/WEB-INF/pages/success.jsp @RequestMapping("/testReturnString") public String testReturnString() { System.out.println("AccountController 的 testRetur
java实现页面置换算法
本文实例为大家分享了java实现页面置换算法的具体代码,供大家参考,具体内容如下 原理就不说了,直接上代码 FIFO import java.util.ArrayList; import java.util.List; import utils.ListUtils; /** * * * @author cnkeysky * */ public class FIFO { public void run() { String[] inputStr = {"1", "2"
Python如何定义有默认参数的函数
问题 你想定义一个函数或者方法,它的一个或多个参数是可选的并且有一个默认值. 解决方案 定义一个有可选参数的函数是非常简单的,直接在函数定义中给参数指定一个默认值,并放到参数列表最后就行了.例如: def spam(a, b=42): print(a, b) spam(1) # Ok. a=1, b=42 spam(1, 2) # Ok. a=1, b=2 如果默认参数是一个可修改的容器比如一个列表.集合或者字典,可以使用None作为默认值,就像下面这样: # Using a list as a
关于mysql自增id，你需要知道的
导读:在使用MySQL建表时,我们通常会创建一个自增字段(AUTO_INCREMENT),并以此字段作为主键.本篇文章将以问答的形式讲述关于自增id的一切. 注: 本文所讲的都是基于Innodb存储引擎. 1.MySQL为什么建议将自增列id设为主键? 如果我们定义了主键(PRIMARY KEY),那么InnoDB会选择主键作为聚集索引.如果没有显式定义主键,则InnoDB会选择第一个不包含有NULL值的唯一索引作为主键索引.如果也没有这样的唯一索引,则InnoDB会选择内置6字节长的ROWID
React实现阿里云OSS上传文件的示例
简介 阿里云 OSS 是 阿里云提供的海量.安全.低成本.高可靠的云存储服务,提供 99.9999999999%的数据可靠性(号称).能够使用 RESTful API 可以在互联网任何位置存储和访问,支持容量和处理能力弹性扩展. 基本术语 1.bucket :类似本地的一个文件夹 2.object : oss 存储数据的基本单元,类似本地的一个文件. 3.region:oss 存储的数据中心所在区域 4.Endpoint:oss 对外服务的访问域名,oss 以 http api 提供服务,不同