使用curl递归下载软件脚本分享

2024-04-05 17:35:38

代码如下:

#!/bin/env bash
PATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin
export PATH
clear
Url="http://mirrors.cnnic.cn/apache/"
DownListFile="/tmp/downlist.txt"
DownListTmpFile="/tmp/tmplist.txt"
DownFileType="zip$|gz$"
DownList=""
UrlBack="$Url"
[ ! -f $DownListFile ] && touch $DownListFile || echo > $DownListFile
[ ! -f $DownListTmpFile ] && touch $DownListTmpFile || echo > $DownListTmpFile
CURL_URLS(){
Urls=`curl $UrlBack |awk -F "a href=\"" '{printf "%s\n",$2}'|awk -F "\"" '{printf "%s\n",$1}'|grep -vE "^$|^\?|^http:\/\/"|^#`
}
URL_LIST(){
CURL_URLS
for i in $Urls ;do
  echo "$UrlBack$i" >> $DownListTmpFile
done
}
RECURSIVE_SEARCH_URL(){
UrlBackTmps=`cat $DownListTmpFile`
[[ "$UrlBackTmps" == "" ]] && echo "no more page for search" && exit 1
for j in $UrlBackTmps ;do
  if [[ "${j##*\/}" != "" ]] ;then
   echo "$j" >> $DownListFile
  else
   UrlBack="$j"
   URL_LIST
  fi
  UrlTmps=`grep -vE "$j$" $DownListTmpFile`
  echo "$UrlTmps" > $DownListTmpFile
  RECURSIVE_SEARCH_URL
done
}
DOWNLOAD_FILE(){
DownList=`grep -E "$DownFileType" $DownListFile`
for k in $DownList ;do
  FilePath=/tmp/${k#*\/\/}
  [ ! -d `dirname $FilePath` ] && mkdir -p `dirname $FilePath`
  [ ! -f $FilePath ] && cd `dirname $FilePath` && curl -O $k
done
}
URL_LIST $Urls
RECURSIVE_SEARCH_URL

使用curl递归下载软件脚本分享

复制代码代码如下: #!/bin/env bashPATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbinexport PATHclearUrl="http://mirrors.cnnic.cn/apache/"DownListFile="/tmp/downlist.txt"DownListTmpFile="/tmp/tmplist.txt"DownFileType=&q
ftp自动下载文件脚本分享(ftp命令下载文件)

复制代码代码如下: cd /home/oracle/ftpdatashort_ymd=$(date +%y%m%d)file="10628110.20""$short_ymd"".zip"ftp -niv<<!open 221.236.6.241user XXXX XXXXmget $filebye!
PHP使用CURL实现下载文件功能示例

本文实例讲述了PHP使用CURL实现下载文件功能.分享给大家供大家参考,具体如下: 如果使用CURL下载从微信手机端上传的图片?参考下面代码 /** * CURL下载文件成功返回文件名,失败返回false * @param $url * @param string $savePath * @return bool|string * @author Zou Yiliang */ public function downFile($url, $savePath = './uploads') { /
4个的Python自动化脚本分享

目录 1.将 PDF 转换为音频文件 2.从列表中播放随机音乐 3.不再有书签了 4.清理下载文件夹前言: 大家平时有没有注意到你每天可能会执行许多的重复的任务,例如阅读 pdf.播放音乐.打开书签.清理文件夹等等. 我将分享4个实用的python的自动化脚本,无需手动一次又一次地完成这些任务,非常方便. 1.将 PDF 转换为音频文件脚本可以将 pdf 转换为音频文件,原理也很简单,首先用 PyPDF 提取 pdf 中的文本,然后用 Pyttsx3 将文本转语音.关于文本转语音,你还可以看
十个简单使用的Python自动化脚本分享

目录 1.给照片添加水印 2.检测文本文件的相似性 3.对文件内容进行加密 4.将照片转换为PDF 5.修改照片的长与宽 6.对于照片的其他操作 7.测试网速 8.货币汇率的转换 9.生成二维码 10.制作一个简单的网页应用在日常的工作学习当中,我们总会遇到各式各样的问题,其中不少的问题都是一遍又一遍简单重复的操作,不妨直接用Python脚本来自动化处理,今天小编就给大家分享十个Python高级脚本,帮助我们减少无谓的时间浪费,提高工作学习中的效率. 1.给照片添加水印给照片添加水印的代码
基于Python实现视频自动下载软件

目录序言效果展示下载视频下载弹幕下载评论软件生成打包序言哈喽兄弟们,今天来实现一个Python采集视频.弹幕.评论与一体的小软件. 平常咱们都是直接代码运行,不过今天我们做成软件,这样的话,咱们不仅能自己用,还能分享给小伙伴,女朋友一起使用. 内容有点多,拿好小本本,做好笔记,发车了~ 效果展示我们先来看看效果整体界面我随便找个视频下载一下弹幕和评论我都顺便下载了有一说一,确实方便,就是下载视频太大的话,会卡一下. 不过我这里视频没有做去水印,所以下载下来还是有水印的
Python实现博客快速备份的脚本分享

目录转存文章到MD 转存图片到本地鉴于有些小伙伴在寻找博客园迁移到个人博客的方案,本人针对博客园实现了一个自动备份脚本,可以快速将博客园中自己的文章备份成Markdown格式的独立文件,备份后的md文件可以直接放入到hexo博客中,快速生成自己的站点,而不需要自己逐篇文章迁移,提高了备份文章的效率. 首先第一步将博客园主题替换为codinglife默认主题,第二步登录到自己的博客园后台,然后选择博客备份,备份所有的随笔文章,如下所示: 备份出来以后将其命名为backup.xml,然后新建一个
Python实现自动回复讨论功能的脚本分享

目录好久不见实现过程一步拿捏讨论美图好久不见写这篇文章只是想证明一下:本博主还在呼吸许久未更,甚是想更呐~ 这段时间生活中充斥着各种事情,感觉每天都在忙忙碌碌,偶而停下疲惫的身躯,突然抬头,却不知自己身处何方,忙了这么久,到底在忙些什么呢?找不着方向,于是开始惶恐,便又不知方向的胡乱奔走……,好吧好吧,总结两个字:迷茫,再加两个字:瞎忙…… 其实这几天一直想写博客的,想写有趣又轻松的一篇文章,但又不到写哪些内容比较好,又因还要解决各种事情,于是就搁到了现在…… 直到某天,为了完成M
BAT批处理一键生成APK包脚本分享

BAT批处理一键生成APK包脚本分享将本bat放到cocos2dx目录下你的工程的project.android下(需修改变量). ASmaker 用来将Resources文件夹下的lua文件批量加密算法参考我之前的rc4算法实现. 每次打包apk前 svn 最新的工程代码和 cocos2dx引擎代码. @echo off rem 工具路径 set JAVA_HOME = "C:\Program Files\Java\jdk1.8.0_05" set ANT_HOME = &qu
linux系统使用python获取cpu信息脚本分享

linux系统使用python获取cpu信息脚本分享复制代码代码如下: #!/usr/bin/env Pythonfrom __future__ import print_functionfrom collections import OrderedDictimport pprint def CPUinfo(): ''' Return the information in /proc/CPUinfo as a dictionary in the following format:

使用curl递归下载软件脚本分享

相关推荐

随机推荐