Java实现HDFS文件上传下载

本文实例为大家分享了利用Java实现HDFS文件上传下载的具体代码,供大家参考,具体内容如下

1、pom.xml配置

<!--配置-->
<properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <maven.compiler.source>1.8</maven.compiler.source>
    <maven.compiler.target>1.8</maven.compiler.target>
    <hadoop.version>3.1.3</hadoop.version>
</properties>
<!--依赖库-->
<dependencies>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
          <artifactId>hadoop-common</artifactId>
          <version>${hadoop.version}</version>
    </dependency>
    <dependency>
         <groupId>org.apache.hadoop</groupId>
          <artifactId>hadoop-mapreduce-client-core</artifactId>
          <version>${hadoop.version}</version>
    </dependency>
</dependencies>

2、创建与删除

//导包
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import java.io.IOException;
public static void main( String[] args ){
    //初始化hadoop文件系统的configration对象
    Configuration conf = new Configuration();
    //将hadoop的configration信息传入
    conf.set("fs.defaultFS","hdfs://192.168.50.102:9000");
    //初始化Hadoop文件系统的句柄
    FileSystem fs=null;
    try {
        //配置Hadoop的文件句柄信息
        fs=FileSystem.get(conf);
        //定义Hadoop的文件路径
        final String PATH="/test/kb16/hadoop/ratings.csv";
        //初始化Hadoop的路径信息
        Path path = new Path(PATH);
        //如果文件路径存在就删除
        if (fs.exists(path)) {
            System.out.println("DELETE "+fs.delete(path, true));
        }else{
            //如果文件路径不存在就创建
            System.out.println("CREATE "+fs.create(path));
        }
    } catch (IOException e) {
        e.printStackTrace();
    }finally {
        //结束的时候,句柄还没有释放就进行释放
        if (fs!=null) {
            try {
                fs.close() ;
            }catch (IOException e) {
                e.printStackTrace();
            }
        }
    }
}

3、文件上传

//导包
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import java.io.File;
import java.io.IOException;
public static void main(String[] args) {
    //定义本地上传文件路径
    final String formPath="E:\\ratings.csv";
    //本地文件不存在就报错,并强制让程序终止
    if (!new File(formPath).exists()) {
        System.out.println(formPath +"doesn't exits");
        return;
    }
    //初始化hadoop文件系统的configration对象
    Configuration conf = new Configuration();
    //将hadoop的configration信息传入
    conf.set("fs.defaultFS","hdfs://192.168.50.102:9000");
    //初始化Hadoop文件系统的句柄
    FileSystem fs=null;
    try {
        //将config信息传入
        fs=FileSystem.get(conf);
        //定义上传到HDFS的路径
        final String toPath="/test/kb16/hive";
        //初始化路径
        Path to =new Path(toPath);
        //如果文件路径存在不执行,如果文件路径不存在就尝试创建,如果创建失败就跳过
          if (!fs.exists(to)&& !fs.mkdirs(to)) {
            System.out.println(toPath +"doesn't exit and can't be created");
            return;
        }
        //初始化上传文件路径
        Path from=new Path(formPath);
        //利用方法将本地文件复制到HDFS中
        fs.copyFromLocalFile(from, to);
        System.out.println("succeed in copying from "+formPath+" to "+toPath);
    } catch (IOException e) {
        e.printStackTrace();
        System.out.println("FAILURE");
    }finally{
        //如果结束Hadoop文件系统句柄没有关闭,利用方法进行句柄释放
        if (null!=fs) {
            try {
                fs.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
    }
}

4、文件下载

//导包
import com.google.inject.internal.cglib.core.$LocalVariablesSorter;
import com.google.inject.internal.cglib.proxy.$Factory;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import java.io.File;
import java.io.IOException;
public class Download {
    public static void main(String[] args) {
        //定义文件下载路径
        final String toPath = "C:\\Users\\Jialin\\Desktop";
        //获取路径
        File to = new File(toPath);
        //如果路存在或者文件路径不存在但是创建成功就不执行if方法
        if (!to.exists()&&!to.mkdirs()) {
            System.err.println(toPath + "doesn't exist and can't be created");
            return;
        }
        //初始化hadoop文件系统的configration对象
        Configuration config = new Configuration();
        //将hadoop的configration信息传入
        config.set("fs.defaultFS", "hdfs://192.168.50.102:9000");
        //初始化Hadoop文件系统的句柄
        FileSystem fs = null;
        try {
            //将config信息传入
            fs = FileSystem.get(config);
            //定义下载文件路径
            final String fromPath = "/test/kb16/hive/ratings.csv";
            //获取路径信息
            Path from = new Path(fromPath);
            //如果指定下载文件不存在就退出
            if (!fs.exists(from)) {
                System.err.println(toPath + "doesn't exist ");
                return;
            }
            //获取文件下载路径信息
            Path _to = new Path(toPath);
            //利用方法将Hadoop文件下载到本地
            fs.copyToLocalFile(from,_to);
            System.out.println("succeed in downloading from "+fromPath+" to"+toPath);
        } catch (IOException e) {
            e.printStackTrace();
            System.out.println("FAILURE");
        } finally {
            //如果结束Hadoop文件系统句柄没有关闭,利用方法进行句柄释放
            if (null != fs)
                try {
                    fs.close();
                } catch (IOException e) {
                    e.printStackTrace();
                }
        }
    }
}

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持我们。

时间: 2022-06-22

java实现FTP文件上传与文件下载

本文实例为大家分享了两种java实现FTP文件上传下载的方式,供大家参考,具体内容如下 第一种方式: package com.cloudpower.util; import java.io.File; import java.io.FileInputStream; import java.io.FileOutputStream; import java.io.IOException; import sun.net.TelnetInputStream; import sun.net.TelnetO

JavaWeb实现文件上传下载功能实例详解

在Web应用系统开发中,文件上传和下载功能是非常常用的功能,今天来讲一下JavaWeb中的文件上传和下载功能的实现. 文件上传概述 1.文件上传的作用 例如网络硬盘!就是用来上传下载文件的. 在智联招聘上填写一个完整的简历还需要上传照片呢. 2.文件上传对页面的要求 上传文件的要求比较多,需要记一下: 必须使用表单,而不能是超链接 表单的method必须是POST,而不能是GET 表单的enctype必须是multipart/form-data 在表单中添加file表单字段,即<input ty

JavaWeb实现文件上传下载功能实例解析

在Web应用系统开发中,文件上传和下载功能是非常常用的功能,今天来讲一下JavaWeb中的文件上传和下载功能的实现. 对于文件上传,浏览器在上传的过程中是将文件以流的形式提交到服务器端的,如果直接使用Servlet获取上传文件的输入流然后再解析里面的请求参数是比较麻烦,所以一般选择采用apache的开源工具common-fileupload这个文件上传组件.这个common-fileupload上传组件的jar包可以去apache官网上面下载,也可以在struts的lib文件夹下面找到,stru

JAVA技术实现上传下载文件到FTP服务器(完整)

具体详细介绍请看下文: 在使用文件进行交互数据的应用来说,使用FTP服务器是一个很好的选择.本文使用Apache Jakarta Commons Net(commons-net-3.3.jar) 基于FileZilla Server服务器实现FTP服务器上文件的上传/下载/删除等操作. 关于FileZilla Server服务器的详细搭建配置过程,详情请见 FileZilla Server安装配置教程 .之前有朋友说,上传大文件(几百M以上的文件)到FTP服务器时会重现无法重命名的问题,但本人亲

java中struts2实现文件上传下载功能实例解析

本文实例讲述了java中struts2实现文件上传下载功能实现方法.分享给大家供大家参考.具体分析如下: 1.文件上传 首先是jsp页面的代码 在jsp页面中定义一个上传标签 复制代码 代码如下: <tr>      <td align="right" bgcolor="#F5F8F9"><b>附件:</b></td>      <td bgcolor="#FFFFFF">

JAVA SFTP文件上传、下载及批量下载实例

1.jsch官方API查看地址(附件为需要的jar) http://www.jcraft.com/jsch/ 2.jsch简介 JSch(Java Secure Channel)是一个SSH2的纯Java实现.它允许你连接到一个SSH服务器,并且可以使用端口转发,X11转发,文件传输等,当然你也可以集成它的功能到你自己的应用程序. SFTP(Secure File Transfer Protocol)安全文件传送协议.可以为传输文件提供一种安全的加密方法.SFTP 为 SSH的一部份,是一种传输

JAVA中使用FTPClient实现文件上传下载实例代码

在java程序开发中,ftp用的比较多,经常打交道,比如说向FTP服务器上传文件.下载文件,本文给大家介绍如何利用jakarta commons中的FTPClient(在commons-net包中)实现上传下载文件. 一.上传文件 原理就不介绍了,大家直接看代码吧 /** * Description: 向FTP服务器上传文件 * @Version1.0 Jul 27, 2008 4:31:09 PM by 崔红保(cuihongbao@d-heaven.com)创建 * @param url F

Java通过FTP服务器上传下载文件的方法

对于使用文件进行交换数据的应用来说,使用FTP 服务器是一个很不错的解决方案. 关于FileZilla Server服务器的详细搭建配置过程,详情请见FileZilla Server安装配置教程.之前有朋友说,上传大文件(几百M以上的文件)到FTP服务器时会重现无法重命名的问题,但本人亲测上传2G的文件到FileZilla Server都没有该问题,朋友们可以放心使用该代码. FavFTPUtil.Java package com.favccxx.favsoft.util; import jav

Java Spring MVC 上传下载文件配置及controller方法详解

下载: 1.在spring-mvc中配置(用于100M以下的文件下载) <bean class="org.springframework.web.servlet.mvc.annotation.AnnotationMethodHandlerAdapter"> <property name="messageConverters"> <list> <!--配置下载返回类型--> <bean class="or

java实现文件上传下载和图片压缩代码示例

分享一个在项目中用的到文件上传下载和对图片的压缩,直接从项目中扒出来的:) 复制代码 代码如下: package com.eabax.plugin.yundada.utils; import java.awt.image.BufferedImage; import java.io.File; import java.io.IOException; import java.text.SimpleDateFormat; import java.util.Date; import java.util.

FasfDFS整合Java实现文件上传下载功能实例详解

在上篇文章给大家介绍了FastDFS安装和配置整合Nginx-1.13.3的方法,大家可以点击查看下. 今天使用Java代码实现文件的上传和下载.对此作者提供了Java API支持,下载fastdfs-client-java将源码添加到项目中.或者在Maven项目pom.xml文件中添加依赖 <dependency> <groupId>org.csource</groupId> <artifactId>fastdfs-client-java</arti

Java文件上传下载、邮件收发实例代码

文件上传下载 前台: 1. 提交方式:post 2. 表单中有文件上传的表单项: <input type="file" /> 3. 指定表单类型: 默认类型:enctype="application/x-www-form-urlencoded" 文件上传类型:multipart/form-data FileUpload 文件上传功能开发中比较常用,apache也提供了文件上传组件! FileUpload组件: 1. 下载源码 2. 项目中引入jar文件

java实现文件上传下载

本文实例为大家分享了java实现文件上传下载的具体代码,供大家参考,具体内容如下 一.上传 1.前端: <form method="post" action="FileUpload" enctype="multipart/form-data"> <input type="file" name="uploadFile" /> <br/> <input type=&qu

c# 实现文件上传下载功能的实例代码

NuGet 安装SqlSugar 1.Model文件下新建 DbContext 类 public class DbContext { public DbContext() { Db = new SqlSugarClient(new ConnectionConfig() { ConnectionString = "server=localhost;uid=root;pwd=woshishui;database=test", DbType = DbType.MySql, InitKeyTy

java实现文件上传下载至ftp服务器

以前做的一个项目,用到了文件上传下载至ftp服务器,现在对其进行一下复习,比较简单,一下就能看明白. 环境:首先,先安装ftp服务器,我是在win8本地用IIS配置的, 百度一下就可以找到安装文档. 1.在你的项目目录下建立ftp配置文件,目录如下图 01 ftpconfig.properties: ftpIp=10.73.222.29 ftpPort=21 ftpUser=WP ftpPwd=04143114wp ftpRemotePath=d://share 02 读取ftpconfig.p

Java大文件上传详解及实例代码

Java大文件上传详解 前言: 上周遇到这样一个问题,客户上传高清视频(1G以上)的时候上传失败. 一开始以为是session过期或者文件大小受系统限制,导致的错误.查看了系统的配置文件没有看到文件大小限制,web.xml中seesiontimeout是30,我把它改成了120.但还是不行,有时候10分钟就崩了. 同事说,可能是客户这里服务器网络波动导致网络连接断开,我觉得有点道理.但是我在本地测试的时候发觉上传也失败,网络原因排除. 看了日志,错误为: java.lang.OutOfMemor

基于Java文件输入输出流实现文件上传下载功能

本文为大家分享了Java实现文件上传下载功能的具体代码,供大家参考,具体内容如下 前端通过form表单的enctype属性,将数据传递方式修改为二进制"流"的形式,服务端(servlet)通过  getInputStream() 获取流信息, 运用java I/O 流的基础操作将流写入到一个服务端临时创建的文件temp中,然后再次利用文件基本操作,读取并截取临时文件内容,根据其中信息创建相应的文件,将读取出来的具体信息写入,下载时,根据提交的文件名称,找到服务器端相应的文件,然后根据输

JavaEE中struts2实现文件上传下载功能实例解析

本文实例为大家分享了struts2实现文件上传下载的具体实现代码,供大家参考,具体内容如下 一.文件上传 struts提交的文件组件上传, 前台: 1).提交方式POST 2).表单类型 multipart/form-data 3).input type=file 后台: Apache提供的FileUpload组件 核心类: FileItemFactory FileItem的工厂 ServletFileUpload servlet 中的文件上传的核心类 FileItem 封装了上传的表单文件项的

java实现文件上传、下载、图片预览

这篇文章主要介绍了java实现文件上传.下载.图片预览,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 多文件保存到本地: @ResponseBody @RequestMapping(value = "/uploadApp",produces = { "application/json;charset=UTF-8" },method= RequestMethod.POST) public String uploadA