VMware虚拟机下hadoop1.x的安装方法

这是Hadoop学习全程记录第1篇，在这篇里我将介绍一下如何在Linux下安装Hadoop1.x。

先说明一下我的开发环境：

虚拟机：VMware8.0；

操作系统：CentOS6.4；

版本：jdk1.8；hadoop1.2.1

①下载hadoop1.2.1，网盘：链接: https://pan.baidu.com/s/1sl5DMIp 密码: 5p67

下载jdk1.8，网盘：链接: https://pan.baidu.com/s/1boN1gh5 密码: t36h

将 jdk-8u144-linux-x64.tar.gz 解压至 /home/wyt/jdk8 文件夹下，将 hadoop-1.2.1.tar.gz 解压至 /home/wyt/hadoop 文件夹下。

②配置jdk及hadoop环境变量：修改/etc/profile文件

vim /etc/profile
//输入I，进入编辑模式

export JAVA_HOME=/home/wyt/jdk8
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib
export HADOOP_HOME=/home/wyt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$JAVA_HOME/bin

//按Esc，按Shift，输入：wq
source /etc/profile //保存并退出

③测试

java，javac，java -version
hadoop

④修改hadoop配置文件

<!-- hadoop-env.sh -->

export JAVA_HOME=/usr/java/jdk8

<!-- core-site.xml -->

 <property>
 <name>hadoop.tmp.dir</name>
 <value>/hadoop</value>
 </property>
 <property>
 <name>dfs.name.dir</name>
 <value>/hadoop/name</value>
 </property>
 <property>
 <name>fs.default.name</name>
 <value>hdfs://localhost:9000</value>
 </property>

<!-- hdfs-site.xml -->

<property>
<name>dfs.data.dir</name>
<value>/hadoop/data</value>
</property>

<!-- mapred-site.xml -->

<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>

并在hadoop安装目录下新建data、name、tmp文件夹。

⑤名称节点格式化，并查看运行状态

hadoop namenode -format
//cd 命令切换至 hadoop/bin/文件夹下，输入 ls 命令查看
start-all.sh
jps //查看运行状态，运行正常的话需要多次输入密码
//最后结果为：
//  Jps
//  JobTracker
//  NameNode
//  DataNode
//  SecondaryNameNode
//  NodeManager

⑥测试hdfs

//常用hdfs命令：
hadoop fs -ls /查看目录
hadoop fs -put a.txt /user/hadoop/放入
hadoop fs -cat /user/hadoop/a.txt 查看内容
hadoop fs -rmr /output：删除文件/文件夹

附：linux常用命令：

cd ..  //返回上级目录
cd ~  //返回Home目录
cd /  //返回根目录
cd var/ //进入var/文件夹下（使用tab）

su -  //超级管理员模式
ifconfig //查看ip

附：其他常用linux操作软件：

//windows与虚拟机centos文件传输：
filezilla；Xftp 5；或者安装VMware Tools（可便捷使用剪切板及文件复制功能）
//脱离虚拟机centos输入命令行：
Xshell 5

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持我们。

赞 (0)

相关推荐

  • ASP.NET实现Hadoop增删改查的示例代码

    ASP.NET实现Hadoop增删改查的示例代码

    本文介绍了ASP.NET实现Hadoop增删改查的示例代码,分享给大家,具体如下: packages.config <?xml version="1.0" encoding="utf-8"?> <packages> <package id="Microsoft.AspNet.WebApi.Client" version="4.0.20505.0" targetFramework="net

  • Hadoop编程基于MR程序实现倒排索引示例

    相信接触过搜索引擎开发的同学对倒排索引并不陌生,谷歌.百度等搜索引擎都是用的倒排索引,关于倒排索引的有关知识,这里就不再深入讲解,有兴趣的同学到网上了解一下.这篇博文就带着大家一起学习下如何利用Hadoop的MR程序来实现倒排索引的功能. 一.数据准备 1.输入文件数据 这里我们准备三个输入文件,分别如下所示 a.txt hello tom hello jerry hello tom b.txt hello jerry hello jerry tom jerry c.txt hello jerr

  • Hadoop 中 HBase Shell命令的详解

    Hadoop 中 HBase Shell命令的详解 HBase包含可以与HBase进行通信的Shell. HBase使用Hadoop文件系统来存储数据.所有这些任务发生在HDFS.下面给出的是一些由 常用的HBase Shell命令. 数据操纵语言 命令 说明 命令表达式 create 创建一个表 create '表名称', '列名称1','列名称2','列名称N' put  添加记录 put '表名称', '行名称', '列名称:', '值' get  查看记录 get '表名称', '行名称

  • hadoop动态增加和删除节点方法介绍

    上一篇文章中我们介绍了Hadoop编程基于MR程序实现倒排索引示例的有关内容,这里我们看看如何在Hadoop中动态地增加和删除节点(DataNode). 假设集群操作系统均为:CentOS 6.7 x64 Hadoop版本为:2.6.3 一.动态增加DataNode 1.准备新的DataNode节点机器,配置SSH互信,可以直接复制已有DataNode中.ssh目录中的authorized_keys和id_rsa 2.复制Hadoop运行目录.hdfs目录及tmp目录至新的DataNode 3.

  • Hadoop对文本文件的快速全局排序实现方法及分析

    一.背景 Hadoop中实现了用于全局排序的InputSampler类和TotalOrderPartitioner类,调用示例是org.apache.hadoop.examples.Sort. 但是当我们以Text文件作为输入时,结果并非按Text中的string列排序,而且输出结果是SequenceFile. 原因: 1) hadoop在处理Text文件时,key是行号LongWritable类型,InputSampler抽样的是key,TotalOrderPartitioner也是用key去

  • docker 搭建hadoop以及hbase集群详解

    要用docker搭建集群,首先需要构造集群所需的docker镜像.构建镜像的一种方式是,利用一个已有的镜像比如简单的linux系统,运行一个容器,在容器中手动的安装集群所需要的软件并进行配置,然后commit容器到新的镜像.另一种方式是,使用Dockerfile来自动化的构造镜像. 下面采用第二种. 1. 创建带ssh服务的ubuntu14.04系统镜像 使用ubuntu14系统来安装hadoop和hbase,由于hadoop集群机器之间通过ssh通信,所以需要在ubuntu14系统中安装ssh

  • Hadoop上Data Locality的详解

    Hadoop上Data Locality的详解

    Hadoop上Data Locality的详解 Hadoop上的Data Locality是指数据与Mapper任务运行时数据的距离接近程度(Data Locality in Hadoop refers to the"proximity" of the data with respect to the Mapper tasks working on the data.) 1. why data locality is imporant? 当数据集存储在HDFS中时,它被划分为块并存储在

  • hadoop格式化HDFS出现错误解决办法

    hadoop格式化HDFS出现错误解决办法

    hadoop格式化HDFS出现错误解决办法 报错信息: host:java.net.UnknownHostException: centos-wang: centos-wang: unknown error 在执行hadoop namenode -format命令时,出现未知的主机名. 问题原因: 出现这种问题的原因是Hadoop在格式化HDFS的时候,通过hostname命令获取到的主机名与/etc/hosts文件中进行映射的时候,没有找到. 解决方案: 1.修改/etc/hosts内容 2.

  • 浅谈七种常见的Hadoop和Spark项目案例

    有一句古老的格言是这样说的,如果你向某人提供你的全部支持和金融支持去做一些不同的和创新的事情,他们最终却会做别人正在做的事情.如比较火爆的Hadoop.Spark和Storm,每个人都认为他们正在做一些与这些新的大数据技术相关的事情,但它不需要很长的时间遇到相同的模式.具体的实施可能有所不同,但根据我的经验,它们是最常见的七种项目. 项目一:数据整合 称之为"企业级数据中心"或"数据湖",这个想法是你有不同的数据源,你想对它们进行数据分析.这类项目包括从所有来源获得

  • VMware虚拟机下hadoop1.x的安装方法

    这是Hadoop学习全程记录第1篇,在这篇里我将介绍一下如何在Linux下安装Hadoop1.x. 先说明一下我的开发环境: 虚拟机:VMware8.0: 操作系统:CentOS6.4: 版本:jdk1.8:hadoop1.2.1 ①下载hadoop1.2.1,网盘:链接: https://pan.baidu.com/s/1sl5DMIp 密码: 5p67 下载jdk1.8,网盘:链接: https://pan.baidu.com/s/1boN1gh5 密码: t36h 将 jdk-8u144-

  • linux mint 18虚拟机下设置1080P分辨率的方法

    前言:Linux mint 18发布了,但是在虚拟机下安装,发现没有1080p分辨率的选项,可能是4.4内核的原因?搜索了一下解决方法,自测可用,记录一下. 1.  创建一个shell脚本,内容如下: #!/bin/sh cvt 1920 1080 xrandr --newmode "1920x1080_60.00" 173.00 1920 2048 2248 2576 1080 1083 1088 1120 -hsync +vsync xrandr --addmode Virtual

  • VMware 12 下 Ubuntu 16.04 安装图文教程

    VMware 12 下 Ubuntu 16.04 安装图文教程

    本文为大家分享了VMware 12 下 Ubuntu 16.04 安装教程,供大家参考,具体内容如下 1 环境准备: (1) 原系统为WIN8,已正确安装虚拟机VMware Workstation Pro. (2) 下载Ubuntu系统 a. 进入链接 b. 点击"下载",不想捐款给ubuntu的话直接点击"Not now, take me to the download" c. 点击以后即可下载系统镜像 PS.这里直接贴一下镜像文件的源地址: http://mir

  • Vmware虚拟机设置固定IP地址的方法( 图文教程)

    Vmware虚拟机设置固定IP地址的方法( 图文教程)

    一.在菜单栏选择编辑→ 虚拟网络编辑器,打开虚拟网络编辑器对话框,选择Net网络连接方式,随意设置子网IP,点击NAT设置页面,查看子网掩码和网关,后面修改静态IP会用到. 注:上面的"使用本地DHCP服务--"这一项是没有钩选的 二.检查物理主机 网卡设置,打开网络和共享中心→ 更改适配器设置→,在VMware Network Adapter VMnet8上单击右键,选择属性按钮打开属性对话框.   修改IP地址注意填写和第一步设置的一样 三.进入虚拟机,设置固定IP地址. 输入如下

  • Linux虚拟机下mysql 5.7安装配置方法图文教程

    Linux虚拟机下mysql 5.7安装配置方法图文教程

    记录一下Linux虚拟机下MySQL安装配置方法 一. 下载mysql5.7 http://mirrors.sohu.com/mysql/MySQL-5.7/ Linux下载: 输入命令:wget http://mirrors.sohu.com/mysql/MySQL-5.7/mysql-5.7.17-linux-glibc2.5-x86_64.tar.gz 二.建立用户,以及mysql的目录 1.建立一个mysql的组 输入命令: groupadd mysql 2.建立mysql用户,并放到m

  • VMware 虚拟机下安装 Linux(CentOS) 详细配置步骤

    下载 CentOS7 我下载的镜像是 CentOS-7-x86_64-DVD-1908.iso ,你也可以自由选择,下面是下载链接. CentOS官网: http://isoredirect.centos.org/centos/7.4.1708/isos/x86_64/ 阿里云站点: http://mirrors.aliyun.com/centos/7/isos/x86_64/ 推荐前往阿里云站点下载,官网下载可能会很慢,甚至网页打不开. VMware配置 这里假设你已经安装了虚拟机,如未安装的

  • 在VMware虚拟机下安装Linux的图文教程（高级安装）

    在VMware虚拟机下安装Linux的图文教程（高级安装）

    VMware虚拟机下载: https://www.baidu.com/link?url=14CQrshmOSLtlAvTt6B0S1HW_Y9cX_vpn4Rp7_7_buuy4nvsqHMLGayzayG7ggRSV8A2I7XdQwugI1eWDCjaA4Gk7l1Hz_5ZpgzWxjZcuZq&wd=&eqid=b2975acf00021410000000065863d95f VMware 密钥:5A02H-AU243-TZJ49-GTC7K-3C61N 我们以Red Hat 6.

  • VMware虚拟机下linux上网的几种方式示例

    为了更好的解决虚拟机与主机的共享问题,VMware公司有一个VMWare-tools,来实现文件共享.这里主要讲的是在Windows下用 Vmware虚拟Linux来与windows来共享. 主机为WindowsXP系统,VMware虚拟机里安装Linux操作系统.安装完VMware后,主机的网络连接里面出现了两个新的连接,即VMware Network Adapter VMnet1和VMware Network Adapter VMnet8如图.虚拟机里安装的系统就是靠这两个虚拟网卡来联网的.

  • VMware虚拟机使用NAT模式上网的方法

    VMware虚拟机使用NAT模式上网,供大家参考,具体内容如下 1.目的 我在前一篇博客中分享了虚拟机中安装windows7系统的方法,那么在这篇博客中我就分享VMware虚拟机使用NAT模式下接入互联网的操作. 2.具体操作 1)我将物理机接入校园网,该WIFI名为ZZ-TEST-WEB(后期将更名为KMUST-Auto和KMUST-WEB,可在这两个WIFI网络下进行实验),确保物理机能正常连接网络: 2)打开VMware虚拟机并进入预先安装好的windows7系统中,使用鼠标右键点击win

  • Vmware虚拟机下网络模式配置详解

    Vmware虚拟机下网络模式配置详解

    VMware虚拟机有三种网络模式,分别是Bridged(桥接模式).NAT(网络地址转换模式).Host-only(主机模式) . VMware workstation安装好之后会多出两个网络连接,分别是VMware Network Adapter VMnet1和VMware Network Adapter VMnet8,这两个是可以在主机的网络连接中可以查看到的,还有一个是VMnet0,可以在virtual network editor中看到.这三个虚拟网络都是VMware安装好之后自动生成的

随机推荐