hadoop基于Linux7的安装配置图文详解

如上图 准备好该准备的食材(ps:其中的hadoop-3.1.2-src更改为hadoop-3.1.2

src为源文件的意思? 反正就是换了 大家注意一下 后面截图有错的地方有空我再改吧 肝疼)

安装好centos7

桌面右键打开terminal——输入ifconfig——查看ens33的ip——记住然后打开xftp6

点击新建

把食材多选,右键传输即可,内网传输速度不快不慢

所示很完美了

解压hadoop安装包 tar -zxvf hadoop-3.1.2-src.tar.gz

重新装了centos7 解压的时候分文件夹了

如上图编写

打开xshell 新建

输入你的主机ip 在用户身份验证上写上用户名和密码

yes就完事了——然后三台机器都需要改了名字

时间同步 时区一致。要保证设置主机时间准确,每台机器时区必须一致。实验中我们需要同步网络时间,因此要首先选择一样的时区。先确保时区一样,否则同步以后时间也是有时区差。可以使用 date 命令查看自己的机器时间. 选择时区:tzselect

1.关闭防火墙

当其状态是 dead 时,即防火墙关闭。 关闭防火墙:systemctl stop firewalld 查看状态:systemctl status firewalld

2. hosts文件配置 (三台机器) 如下图输入各节点的ip

3. master 作为 ntp 服务器,修改 ntp 配置文件。(master 上执行)

vi /etc/ntp.conf
	server 127.127.1.0 # local clock
	fudge 127.127.1.0 stratum 10 #stratum 设置为其它值也是可以的,其范围为 0~15

	重启 ntp 服务。
	/bin/systemctl restart ntpd.service

	其他机器同步(slave1,slave2)
	等待大概五分钟,再到其他机上同步该 master 服务器时间。
	ntpdate master

	如果配置平台式没有外网连接可以将三台机器设为统一时间,输入命令:
	date -s 10:00(时间)

终于走到正题??? 别慌快了

1. SSH免密

(1)每个结点分别产生公私密钥:

ssh-keygen -t dsa -P ‘' -f ~/.ssh/id_dsa(三台机器)
秘钥产生目录在用户主目录下的.ssh 目录中,进入相应目录查看:
cd .ssh/

(2)Id_dsa.pub 为公钥,id_dsa 为私钥,紧接着将公钥文件复制成 authorized_keys 文 件:(仅 master)

cat id_dsa.pub >> authorized_keys(注意在.ssh/路径下操作)

在主机上连接自己,也叫做 ssh 内回环。
ssh master

(3)让主结点 master 能通过 SSH 免密码登录两个子结点 slave。(slave 中操作)

为了实现这个功能,两个 slave 结点的公钥文件中必须要包含主结点的公钥信息,这样
当 master 就可以顺利安全地访问这两个 slave 结点了。
slave1 结点通过 scp 命令远程登录 master 结点,并复制 master 的公钥文件到当前的目录
下,且重命名为 master_das.pub,这一过程需要密码验证。

scp master:~/.ssh/id_dsa.pub ./master_das.pub

将 master 结点的公钥文件追加至 authorized_keys 文件:

cat master_das.pub >> authorized_keys

(1)每个结点分别产生公私密钥: ssh-keygen -t dsa -P ‘' -f ~/.ssh/id_dsa(三台机器)秘钥产生目录在用户主目录下的.ssh 目录中,进入相应目录查看: cd .ssh/  (2)Id_dsa.pub 为公钥,id_dsa 为私钥,紧接着将公钥文件复制成 authorized_keys 文 件:(仅 master) cat id_dsa.pub >> authorized_keys(注意在.ssh/路径下操作)  在主机上连接自己,也叫做 ssh 内回环。 ssh master

这时,

master 就可以连接 slave1 了。

slave1 结点首次连接时需要,“yes”确认连接,这意味着 master 结点连接 slave1 结点时需要人工询问,无法自动连接,输入 yes 后成功接入,紧接着注销退出至 master 结点。

同理 slave2 中也是这么操作

jdk之前已经安装好了,所以我们直接来配环境,就和windows的时候配环境变量一个道理(三台)

修改环境变量:vi /etc/profile
> 添加内容如下:
> export JAVA_HOME=/usr/java/jdk1.8.0_241
> export CLASSPATH=$JAVA_HOME/lib/export
> PATH=$PATH:$JAVA_HOME/bin
> export PATH JAVA_HOME CLASSPATH

生效环境变量:source /etc/profile

插播一个小技巧scp

scp /etc/profile slave1:/etc/profile ##这样就可以传给slave1 和slave2了

终于到hadoop了??? 恭喜宁!

配置环境变量:
vi/etc/profile
export HADOOP_HOME=/usr/hadoop/hadoop-3.1.2
export CLASSPATH=$CLASSPATH:$HADOOP_HOME/lib
export PATH=$PATH:$HADOOP_HOME/bin

我经常忘的一步大声告诉我是什么!

使用以下命令使profile生效: source /etc/profile

温馨提示 下面就是配置文件的内容了 本文暂时不做讲解内容但是我已经给大家准备好标准的配置文件了

编辑hadoop环境配置文件hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_241
在这个文件里面会有好多注释的语句,找到你要配置的模板把井号删除完善即可 耐心找一下

然后我偷懒的地方就要到了!!!!!我上传了几个配置文件 我们复制到这个文件夹中即可 系统提示是否覆盖时候就输入y即可

core-site.xml yarn-site.xml hdfs-site.xml mapred-site.xml

还需要写一下slave文件 加上slave1 slave2如下图

还有master文件

(9)分发hadoop:
scp -r /usr/hadoop root@slave1:/usr/
scp -r /usr/hadoop root@slave2:/usr/

master中格式化hadoop hadoop namenode -format 如果报错的话 看看是不是如下链接的错误 里面有解决办法

总结

以上所述是小编给大家介绍的hadoop基于Linux7的安装配置图文详解,希望对大家有所帮助!

时间: 2020-02-12

Linux中Centos7搭建Hadoop服务步骤

下载Hadoop 官网:http://hadoop.apache.org/releases.html 先配置jdk环境(教程:http://www.jb51.net/article/108936.htm) 下载以后 解压到到/usr/local tar -zxvf hadoop-2.8.0.tar.gz -C /usr/local 为了方便操作 把hadoop-2.8.0 改为hadoop mv /usr/local/hadoop-2.8.0 /usr/local/hadoop 查看主机名 ho

Linux中安装配置hadoop集群详细步骤

一. 简介 参考了网上许多教程,最终把hadoop在ubuntu14.04中安装配置成功.下面就把详细的安装步骤叙述一下.我所使用的环境:两台ubuntu 14.04 64位的台式机,hadoop选择2.7.1版本.(前边主要介绍单机版的配置,集群版是在单机版的基础上,主要是配置文件有所不同,后边会有详细说明) 二. 准备工作 2.1 创建用户 创建用户,并为其添加root权限,经过亲自验证下面这种方法比较好. sudo adduser hadoop sudo vim /etc/sudoers

linux下搭建hadoop环境步骤分享

1.下载hadoop包 wget http://apache.freelamp.com/hadoop/core/stable/hadoop-0.20.2.tar.gz2.tar xvzf hadoop-0.20.2.tar.gz3.安装JDK,从oracle网站上直接下载JDK,地址:http://www.oracle.com/technetwork/java/javase/downloads/index.html4.chmod +x jdk-6u21-linux-i586.bin;./jdk-

linux环境不使用hadoop安装单机版spark的方法

大数据持续升温, 不熟悉几个大数据组件, 连装逼的口头禅都没有. 最起码, 你要会说个hadoop, hdfs, mapreduce, yarn, kafka, spark, zookeeper, neo4j吧, 这些都是装逼的必备技能. 关于spark的详细介绍, 网上一大堆, 搜搜便是, 下面, 我们来说单机版的spark的安装和简要使用. 0.  安装jdk,  由于我的机器上之前已经有了jdk, 所以这一步我可以省掉. jdk已经是很俗气的老生常谈了, 不多说, 用java/scala的

Linux环境下nodejs的安装图文教程

1.在官网下载nodejs,选择左边的. 2.选择文件右击点击extract here进行解压 3.进入bin目录,右击选择properties,解压文件可以随意放在系统里一个位置.复制location里的路径 4.添加路径 进入.bashrc文件,在末尾处添加步骤三的location里的路径. 6.在终端输入source .bashrc按回车键,再输出路径:echo $PATH检查路径是否已经添加成功 7.检测是否安装nodejs成功.在js文件目录下点击右键,再点击open in termi

linux环境部署及docker安装redis的方法

安装步骤 1. 安装Redis 通过docker search redis和docker pull redis下载redis镜像 2. 新建挂载配置文件夹 新建data和conf两个文件夹,位置随意. mkdir -p /root/docker/redis/data mkdir -p /root/docker/redis/conf 注:因为 redis 默认配置你会发现只能够本地连接,不能进行远程访问,使用 Redis Desktop Manager连接都会报错,因此需要手动挂载 redis 配

Linux环境下php实现给网站截图的方法

本文实例讲述了Linux环境下php实现给网站截图的方法.分享给大家供大家参考,具体如下: 第一步:下载wkhtmltopdf 复制代码 代码如下: [root@iZ94aawoublZ ~]# wget http://download.gna.org/wkhtmltopdf/0.12/0.12.3/wkhtmltox-0.12.3_linux-generic-amd64.tar.xz 第二步:解压 复制代码 代码如下: [root@iZ94aawoublZ ~]# xz -d wkhtmlto

Linux系统实现ansible自动化安装配置httpd的方法

1.使用ansible的playbook实现自动化安装httpd 1)首先配置好ansible的hosts文件,让其对应主机能够受ansible控制 提示:我们在主机清单上配置了所管控的主机地址,但是直接用ansible的ping模块去探测主机的存活情况,却显示权限拒绝.从提示上说让我们要指定用什么验证.默认情况ansible是通过ssh的key验证的,所以我们在ansible的主机清单中配置了管控主机的ip是不够的,还要配置ssh基于KEY验证 2)配置管控主机能够基于SSH key验证 [r

PHPExcel在linux环境下导出报500错误的解决方法

原先我导出为 XLSX 格式,用的是 $objWriter = IOFactory::createWriter($objPHPExcel, 'Excel2007'); 报错,纠结就纠结在,在开发环境和测试环境都没问题,放在生产环境直接 500 错误. 后来我改成导出 XLS 格式, $objWriter = IOFactory::createWriter($objPHPExcel, 'Excel5'); 问题解决了,具体为什么待有空了研究下!!! 以上这篇PHPExcel在linux环境下导出报

Linux (Ubuntu 18.04) 下安装vim编辑器的方法

大家可以去Ubuntu官网下载桌面系统: https://ubuntu.com/download/desktop ,虽然最新版是19.04,但是建议大家下载稳定版18.04.安装过程非常简洁,我使用的是VMware Workstation Pro虚拟机,大家也可以用其他的,这个没什么影响. Ubuntu 18.04 用起来还是要比老版本要舒服很多的,毕竟做了这么久的Windows开发,突然接触linux,还是有点不习惯,但是新版的Ubuntu的一些操作习惯已经很接近Windows了,毕竟科技的发

CentOS7环境下源码安装MySQL5.7的方法

本文实例讲述了CentOS7环境下源码安装MySQL5.7的方法.分享给大家供大家参考,具体如下: 安装依赖包 复制代码 代码如下: yum -y install autoconf automake libtool cmake ncurses-devel openssl-devel lzo-devel zlib-devel gcc gcc-c++ 下载相应源码包 wget http://downloads.sourceforge.net/project/boost/boost/1.59.0/bo

windows及linux环境下永久修改pip镜像源的方法

一.在windows环境下修改pip镜像源的方法(以python3.5为例) (1):在windows文件管理器中,输入 %APPDATA% (2):会定位到一个新的目录下,在该目录下新建pip文件夹,然后到pip文件夹里面去新建个pip.ini文件 (3):在新建的pip.ini文件中输入以下内容,搞定 [global] timeout = 6000 index-url = http://pypi.douban.com/simple trusted-host = pypi.douban.com

在Linux环境下mysql的root密码忘记解决方法(三种)

MySQL密码的恢复方法之一 1.首先确认服务器出于安全的状态,也就是没有人能够任意地连接MySQL数据库. 因为在重新设置MySQL的root密码的期间,MySQL数据库完全出于没有密码保护的 状态下,其他的用户也可以任意地登录和修改MySQL的信息.可以采用将MySQL对外的端口封闭,并且停止Apache以及所有的用户进程的方法实现服务器的准安全状态.最安全的状态是到服务器的Console上面操作,并且拔掉网线. 2.修改MySQL的登录设置: # vi /etc/my.cnf 在[mysq