Hadoop的安装与环境搭建教程图解

作者:pfnie 时间:2022-06-28 16:19:47 

一、Hadoop的安装

1. 下载地址:https://archive.apache.org/dist/hadoop/common/我下载的是hadoop-2.7.3.tar.gz版本。

2. 在/usr/local/ 创建文件夹zookeeper

mkdir hadoop

Hadoop的安装与环境搭建教程图解

3.上传文件到Linux上的/usr/local/source目录下

Hadoop的安装与环境搭建教程图解

3.解压缩

运行如下命令:

tar -zxvf hadoop-2.7.3.tar.gz-C /usr/local/hadoop

Hadoop的安装与环境搭建教程图解

4. 修改配置文件

进入到cd /usr/local/hadoop/hadoop-2.7.3/etc/hadoop/ , 修改hadoop-env.sh

Hadoop的安装与环境搭建教程图解

运行 vimhadoop-env.sh,修改JAVA_HOME

Hadoop的安装与环境搭建教程图解

5.将Hadoop的执行命令加入到我们的环境变量里

在/etc/profile文件中加入:

export PATH=$PATH:/usr/local/hadoop/hadoop-2.7.3/bin:/usr/local/hadoop/hadoop-2.7.3/sbin

执行/etc/profile文件:

source /etc/profile

6. 将npfdev1机器上的hadoop复制到npfdev2和npfdev3和npfdev4机器上。使用下面的命令:

首先分别在npfdev2和npfdev3和npfdev4机器上,建立/usr/local/hadoop目录,然后在npfdev1上分别执行下面命令:

scp -r /usr/local/hadoop/hadoop-2.7.3/ npfdev2:/usr/local/hadoop/

scp -r /usr/local/hadoop/hadoop-2.7.3/ npfdev3:/usr/local/hadoop/

scp -r /usr/local/hadoop/hadoop-2.7.3/ npfdev4:/usr/local/hadoop/

记住:需要各自修改npfdev2和npfdev3和npfdev4的/etc/profile文件:

在/etc/profile文件中加入:

export PATH=$PATH:/usr/local/hadoop/hadoop-2.7.3/bin:/usr/local/hadoop/hadoop-2.7.3/sbin

执行/etc/profile文件:

source /etc/profile

然后分别在npfdev1和npfdev2和npfdev3和npfdev4机器上,执行hadoop命令,看是否安装成功。并且关闭防火墙。

Hadoop的安装与环境搭建教程图解

7. 确定所有机器之间可以相互ping通,使用下面的命令:

(1). ping npfdev1

Hadoop的安装与环境搭建教程图解

(2). ping npfdev2

Hadoop的安装与环境搭建教程图解

(3). ping npfdev3

Hadoop的安装与环境搭建教程图解

(4). ping npfdev4

Hadoop的安装与环境搭建教程图解

8. 启动hadoop:

我们这里将npfdev1作为master,npfdev2和npfdev3和npfdev4分别作为三台slave。

(1).修改配置文件core-site.xml

进入 cd /usr/local/hadoop/hadoop-2.7.3/etc/hadoop

Hadoop的安装与环境搭建教程图解

具体配置如下:

Hadoop的安装与环境搭建教程图解

(2).在master机器npfdev1上启动namenode

首先需要格式化namenode,第一次使用需要格式化,后来就不需要了。

hdfs namenode -format

Hadoop的安装与环境搭建教程图解

然后启动namenode:

hadoop-daemon.sh start namenode

Hadoop的安装与环境搭建教程图解

通过jps命令查看,如果有namenode的java进程,就说明我们启动namenode成功。

Hadoop的安装与环境搭建教程图解

(3).在slave机器npfdev2,npfdev3,npfdev4上启动datanode

Hadoop的安装与环境搭建教程图解

总结

以上所述是小编给大家介绍的Hadoop的安装与环境搭建教程图解网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

来源:https://www.linuxidc.com/Linux/2018-08/153638.htm

标签:hadoop,安装,环境搭建
0
投稿

猜你喜欢

  • 使用spring框架实现数据库事务处理方式

    2022-03-01 14:38:13
  • Java通过FTP服务器上传下载文件的方法

    2021-08-15 07:26:39
  • Spring Boot小型项目如何使用异步任务管理器实现不同业务间的解耦

    2022-11-21 07:49:54
  • Java设计模式之Strategy模式

    2023-11-21 03:58:22
  • Java编程BigDecimal用法实例分享

    2022-05-02 05:40:06
  • SSM框架中测试单元的使用 spring整合Junit过程详解

    2022-07-01 14:46:48
  • Java自动生成趋势比对数据的方法分享

    2023-11-25 18:29:18
  • 彻底掌握C语言strcpy函数的用法

    2023-07-03 07:21:18
  • springboot 在idea中实现热部署的方法

    2022-10-24 22:27:19
  • SpringBoot整合Swagger的方法示例

    2021-05-29 02:42:16
  • Spring实战之协调作用域不同步的Bean操作示例

    2023-01-23 02:48:10
  • Flutter倒计时/计时器的实现代码

    2023-07-01 03:50:50
  • 详解Alibaba Java诊断工具Arthas查看Dubbo动态代理类

    2021-08-04 03:16:28
  • 解决mybatis-generator生成器添加类注释方法无效的问题

    2023-12-05 06:34:57
  • Java避免死锁_动力节点Java学院整理

    2023-05-07 15:02:03
  • Android Studio做超好玩的拼图游戏 附送详细注释源码

    2023-08-05 12:19:16
  • window下安装和配置maven环境

    2021-06-13 14:32:16
  • Java零基础精通方法篇

    2021-08-29 12:07:58
  • Java回调函数实例代码详解

    2023-11-23 18:22:26
  • java反射机制给实体类相同字段自动赋值实例

    2023-11-25 19:52:29
  • asp之家 软件编程 m.aspxhome.com