手机版
你好,游客 登录 注册
背景:
阅读新闻

hadoop环境搭建

[日期:2019-01-21 11:08:57] 来源:linux公社   作者:linux公社 [字体: ]

Appache hadoop

版本:2.77 jdk:1.8 系统:centos7

注意不要在root下解压,要单独建一个用户安装hadoop及其组件。

一、先查看系统是否有自带j

  #dk: rpm -qa|grep java

  通常是如下4个包:

  rpm -e --nodeps java-1.8.0-openjdk-1.8.0.131-11.b12.el7.x86_64

  rpm -e --nodeps java-1.7.0-openjdk-1.7.0.141-2.6.10.5.el7.x86_64

  rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.131-11.b12.el7.x86_64

  rpm -e --nodeps java-1.7.0-openjdk-headless-1.8.0.131-11.b12.el7.x86_64

步骤三:验证一下是还有jdk

  #rpm -qa|grep java

  #rpm -qa | grep jdk

  #rpm -qa | grep gc

  #java -version

  没有内容证明已经卸载干净了

二、安装jkd&hadoop:创建hadoop安装目录:mkdir /soft

  在soft下:

  tar –zxvf jdk-7u80-linux-x64.tar.gz

  tar -xzvf hadoop-2.7.3.tar.gz

  建立符号链接:

  ln –s jkd文件名 jdk

  ln –s hadoop-2.7.3 hadoop

  配置hadoop&jdk环境变量:

  su root

  vi /etc/profile

  

  使环境变量即刻生效

  source /etc/profile

  回到hadoop用户,进入任意目录下,测试是否ok

  java –version

  

  hadoop version

  

配置hadoop:

伪分布模式:

编辑:core-site.xml

<?xml version="1.0"?>

<!-- core-site.xml -->

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://localhost/</value>

</property>

</configuration>

编辑:httpfs-site.xml

<?xml version="1.0"?>

<!-- hdfs-site.xml -->

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

</configuration>

编辑:mapred-site.xml (框架)–是由mapred-site.xml.template拷贝过来的模板

cp mapred-site.xml.template mapred-site.xml

<?xml version="1.0"?>

<!-- mapred-site.xml -->

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

编辑:yarn-site.xml(底层)

<?xml version="1.0"?>

<!-- yarn-site.xml -->

<configuration>

<property>

<name>yarn.resourcemanager.hostname</name>

<value>localhost</value>

</property>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

</configuration>

配置SSH:

    查看系统是否有安装的ssh包

yum list installed | grep ssh

如果没有要自行安装ssh

    检查是否启动了sshd进程:ps –Af | grep sshd

    在client侧生产公私密匙对:ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa追加公钥到~/.ssh/authorized_keys文件中(文件名、位置固定)

cd ~/.ssh

cat id_rsa.pub >> authorized_keys

    修改authorized_keys的权限为644:chmod 644 authoried_keys测试: ssh localhost

Linux公社的RSS地址http://www.it56.cn/rss.xml

本文永久更新链接地址www.it56.cn/MySql/9145.html

linux