全国咨询/投诉热线:400-618-9090

首页技术文章正文

大数据入门Hadoop安装

更新时间:2018-07-27 来源:黑马程序员技术社区 浏览量:

解压hadoop
    tar -zxvf h     -C app/
hadoop文件目录结构解析:
bin:可执行脚本
sbin:系统脚本,启动停止hadoop的脚本
etc:hadoop的配置文件
lib:hadoop的本地库
include:本地库包含文件
share:包含了hadoop的jar包和一些说明文档,我们可以删除说明文档,精简hadoop


进入hadoop的配置文件去更改设置
    1.hadoop-env.sh(写死一个jkd的目录进去,因为有的时候找不见)
    2.echo $JAVA_HOME
    /home/hadoop/app/jdk1.7.0_65
    2.本机的javahome为    /home/hadoop/app/jdk1.7.0_65
    3.export JAVA_HOME=/home/hadoop/app/jdk1.7.0_65

伪分布式:就是所有的程序都在一台主机上跑,完全是分布式的工作模式,但是不是真正的分布式
    先上传hadoop的安装包到服务器上去/home/hadoop/
    注意:hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop
    伪分布式需要修改5个配置文件
    3.1配置hadoop


    第一个:hadoop-env.sh
        vim hadoop-env.sh
        #第27行
        export JAVA_HOME=/home/hadoop/app/jdk1.7.0_65
        
    第二个:core-site.xml
        <!-- 指定HADOOP所使用的文件系统schema(URI),HDFS的老大(NameNode)的地址 -->
        vim core-site.xml
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://weekend110:9000/</value>
        </property>
        <!-- 指定hadoop运行时产生文件的存储目录 -->
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/home/hadoop/hadoop-2.4.1/data/</value>
    </property>
        

vi hdfs-site.xml

    第三个:hdfs-site.xml  
        vim hdfs-site.xml
        <property>
            <!-- 指定HDFS副本的数量 -->
            <name>dfs.replication</name>
            <!-- 因为只有一台机器,所以配置为1 -->
            <value>1</value>
    </property>
        
        yaant运行必须的配置文件
        首先修改文件呢的名字,不然hadoop不会读取的

    第四个:mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)

        mv mapred-site.xml.template mapred-site.xml
        vim mapred-site.xml
        <!-- 指定mr运行在yarn上 -->
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
        
    第五个:yarn-site.xml
    vim yarn-site.xml
        <!-- 指定YARN的老大(ResourceManager)的地址 -->
        <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>weekend110</value>
    </property>
        <!-- reducer获取数据的方式 -->
    <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
     </property>

     现在关闭Hadoop服务器的防火墙:
     sudo service iptables stop
     查看状态
     sudo service iptables status
     

     查看Liunx防火墙的自启动服务设置
         sudo chkconfig iptables --list
    关掉Liunx防火墙的自启动服务设置
         sudo chkconfig iptables off

     第一次启动注意要格式化文件系统


     方便执行bin下的指令
    3.2将hadoop添加到环境变量
    
    sudo vi /etc/profile
        export HADOOP_HOME=/home/hadoop/app/hadoop-2.4.1
        export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

    source /etc/profile
    
    hadoop namenode -format

    3.3格式化namenode(是对namenode进行初始化)
        hdfs namenode -format (hadoop namenode -format)
        修改主机名称
        vi sla

    3.4启动hadoop
        先启动HDFS
        sbin/start-dfs.sh
        
        再启动YARN
        sbin/start-yarn.sh
        
    3.5验证是否启动成功
        jps
        使用jps命令验证
        27408 NameNode
        28218 Jps
        27643 SecondaryNameNode
        28066 NodeManager
        27803 ResourceManager
        27512 DataNode
    
        http://192.168.2.100:50070 (HDFS管理界面)
        http://192.168.2.100:8088 (MR管理界面)
        

        
4.配置ssh免登陆
    #生成ssh免登陆密钥
    #进入到我的home目录
    cd ~/.ssh

    ssh-keygen -t rsa (四个回车)
    执行完这个命令后,会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)
    将公钥拷贝到要免登陆的机器上
    ssh-copy-id localhost

hadoop

本文版权归黑马程序员JavaEE学院所有,欢迎转载,转载请注明作者出处。谢谢!

作者:黑马程序员JavaEE培训学院

首发:http://java.itheima.com/

javaee

python

web

ui

cloud

test

c

netmarket

pm

Linux

movies

robot

http://www.itcast.cn/subject/uizly/index.shtml?seozxuids

pythonAI

在线咨询 我要报名