hadoop的官网

hadoop官网

下载并安装hadoop（本人使用的是2.10.1）

1. 下载：hadoop2.10.1
2. 安装：tar -zxvf 解压文件
3. 在linux 环境下也可以 直接用 wget http地址 的形式下载

配置hadoop及启动

• 集群最好改动一下hadoop的java配置地址：准备启动 Hadoop 群集，解包下载的 Hadoop 分发。在分发中，编辑文件etc/hadoop/hadoop-env.sh以定义一些参数，如下所示

  # set to the root of your Java installation
  export JAVA_HOME=/usr/java/latest
  

• 单个机子部署（使用伪分布式）配置：
  修改etc/hadoop/core-site.xml 文件

  <configuration>
  	#配置成hdfs模式
      <property>
          <name>fs.defaultFS</name>
          <value>hdfs://localhost:9000</value>
      </property>
      #将生产模式的运行日志生成到指定位置
      <property>
              <name>hadoop.tmp.dir</name>
              <value>/opt/hadoop/hadoop-2.10.1/data/tmp</value>
      </property>
  </configuration>
  

  修改etc/hadoop/hdfs-site.xml 文件

  <configuration>
      <property>
          <name>dfs.replication</name>
          <value>1</value>
      </property>
  </configuration>
  

• 第一次启动namenode 一定要格式化（只在第一次启动时需要格式化，其他情况不需要）

  bin/hdfs namenode -format
  

• 启动namenode

  #启动
  sbin/hadoop-daemon.sh start namenode
  #停止
  sbin/hadoop-daemon.sh stop namenode
  

• 启动datanode

  #启动
  sbin/hadoop-daemon.sh start datanode
  #停止
  sbin/hadoop-daemon.sh stop datanode
  

• 启动好之后可以通过服务器ip:50070查看情况

• 创建文件（需要配置使用hdfs才能用）

  bin/hdfs dfs -mkdir /user
  bin/hdfs dfs -mkdir /user/<username>
  #将输入文件复制到分布式文件系统中
  bin/hdfs dfs -mkdir input
  bin/hdfs dfs -put etc/hadoop/*.xml input
  #运行提供的一些示例
  bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar grep input output 'dfs[a-z.]+'
  #检查输出文件：将输出文件从分布式文件系统复制到本地文件系统并检查它们
  bin/hdfs dfs -get output output
  cat output/*
  #或者
  bin/hdfs dfs -cat output/*
  

配置下hadoop的环境

vim /etc/profile

#hadoop
export HADOOP_HOME=/home/wj/hadoop2.7.7
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

source /etc/profile

vim /etc/profile

#hive  
export HIVE_HOME=/usr/local/hive
export PATH=$PATH:$HIVE_HOME/bin

source /etc/profile

<configuration>
<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://gz-cdb-73kggk47.sql.tencentcdb.com:63524/hive?createDatabaseIfNotExist=true</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>ccnfgame001</value>
</property>
</configuration>

./schematool -initSchema -dbType mysql

bin/hive –service hiveserver2 &（&表示后台运行）
用java，python等程序实现通过jdbc等驱动的访问hive就用这种起动方式了，这个是程序员最需要的方式了

vim /etc/profile

#scala
export SCALA_HOME=/home/ubuntu/ljq/hadoopAll/spark/scala-2.12.12
export PATH=$PATH:$SCALA_HOME/bin


source /etc/profile