安装Hadoop在Linux上需要执行以下步骤:
- 下载Hadoop软件包:
-
前往Apache Hadoop官方网站(https://hadoop.apache.org/)下载最新的Hadoop版本。
-
或者使用以下命令从终端下载Hadoop软件包:
wget https://downloads.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
- 解压Hadoop软件包:
tar -xzvf hadoop-3.3.1.tar.gz
- 配置Hadoop环境变量:
- 编辑
~/.bashrc
文件:
vim ~/.bashrc
- 添加以下内容:
# Hadoop Configuration export HADOOP_HOME=/path/to/hadoop-3.3.1 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
-
保存并退出文件。
-
执行以下命令以使环境变量生效:
source ~/.bashrc
- 配置Hadoop:
- 进入Hadoop的配置目录:
cd /path/to/hadoop-3.3.1/etc/hadoop
- 编辑
hadoop-env.sh
文件并修改Java路径:
vim hadoop-env.sh
将以下行修改为正确的Java路径:
export JAVA_HOME=/path/to/java
- 保存并退出文件。
- 配置Hadoop集群:
- 编辑
core-site.xml
文件并添加以下配置:
fs.defaultFS hdfs://localhost:9000
- 编辑
hdfs-site.xml
文件并添加以下配置:
dfs.replication 1
- 格式化Hadoop文件系统:
hdfs namenode -format
- 启动Hadoop集群:
start-dfs.sh
现在,您已经在Linux上成功安装和启动了Hadoop。您可以通过访问http://localhost:9870来查看Hadoop集群的Web界面。