在Hadoop单机模式下,通常是使用Hadoop的伪分布式模式来实现。以下是配置Hadoop单机模式的方法:
-
下载Hadoop安装包,并解压到指定目录。
-
配置Hadoop环境变量,编辑
~/.bashrc
文件,添加以下内容:
export HADOOP_HOME=/path/to/hadoop export PATH=$PATH:$HADOOP_HOME/bin
- 配置Hadoop单节点集群的配置文件,主要包括
core-site.xml
、hdfs-site.xml
和mapred-site.xml
。
core-site.xml
配置示例:
fs.defaultFS hdfs://localhost:9000
hdfs-site.xml
配置示例:
dfs.replication 1
mapred-site.xml
配置示例:
mapreduce.framework.name local
- 格式化Hadoop文件系统,执行以下命令:
hadoop namenode -format
- 启动Hadoop单节点集群,执行以下命令:
start-dfs.sh start-yarn.sh
- 访问Hadoop Web界面,通过浏览器访问
http://localhost:50070
查看Hadoop服务状态。
通过以上步骤,您可以配置并启动Hadoop单机模式。