[Hadoop学习笔记 1] Hadoop伪分布式环境部署

360影视 动漫周边 2025-05-22 18:20 2

摘要:本文所搭建Hadoop伪分布式环境将使用Oracle JDK 8,将从Oracle Java SE 8 Archive Downloads页面中下载Linux版本的JDK,下载地址如下:

本文所使用 Linux 发行版为 OpenSUSE 15.6 ,使用的 JDK 版本为 Oracle JDK 8

本文所搭建 Hadoop 伪分布式环境将使用 Oracle JDK 8 ,将从 Oracle Java SE 8 Archive Downloads 页面中下载 Linux 版本的 JDK ,下载地址如下:

建议下载 .tar.gz 格式的压缩包,以便于对 JDK 版本做出更为便利的管理,可根据实际需求将 JDK 压缩包放置到合适的位置,本文将压缩包放置到 /opt/software 目录下,并在此解压

其中 jdk-8u441-linux-x64.tar.gz 为本文所使用的 JDK 压缩包文件名,请根据实际文件名作出修改

解压完成后对 Java 目录创建链接,以便于配置环境变量,切换 Java 版本仅需更改链接目标而无需更改环境变量,本文将在 /opt/softln 目录下创建链接,此步为可选操作,可根据自身实际需求进行调整执行

修改 /etc/profile 文件配置环境变量,多种远程 ssh 连接客户端如 MobaXterm 等可使用 NotePad++ 等工具对 Linux 端文件进行修改,本文使用 vim

在文件末尾追加以下内容:

其中 JAVA_HOME 变量的值根据实际作出调整 保存后执行

使配置的环境变量生效,验证

添加 hadoop 组:

将用户切换为 hadoop 并进入用户主目录

创建并进入 .ssh 目录

生成私钥与公钥

现在免密登录时还会出现

切换 root 用户修改 /etc/ssh/ssh_config ,找到

取消注释改为

切换回 hadoop 用户测试免密登录

国内镜像站或 Apache Archive 均可下载 Hadoop ,本文将安装 Hadoop 2.10.2 ,可在以下链接中下载Apache Archive

中国科学技术大学镜像站

推荐使用国内镜像站下载

将压缩包放置到合适的位置,本文依然将压缩包放置到 /opt/software 下,并在此解压

其中 hadoop-2.10.2.tar.gz 为本文所使用的压缩包文件名,请根据实际文件名修改

解压完成后创建对 Hadoop 目录创建链接,以便于配置环境变量,本文将在 /opt/softln 目录下创建链接,此步为可选操作,可根据自身实际需求进行调整执行

更改目录归属,使其归属于 hadoop 用户和组

修改 /etc/profile 文件配置环境变量,将文件末尾环境变量配置修改为

其中 HADOOP_HOME 变量的值根据实际做出调整

保存以后执行

使配置的环境变量生效

修改主机名为 master 并重新启动,可根据需要选择其他主机名

配置 /etc/hosts 文件,向文件末尾追加

其中 master 为上文所设置的主机名, 192.168.171.129 为当前 Linux 主机 IP ,请根据实际情况作出修改

切换为 hadoop 用户并创建 tmp 目录, name 目录和 data 目录,本文中将这三个目录放置到 $HADOOP_HOME 中,可根据需求灵活选择

配置 $HADOOP_HOME/etc/hadoop/core-site.xml在 标签中加入配置

/opt/softln/hadoop/tmp 值为先前创建的 tmp 目录, hdfs://master:9000 中的 master 为先前配置的主机名,请根据实际情况修改

配置 $HADOOP_HOME/etc/hadoop/hadoop-env.sh

改为

/opt/softln/java 为先前创建的链接,请根据实际情况修改

配置 $HADOOP_HOME/etc/hadoop/hdfs-site.xml在 标签中加入配置

其中 /opt/softln/hadoop/hdfs/name/opt/softln/hadoop/hdfs/data 均为上文所创建的 namedata 目录,请根据实际情况作出修改

配置 $HADOOP_HOME/etc/hadoop/mapred-site.xml执行

在 标签中加入配置

其中 中的 maste 为上文配置的主机名,请根据实际情况修改

配置 $HADOOP_HOME/etc/hadoop/yarn-env.sh

改为

配置 $HADOOP_HOME/etc/hadoop/yarn-site.xml在 标签中加入配置

其中 master 为上文配置的主机名,请根据实际情况修改

操作前请先切换到 hadoop 用户

启动 dfs

访问 正常, 192.168.171.129 为本文 Linux 主机 IP ,请根据实际情况修改

生成测试文本文件

hdfs 创建测试目录

hdfs 向测试目录上传文件

查看测试文件内容

wordcount 测试

查看运行结果

来源:小羊看科技

相关推荐