深圳模具厂-深圳市深模塑胶模具有限公司

网站首页 > 新闻 > 公司文化

阿里云搭建Hadoop集群

阿里云搭建Hadoop集群

https://blog.csdn.net/bqw18744018044/article/details/79103931

  • 两台服务器,一台做master,一台做worker,worker就是slave。建议用之前配置好的服务器做master,新的主机做worker。

  • master上的工作


  • 第一步通过vim hadoop /etc/hosts在master中添加worker的hostname


  • worker1

  • worker2

  • worker3

  • .....

  • 1

  • 2

  • 3

  • 4

  • 第二步配置ssh无密码登陆


  •  1. 将master上的公钥xxx.pub复制到worker上的authorized_keys里面。

  •      scp xxx.pub worker_ip


  •  2. 在worker中更改一下文件的权限。

  •      chmod 600 authorized_keys

  •      chmod 700 .ssh

  • 1

  • 2

  • 3

  • 4

  • 5

  • 6

  • 第三步将master中的配置好的hadoop目录复制到worker中


  • 首先,在master中压缩hadoop文件,在拷贝到worker中。网上很多教程是直接拷贝文件夹到worker中,这种做法的效率极低,文件的传输很慢,一定要压缩后再拷贝文件。

  • tar czvf hadoop-2.8.1.tar  hadoop-2.8.1

  • scp  hadoop-2.8.1.tar worker_ip

  • 1

  • 2

  • 3

  • worker上的工作


  • 第一步修改hostname为对应的worker,并修改对应的hosts中的IP映射。


  • 第二步配置java环境。


  • 第三步配置/etc/profile


  • 1、2、3步参考我的上一篇博客进行完成。hadoop环境搭建。


  • 第四步将从master中拷贝过来的hadoop压缩包进行解压,并移动到software目录下。


  • 这次就完成了hadoop集群的搭建。


  • 回到master中,使用./sbin/start-all.sh开启Hadoop集群。


  • 在master中执行hadoop dfsadmin -report查看集群是否正常启动,下图表示启动成功:

  •  ———————————————— 

  • 版权声明:本文为CSDN博主「vlions 」的原创文章,遵循CC 4.0 by-sa版权协议,转载请附上原文出处链接及本声明。

  • 原文链接:https://blog.csdn.net/qq_22600319/article/details/78241628


Powered by MetInfo 5.3.19 ©2008-2019 www.metinfo.cn