分布式计算系统第五六节笔记

配置分布式模式hdfs Namenode(1个) DataNode(多个) SecondaryNameNode(1个)尽量不跟namenode放在同一个服务器上Yarn ResourceManager1个 NodeManager多个ResourceManager很消耗内存尽量不要和NamNodeSecondaryNameNode配置在同一台机器上。hadoop1hadoop2hadoop3hadoop4NamenodeDataNodeDataNodeDataNodeSecondaryNameNodeNodeManagerNodeManagerResourceManagerNodeManagerNodeManagerping ip地址ICMP协议测试两台电脑计算机之间的连通性(OSI第三层)SSHSecure Shell安全外壳协议一台计算机---》 登录到另外一台计算机一般情况下需要密码公钥锁私钥钥匙兔子寄一个箱子给毛子但是这个箱子比较私密中途不想让任何人打开。1.毛子造一把锁公钥和一把私钥。2.她把锁给兔子。把锁给服务器钥匙毛子自己藏好了。3.兔子就把箱子用这把锁锁住。用公钥加密4.中途没有任何人可以打开5.只有有钥匙的人毛子有私钥才能打开兔子服务器毛子客户端1.生成公钥和私钥的命令ssh-keygen -t rsaknown_hosts记录ssh访问过计算机的公钥id_rsa生成的私钥id_rsa.pub生成的公钥authorized——keys存放授权过的无密登录服务器的公钥2.将公钥文件追加到另一个文件authorized_keys中cat ./id_rsa.pub ./authorized_keys3.scp ~/.ssh/id_rsa.pub rootslave1:/root scp ~/.ssh/id_rsa.pub rootslave2:/root scp ~/.ssh/id_rsa.pub rootslave3:/root从自己本机master把~/.ssh/id_rsa.pub路径下的文件复制到rootslave1:/rootslave1这台机器上用的登录的账户root在slave1这台机器/root这个路径下scp ~/.ssh/id_rsa.pub rootslave1:/root1.从hadoop102服务器上将本机服务器的文件推给hadoop103:scp -r jdk1.8.0_212/ lotushadoop103:/opt/module/2.在Hadoop103服务器上操作将Hadoop102的文件拿过来scp -r lotushadoop102:/opt/module/jdk1.8.0_212/ ./同理hadoop也可以这样操作scp -r lotushadoop102:/opt/module/hadoop-3.1.3/ ./在103服务器上将102的文件拷贝到104scp -r lotushadoop102:/opt/module/* lotushadoop104:/opt/modulecat ~/id_rsa.pub ~/.ssh/authorized_keys将~id_rsa.pub文件的内容追加到~/.ssh/athoried_keys的末尾