智能招聘项目部署运维手册.docx

《智能招聘项目部署运维手册.docx》由会员分享，可在线阅读，更多相关《智能招聘项目部署运维手册.docx（29页珍藏版）》请在第壹文秘上搜索。

1、智能招聘项目部署运维手册XX科技股份有限公司编制目录一、文章编写目的5二、前置准备52.1 配置网络ip52.2 编写相关操作脚本81. 批量执行命令脚本82. 批量重命名脚本93. 批量拷贝脚本104. cm_migrate,sh125. format2.sh126. mountDisk.sh127. network,sh138. node,1.ist149. node,txt142. 3hostname及hosts配置141 .配置每台节点的hostname142 .配置节点ip、hostname映射152.4 禁用SE1.inux152.5 关闭防火墙162.6 设置SWaPPineSS

2、172.7 关闭透明大页面182.8 配置操作系统本地yum源192.9 安装http服务202. 10集群时钟同步231 所有机器卸载ChrOny232 .所有机器安装nip233 .node1.机器配置时钟与自己同步234 .集群其它节点，配置找node1.机器去同步235 .重启所有机器的ntp服务246 .验证始终同步，在所有节点执行nipq-P命令，如下使用脚本批量执行242. 11安装NariaDB24三、C1.ouc1.eraManager安装293. 1配置本地CM源293. 2安装CIOUderaManagerServer32四、CDH安装334. 1CDH集群安装向导335

3、. 2集群设置安装向导40五、HBASE安装445.1 准备工作：445.2 安装：441. 下载hbase1.3.2442. 解压443. 配置环境变量/.base_profi1.e444. hbase-env.sh配置javahomeWZK455. hbase-site.xm1.配置参数456. 酉已置regionserver467. scp-rhbase到其他节点46六、F1.ume安装476. 1安装47七、Kafka安装：477. 1安装47一、文章编写目的本文档主要描述智能招聘平台的安装主要分为4个步骤：1 .集群服务器配置，包括安装操作系统、关闭防火墙、同步服务器时钟等，又称为集

4、群安装的前置准备，关于更多前置条件准备也可以参考之前的的文档KDH安装前置准备；2 .安装C1.oUderaManage门3 .通过C1.ouderaManager的WebUI向导式安装CD1.I集祥：4 .集群完整性检查,包括HDFS文件系统、MaPRedUce、HiVe等是否可以正常运行。本文操作说明基于以下假设：1 .操作系统版本：Redhat7.42 .CDH和CM版本均为5.16.13 .采用roo1.对集群进行部署4 .您巳经下载CDH和CM的安装包二、前置准备2. 1配置网络ip开启虚拟机，修改配置文件输入如下命令11etcsysconfignetwork-scriptsifcf

5、g*会出现如下内容（ifcfg-ens后面的名字可能不同）# rw.1rootroot6168月1319:25e1.csySConfigne1.work-scripts/ifcfg-ens16777736# rw-rr一.1rootroot2541月32018etcsysconfig/network-scripts/ifcfg-1.o输入如下命令vi/etc/sysconfignctwork-scripts/ifcfg-cns16777736出现下图界面root0cm1.nctwork-scriptsttviifcfg-cno1.6777736# 网络类型（通常是Ethernet）TYPE=E

6、1.herne1.# IP的配置方法noneStatic1.bootpdhcp（引导时不使用协议静杰分配IP1.BooTP协议IDHCP协议）Bootproto=,dhcpDEFROUTE=yes”IPV4_FAI1.URE_FATA1.=noIPV6INIT=yesIPV6-UT0C0NF=yesIPV6DEFRoUTE=yesIPV6_FAI1.URE_FATA1.=noNAME=eno1.6777736# 随机idUUID=*6d21.f413-619d-4283-9ba2-e1.a724c1.c593DEV1.CE=%no1.6777736# 系统启动的时候网络接口是否有效（yesno

7、）ONBOOT=yesPEERDNs=yesPEERRoUTES=yesIPV6PEERDns=yesPV6_PEERRoUTES=yesIPV6_PRIVACY=no*需要修改的地方有：BOOTPROTO=Staticffdhcp改为static（修改）0NB00T=yes#开机启用本配置，一般在最后一行（修改）IPADDR=192.168.139.101#静态IP（增加）GATEWAY=I92.168.139.2#默认网关，虚拟机安装的话，通常是2,也就是VMneI8的网关设置（增加）NETMASK=255.255.255.0#子网掩码（增加）DNSI=I92.168.139.2#DNS配

8、置，虚拟机安装的话，DNS就网关就行,多个DNS网址的话再增加（增加）这里注意，因为静态ip她址设置为192.168.139.101,因此默认网关和DNS地址前面部分，即192.168.139必须相同，不然会出现无法Ping通的情况0EVICE=ethOKWADDr=OO:0C：29：14：8B：FATYPE=EthernetUID=63af865f-878d-4d93-8284-85d60af589bbIDNBoOT=yes1.NM_CONTRO1.1.ED=yesOOTPROTO=StaticI1.PAdD=192.168.1,100GATEWAY=192,168.1.2)NS1=114.

9、114.114.114)NS2=8.8,8.8重启网络服务使ip生效servicenetworkrestart如果报错.reboot重启虚拟机三台节点配置的ip分别为：192.168.1.131,192.168.1.132.192.168.1.133注意：每台节点克隆后需要删除每台节点etcudevru1.es.d70-PerSiSIen1.ne1.rUIeS文件，清除mac地址。重启每台节点即可。节点克隆后还可以使用以下方式修改nac地址rooIQhad(X)P1.O1.8vinetcudevru1.es.d70-persis1.ent-net.ruIes进入如下页面，删除e1.h该行：将e

10、1.h1.修改为e1.h,同时复制物理ip地址，如图所示修改ip地址rooIQhadoop1.O1.Svim/etc/sysconfig/network-scripIs/ifcfg-eth(1)把复制的物理ip地址更新HWADDr=OO：0C：2x：6x：Ox：xx#MAC地址(2)修改成你想要的ipIPADDR=192.168.1.132#1P地址2.2编写相关操作脚本脚本依赖expeci程序，需要在执行这些脚本的服务器上安装expect.安装方式：yuminsta1.1.expect1. 批量执行命令脚本batchcmd.sh#!/bin/sh1.istfi1.c-$1.cmd=S2use

11、rname=rootpassword=123456catS1.is1._fiIewhiIeread1.inedohost-ip=echoS1.ineIawk,print31、ttusernarae=echo$1.ineawkprint$2)ttpassword=echo$1.ineawk,print$3,./expect_Cmd$host_ipSusername$PaSSWord$Cmddoneexpect_cmd#!/usr/bin/cxpcctsettimeout10sethostIindex$argv0setusername!index$argv1setpassword!index$ar

12、gv2setCnId1indexSargv31spawnssh-p22SusernameQShostScmdrexpect,(yesno)?(sendyesn*expect*assword:sendSpasswordn),assword：w(send$passwordn)expect1.()0%#expecteofexit02. 批量重命名脚本batchrcw三ccmd.Sh划/bin/shIiS1.JiIe=$1username=rootpassword=123456catS1.istfiIcwhiIcread1.inedohost_ip=echo$1inejawk,printShost-n

13、ame=echo$1.ineawk,printhost_a1.ias-name=echoS1.ineIawk,ttuscrnamc-echo$1ineawk,printItpassword=echo$1ine)awk,print$3)./expect_rename_cmd$host_ip$uSername$PaSSWOrd$host_namedoneexpectrenamesmdit!usrbinexpectsettimeout10sethost1indexSargv()setusername!index$argv1setpassword!index$argv2sethostname!inde

14、xSargv3spawnssh-P22$USernameShoStnsed-isHOST.*HOSTNME=Shostnamc/ctcsysconfig/nctwork：hostnameShostnamc；hostnamect1.set-hostnameShostnameexpectr(yesno)?(sendycsn*expect*assword:sendSpasswordn)assword：(send$passwordnexpectn100%JiexpecteofexitO3. 批量拷贝脚本batchscp.sh#!/bin/shIiS1.JiIe=$1srcfi1.c=$2dest_fi1.e=$3USername=rootpassword=123456catwhi1.eread1.inedohost_ip=echo$1ineIawk,printS1.),Uusername=echo$1.ineawk,print$2)Jtpassword=echo$1ineawkprint$3)./expect_scp$host_ipSusernameSpassword$src_fi1.eJdestfiIedoneexpect_scp#!usrbin