这一周学习网络服务配置，安全配置说真的教的很少，而且老师很少会去讲实际需求，一味得让学生跟着她的步骤去做。 域名解析服务 DNS 时间同步服务NTP 文件共享服务 FTP 文件共享服务NFS 文件共享服务SAMBA 自动挂载服务AUTOFS 邮件服务POSTFIX 网站服务APACHE 动态ip地址分发服务DHCP 防火墙 SELINUX 零基础学习云计算及大数据DBA集群架构师【Linux系统\网络服务及安全配置1.4-1.8】标签：本文系统来源：http://www.cnblogs.com/b...
2015.12.25/Fri2 *************摘要**************3 压缩和解压 zip gzip bzip2 xz 4 打包 tar5 bash history alias Tab > >> < << 6 远程连接 ssh scp 7 8 9 10 11 压缩12 1.压缩的作用:13 1)节省系统资源和带宽资源14 2)将内核压缩,可以提升启动速度15 2.压缩的原理16 压缩字典17 3.linux上常见的压缩程序18 zip19 gzip20 bzip221 xz22 4.压缩方式23 zip 压缩文件名(自拟) 目标文件...
2015.12.21/Mon2 3 *************摘要**************4 命令简介5 常用的命令 ls cd pwd6 符号 * ? { } |7 帮助命令 --help help type man info /usr/share/doc8 针对文件的的基本操作 touch mkdir rmdir cp rm mv 9 针对文件内容的基本操作 cat tac head tail more less 10 vi vim echo grep cut wc file 11 关于时间的命令 cal date timedatect...
1.作用 1) 反复调用某段代码2) 对代码段分类. 2.设置 函数名 () {代码的主体 } 3.函数的使用 函数名4.返回值 使用$?查看返回值 0代表的是正确, 非零代表的是不正确. 函数的返回值指的是函数结束后需要返回给调用者的值. 使用return 跟上数字 去指定返回值5.函数的位置参数 $1指的是传递给函数的第一个参数 $2指的是传递给函数的第二个参数.. fun () {echo $1echo $2echo $3 } result=$(fun 1 2 3) echo $result[root@rhel6 ~]...
1.确保在重启主机后所有配置仍然生效。 2.selinux 必须为Enforing 模式，防火墙必须开始。默认策略必须清空。 3.设置主机名为stuXXX.com（“X”为你的foundation 机器ip 地址最后一位。例如：你的ip 地址为172.25.254.30，则你的主机名为stu30.com） 4.不允许ssh 登录到其他主机，已经发现按0 分计算考试得分。 5.考试满分为100 分制，70 分为及格，所有考题需要按照要求完成。 1.使用find 查找/etc 目录下文件名以.conf 结尾的文件...
/POP3/SMTP 代理服务器。why #专为性能优化而开发#稳定性高#支持热部署#采用 master-slave 模型#代码质量高#nginx 处理请求是异步非阻塞的,而 apache 则是阻塞型的,在高并发下 nginx 能保持低资源低消耗高性能官网 #http://nginx.org/en/docs 版本 #最新版本为 Nginx 的开发版本,之前的版本为当前稳定版本。例如最新版本为 1.9.X,则当前稳定版本为 1.8.X。配置文件 #/etc/nginx/nginx.conf /etc/nginx/conf.d数据文件...
主要内容mlsql部署前提zookeeper正常使用 spark正常使用 hadoop正常使用安装包 微云下载 | tar包目录下mlsql-cluster-2.4_2.11-1.4.0.tar.gz mlsql-console-1.4.0.tar.gz mlsql-engine_2.4-1.4.0.tar.gz一、环境准备 上传到docker镜像 docker cp mlsql-cluster-2.4_2.11-1.4.0.tar.gz cluster-master:/root/tar docker cp mlsql-console-1.4.0.tar.gz cluster-master:/root/tar docker cp mlsql-engine_2.4-1.4.0.tar.gz cluster-m...
好程序员大数据分享Spark任务和集群启动流程，Spark集群启动流程 1.调用start-all.sh脚本,开始启动Master 2.Master启动以后,preStart方法调用了一个定时器,定时检查超时的Worker后删除 3.启动脚本会解析slaves配置文件,找到启动Worker的相应节点.开始启动Worker 4.Worker服务启动后开始调用preStart方法开始向所有的Master进行注册 5.Master接收到Worker发送过来的注册信息,Master开始保存注册信息并把自己的URL响应...
本文是讲如何在centos7.4（64位） 安装ambari+hdp,如果在装有原生hadoop等集群的机器上安装，需要先将集群服务停掉，然后将不需要的环境变量注释掉即可，如果不注释掉，后面虽然可以安装成功，但是在启动某些服务的时候可能会有异常，比如最后提到的hive启动异常。本文适合系统： RedHat7、CentOS7、Oracle Linux7(都是64位) 注意:centos7中文系统有bug（python脚本中文识别问题）,需要使用英文系统。 本文仅作参考（基本每个配置博...
网页右边，向下滑有目录索引，可以根据标题跳转到你想看的内容如果右边没有就找找左边 本文是我学习尚硅谷Hadoop3.1.x的学习笔记视频资源地址：https://www.bilibili.com/video/BV1Qp4y1n7EN?p=34&spm_id_from=pageDriver 一、搞3台做实验的虚拟机 1、 搭建Linux虚拟机环境 由于篇幅大，我将Linux虚拟机搭建放在这篇文章中：https://blog.csdn.net/grd_java/article/details/115676099 虚拟机搭建完成后，你还需要学会使用远程访问...
一、学习资源 https://www.bilibili.com/video/BV1JT4y1g7nM?p=7 二、收获和进度 今天根据视频重新搭建了虚拟机并且成功连接内网和外网 三、遇到的问题 1、自动生成MAC地址失败解决方法：重新在主界面进入虚拟机的设置界面更改：https://blog.csdn.net/u010455714/article/details/77507968 2、在终端修改MAC时失败显示E45：无法读入指定文件解决方法：使用root管理员身份登录，或者在终端输入su,然后输入密码，进入root用户终端界...
1.关闭防火墙 关闭防火墙systemctl stop firewalld.service永久关闭防火墙systemctl disable firewalld.service查看防火墙状态systemctl status firewalld.service 2.关闭selinuxvi /etc/selinux/config将SELINUX=enforcing改为SELINUX=disabled设置后需要重启才能生效3.更改主机名hostnamectl set-hostname node01.hadoop.com查看主机名4.主机名与ip地址映射vi /etc/hosts 5.机器重启reboot -h now6.免密码登录 假设三台机器分别为...
一、linux的安装配置 1、 安装虚拟机（VMware） 在本机上安装VMware，此处为Vmware压缩包（包括安装包以及注册码） 链接：https://pan.baidu.com/s/1OKYP-UOpAWpcEITQfkVQTA 密码：mwi7 2、新建linux虚拟机 ? 首先进入vmware界面后，workstation->文件->新建虚拟机出现右图界面，里面提示选择安装镜像或者稍后安装。跟着引导一直走，设置内存、占用硬盘空间等。（注：如果用于开发硬盘空间可以开大些，不然只能后面进行硬盘扩容，...
怎样在PC上部署一台自己的大数据集群 想要学习大数据，首先要有一个可以供自己折腾的集群环境，最好还可以定时快照，以防集群玩崩溃后又要含着泪从头部署~ 那么大数据初始化集群需要配置些什么，以及怎样低成本搞一套入门集群呢？ 一台笔记本或台式机，就可以搞定，下面让我们仔细说说实现过程 大数据初始化集群设置： 1、创建虚拟机 我们需要在VMware上创建3台CentOS系统的虚拟机 2、Linux环境设置 2.1、由于是内网环境 安全性比较...
目录 Standalone-HA高可用集群模式 原理 操作 1.集群规划 2.启动ZooKeeper 3.启动HDFS 4.停止Flink集群 5.修改flink-conf.yaml 6.修改masters 7.同步 8.修改node2上的flink-conf.yaml 9.重新启动Flink集群,node1上执行 10.使用jps命令查看 11.查看日志 12.下载jar包并在Flink的lib目录下放入该jar包并分发使Flink能够支持对Hadoop的操作 13.重新启动Flink集群,node1上执行 14.使用jps命令查看,发现三台机器已经ok ???????测试 1.访...