本文主要参考：1. http://blog.csdn.net/ab198604/article/details/8250461 （比较喜欢此作者通俗的写风，哈哈，所以整张篇幅大量粘贴他的内容） 2. http://os.51cto.com/art/201309/411793_all.htm 3. http://gxl-ct001.iteye.com/blog/1982910 4. http://w本文主要参考：1. http://blog.csdn.net/ab198604/article/details/8250461 （比较喜欢此作者通俗的写风，哈哈，所以整张篇幅大量粘贴他的内容） 2. http://os.51cto.com/ar...
3.2分布式搭建 hostname 角色 登录用户 IP 网关 hapmaster 主控master hadoop 210.31.181.211 210.31.181.1 hapslave1 附属slave hadoop 210.31.181.216 210.31.181.1 hapslave2 附属slave hadoop 210.31.181.217 210.31.181.1 hapslave3 附属slave hadoop 2 3.2 分布式搭建hostname角色登录用户IP网关hapmaster主控masterhadoop210.31.181.211210.31.181.1hapslave1附属slavehadoop210.31.181.216210.31.181.1hapslave2附属slave...
环境 系统：ubuntu12.4 hadoop版本:2.3.0 一。下载hadoop-2.3.0-tar.gz解压 二修改配置文件，配置文件都在${hadoop-2.3.0}/etc/hadoop路径下 1、core-site.xml configuration property namehadoop.tmp.dir/name value/usr/local/hadoop-2.3.0/tmp/hadoop-${u环境系统：ubuntu12.4 hadoop版本:2.3.0 一。下载hadoop-2.3.0-tar.gz解压 二修改配置文件，配置文件都在${hadoop-2.3.0}/etc/hadoop路径下 1、core-site.xmlhadoop.tmp.dir...
how to install jdk in ubuntu 1、首先到oracle下载上下载jdk-7u5-linux-x64.tar.gz 2、将jdk-7u5-linux-x64.tar.gz拷贝到/usr/lib/jdk/目录下面，这里如果没有jdk文件夹，则创建该文件夹,命令: sudo mkdir jdk //创建文件夹jdk sudo cp -r ~/download/jdk-7 how to install jdk in ubuntu 1、首先到oracle下载上下载jdk-7u5-linux-x64.tar.gz 2、将jdk-7u5-linux-x64.tar.gz拷贝到/usr/lib/jdk/目录下面，这里如果没有jdk文件夹，...
我的Java目录是/opt/jdk1.8.0_211，hadoop目录是/opt/bigdata/hadoop-3.0.2 1.环境变量 /etc/profile #java export JAVA_HOME=/opt/jdk1.8.0_211export CLASSPATH=.:$JAVA_HOME/lib/export PATH=$PATH:$JAVA_HOME/binexport JAVA_HOME PATH CLASSPATH#hadoopexport HADOOP_HOME=/opt/bigdata/hadoop-3.0.2export PATH=$PATH:$HADOOP_HOME/sbinexport PATH=$PATH:$HADOOP_HOME/binexport HADOOP_MAPRED_HOME=$HADOOP_HOMEexport H...
原文链接：http://www.cnblogs.com/devtao/p/3389079.html尝试进入大数据领域开发，从目前最火的Hadoop入手是必须的，本文一步步记录了 Ubuntu 环境安装Hadoop 1.2.1 ,搭建单机模式以及伪分布式模式，希望对各位和我一样的菜鸟有所帮助，共同学习进步，欢迎交流。尝试2.1安装失败，由于文件结构不太一样缺乏相关资料，也非做运维的，遂放弃改用成熟的hadoop 1.2.1版本。 ----------------------------------------单机模式--------...
换了新笔记本，做个笔记。谁让今天是什么Sa～x不放假的程序员节呢。emm.. 一、软件准备（自取所需） Java-1.8 Scala-2.11 Hadoop-2.1.1 Spark-2.3.2 二、SSH免密码登录 （即使是单机local to local 也需要ssh，否则格式化hadoop存储系统时无权限，导致失败 ：localhost: @localhost: Permission denied (publickey,password). Starting） public-key生成命令(在客户端下依次执行，所有选项按回车即可) (1)$ ssh-keygen -t dsa -f...
Hadoop完全分布式配置全过程之Ubuntu18.04.4环境下配置xsync实现文件的集群分发 注配置SSH配置静态IP配置xsync 注 在配置完全分布式集群时，可以先进行xsync的配置，这样只要在主节点上完成jdk和hadoop的配置，再将jdk和hadoop的文件夹以及修改过的配置文件分发给子节点，就可以避免重复工作。 配置SSH 一般Ubuntu都会默认安装openssh-client,但是没有安装openssh-server。 所以，第一步下载 openssh-server。 sudo apt-get instal...
所需文件： 更新日期为2021/5/8: Linux 内核更新包 JDK1.8 maven3.8.1 hadoop3.3.0 spark3.1.1 WSL？WSL2？ WSL是适用于 Linux 的 Windows 子系统可让开发人员按原样运行 GNU/Linux 环境 - 包括大多数命令行工具、实用工具和应用程序 - 且不会产生传统虚拟机或双启动设置开销。 您可以：在 Microsoft Store 中选择你偏好的 GNU/Linux 分发版。 运行常用的命令行软件工具（例如 grep、sed、awk）或其他 ELF-64 二进制文件。 运行 Ba...
记录一下配置多节点Hadoop和Spark的过程。 建立三个节点node，分别是node0，node1，node2.其中node0作为master节点。三台云虚拟机均为Ubuntu 16版本，Hadoop为3.1.4版本，Spark为2.4.7版本。 Hadoop 首先是下载和配置Hadoop. 第一步，更新软件包，安装Java sudo apt-get update --fix-missing sudo apt-get install openjdk-8-jdk第二步，生成master节点ssh的公有key，并分别拷贝到所有节点的~/.ssh/authorized_keys，从而允许mast...
安装pcre1.下载pcer-8.36.tar.gz2.解压3.apt-get update4.apt-get install gcc5.apt-get install build-essential6./configure7.make8.make install9.下载nginx10.apt-get install zlib1g.dev11../configure12.make13.make installweb配置（多台web服务器）1.apt-get update2.apt-get install apache23.apt-getinstall php5 libapache2-mod-php54.cd /etc/apache25.vi apache2.conf ,末尾添加 ServerName localhost:806.service ap...
Ubuntu18.04LTS日志2-配置Docker+Pycharm 基本安装流程 下载ubuntu 制作启动盘 高级安装分区（选国内上海，选其他地方下载很卡） 安装Ubuntu显卡驱动（开机登录后反复退出，进的去图形化两种情况都说明驱动没安装好，要禁用原来的驱动和nouveau内核模块） 安装CUDA 和CuDnn（deb包） 更换镜像源（提升下载速度） 安装docker和nvidia-docker安装 google拼音输入法安装 virtualbox安装 Docker下下载镜像 http://hub.docker.com (可查...
Ubuntu配置Git并利用Gitee（码云）进行项目及代码的管理 git安装与卸载 apt-get install git apt-get remove gitgit配置 配置用户名 git config --global user.name “your name”配置邮箱 git config --global user.email “your email”查看配置信息 git config --global --list生成公钥 ssh-keygen -t rsa -C "your email"生成公钥后在ssh相应目录中将id_rsa.pub中的内容拷贝至码云测试配置是否成功 ssh -T git@gitee.comgit提交...
Local Web Wallet配置部署环境 ********************来自实习课程，导师任务*********************************** Get start ： reference-wallet/backend at master · libra/reference-wallet · GitHub 目录 一、安装Docker和Docker Compose. 1 1.1 如果系统安装有老版本Docker，请先卸载：... 2 1.2 更新 apt 软件包索引并安装包... 2 1.3 添加Docker的官方GPG密钥：... 3 1.4 验证... 3 1.5 使用下面...
一.VScode下载（略） 二.Texlive镜像下载 在官网下载镜像当然可以，但是速度就太慢了，这里推荐清华源： https://mirrors.tuna.tsinghua.edu.cn/CTAN/systems/texlive/Images/ 进入网页后点击texlive2019.iso进行下载，大概是3.3G 三.Texlive安装 镜像下载完成后，首先为了图形化界面安装要执行命令： sudo apt-get install perl-tk 然后加载镜像文件： sudo mount -o loop texlive.iso /mnt ...