在历经千辛万苦后，终于把所有的东西都配置好了。 下面开始介绍pyspark的一些基础内容，以字数统计为例。 1）在本地运行pyspark程序 读取本地文件 textFile=sc.textFile("file:/usr/local/spark/README.md") textFile.count() 读取HDFS文件 textFile=sc.textFile(hdfs://master:9000/user/*********/wordcount/input/LICENSE.txt") textFile.count() 2）在Hadoop YARN运行pyspark HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop py...
MapReduce是一种程序开发模式，可以使用大量服务器来并行处理。MapReduce，就是Map分配工作，Reduce将工作结果汇总整理。 本次之中以WordCount为范例，计算文件中每一个英文单词出现的次数。 1）创建wordcount目录 mkdir -p ~/wordcount/input cd ~/wordcount 使用sudo gedit WordCount.java来编辑文档。 2）编译WordCount.java sudo gedit ~/.bashrc 然后加入配置文件 让~/.bashrc设置生效 source ~/.bashrc 接下来开始编译 hadoo...
历经千辛万苦，终于把Ubuntu和Hadoop安装好了，过程很繁琐也很费时间，在这里就不展开讲述了。 下面将开始介绍Hadoop HDFS命令。 HDFS命令格式如下： hadoop fs -命令 1）常用的HDFS命令： hadoop fs -mkdir 创建HDFS目录 hadoop fs -ls 列出HDFS目录 hadoop fs -copyFromLocal 使用-copyFromLocal复制本地（local）文件到HDFS hadoop fs -put 使用-put复制本地（local）文件到HDFS hadoop fs -cat 列出HDFS目录下的文件内容 hadoo...
一、生成器进阶#send 获取下一个值的效果和next一致 #只是在获取下一个值的时候，给上一yield的位置传递一个数据 #使用send的注意事项# 第一次使用生成器的时候 是用next获取下一个值# 最后一个yield不能接受外部的值# 第一次不能用send注：生成器的启动需要next，使用send前要用__next__g = generator() ret = g.__next__() print('***',ret) ret = g.send('hello') #send的效果和next一样 print('***',ret) send的举例获取移...
一、什么是域名系统 DNS 计算机域名系统 (DNS) 是由解析器以及域名服务器组成的。当我们在上网的时候，通常输入的是网址，其实这就是一个域名，而我们计算机网络上的计算机彼此之间只能用IP地址才能相互识别。再如，我们去一WEB服务器中请求一WEB页面，我们可以在浏览器中输入网址或者是相应的IP地址，例如我们要上新浪网，我们可以在IE的地址栏中输入网址，也可输入IP地址，但是这样子的IP地址我们记不住或说是很难记住，所以有了...
这里写自定义目录标题字符串的表示： 字符串的表示： -单引号：引用字符 -双引号：引用字符串 -三个单引号或者三个双引号：引用多行字符串 字符串中包含单引号或双引号： -用转义符:转移符后面的字符表示字符本意 -在字符串中包含双引号，则用单引号引用： print(‘这里有个双引号"’) -在字符串中包含单引号，则用双引号引用： print(“这里有个单引号’”) -即希望包含单引号，又希望包含双引号，则用三单引号引用： print(’’‘...
一、多线程&多进程对于操作系统来说，一个任务就是一个进程。比如我在电脑上打开视频看电视，再启动QQ，这样打开视频和启动QQ就是两个进程了 。进程是多个资源的集合每个进程中可以做很多事情，比如我打开QQ，可以与A打字聊天，同时还可以与B视频，接收C的文件，一个进程中可以有很多线程来干活，这样一个QQ需要运行多个子任务，我们把这些子任务叫做 线程（thread） 每个进程中至少有一个线程在干活，比如我打开QQ，即使不做任何...
目录 Day007:字符串和常用数据结构 1、使用字符串 2、使用列表 3、使用元组 4、使用字典 4、练习 4.1：在屏幕上显示跑马灯文字 4.2 设计一个函数产生指定长度的验证码，验证码由大小写字母和数字构成。 4.3 设计一个函数返回指定文件名的后缀名。 4.4 设计一个函数返回传入的列表中最大和第二大的元素的值 4.5 计算指定的年月日是这一年的第几天 4.6 打印杨辉三角5、综合案例 5.1 双色球选号 5.2 约瑟夫环问题Day007:字符串和常用数...
一、DB-API概述 python支持很多不同的数据库。由于不同的卖家服务器导致和数据库通信的网络协议各有不同。在python的早期版本中，每一种数据库都带有自己的python模块，所有这些模块以不同的方式工作，并提供不同的函数。这种方法不便于编写能够在多种数据库服务器类型中运行的代码，于是DB-API库函数产生。在DB-API中，所有连接数据库的模块即便是底层网络协议不同，也会提供一个共同的接口。这一点和JAVA中的JDBC和ODBC类似...
数据类型与变量 Python 中的主要数据类型有 int(整数)/float(浮点数)、字符串、布尔值、None、列表、元组、字典、集合等。 None 每个语言都有一个专门的词来表示空，例如 JavaScript 中的 null, MySQL 中也是用 null 表示空，Python 中使用 None 表示空对象，注意它与空字符串、数值 0 是不同的：当我们在计算机系统中安装了Python, 这个 None 对象就自动生成了， 它在内存中的地址 （就是一串十进制的数字）就不再变化了，所以判断...
一、json文件读取 源文件：exampl.json 二、json在线解析 常用网站：https://www.json.cn/ 三、数据导出为json格式文件
文章目录元组（tuple）元组的创建1. 通过`()`创建元组，小括号可以省略。2. 通过`tuple()`创建元组3. 使用`zip()`方法4. 推导式创建元组访问元组的元素1. 元组的元素不能修改2. 访问元组的元素和列表一样，只不过返回的仍然是元组对象元组的两个方法总结 元组（tuple） 元组属于不可变序列，不能修改元组中的元素。因此，元组没有增加元素、修改元素、删除元素相关的方法。 元组的创建 1. 通过()创建元组，小括号可以省略。 t1 = (...
数字 基本类型 整数 在 Python 编程中，整数就是数学意义上的整数，包括正整数、负整数和零，且它的位数是任意的。根据表示方法的不同，可以分为： 二进制整数八进制整数十进制整数十六进制整数浮点数 浮点数，即数学意义上的小数，由小数点左侧的整数和右侧的小数组成。 复数 数学意义上的复数，由实部和虚部组成，并且使用 j 或者 J 表示虚部。当表示一个复数时，可以将其实部和虚部想加，如 2.67+12.5j 算数运算 在 Python 编程...
二、列表 Python列表可以同时包含数据、字符串、对象、列表等数据类型 List1 = [1, 2, ‘abc’, ‘def’] List2 = [5, 6, [1, 2, ‘abc’]] 1.列表添加 (1) append() append()方法可用于在列表的最后追加一个元素 append(<插入的元素>) List1.append(‘newItem’) #append方法只能有一个参数 print(List1) 输出结果：[1, 2, ‘abc’, ‘def’, ‘newItem’] (2) extend() extend()方法用于在列表的最后扩展另一个列表 extend(<拓展...