原文引自：https://www.cnblogs.com/yxpblog/p/5269314.html在开始之前，我先介绍一下，RDD是什么？ RDD是Spark中的抽象数据结构类型，任何数据在Spark中都被表示为RDD。从编程的角度来看，RDD可以简单看成是一个数组。和普通数组的区别是，RDD中的数据是分区存储的，这样不同分区的数据就可以分布在不同的机器上，同时可以被并行处理。因此，Spark应用程序所做的无非是把需要处理的数据转换为RDD，然后对RDD进行一系列的变换...
groupby(Sorted_list, key)将已排序的序列按关键字分组。例子： group/s(int)提出正则表达式匹配分组截获的字符串，groups返回括号匹配的字符。例子： getattr(object,attr)返回对象属性，具体如例子：例子： 原文：https://www.cnblogs.com/small-office/p/9337751.html
操作：
导入模块 subprocess
import subprocess
zhi = subprocess.getoutput(‘ls‘)1. subprocess模块中的常用函数函数描述subprocess.run()Python 3.5中新增的函数。执行指定的命令，等待命令执行完成后返回一个包含执行结果的CompletedProcess类的实例。subprocess.call()执行指定的命令，返回命令执行状态，其功能类似于os.system(cmd)。subprocess.check_call()Python 2.5中新增的函数。 执行指定的命令，如果执行成功则返回...
Numpy的索引和切片ndarray对象的内容可以通过索引和切片查看和修改。索引：ndarray对象中的元素索引基于0开始切片：对数组里某个片段区域的描述数组的切片也可以理解为原始数组的局部视图，都是指向内存中的原始数组，所以不同于列表复制，切片上的修改都会直接反映到原始数组上。 索引切片的实例代码演示： Numpy常用函数的代码演示：Numpy的置换函数transpose、T和swapaxes演示与区别T适用于一、二维数组arr = np.arange(12).res...
with…aswith 语句适用于对资源进行访问的场合，确保不管使用过程中是否发生异常都会执行必要的“清理”操作，释放资源，比如文件使用后自动关闭、线程中锁的自动获取和释放等。当python执行with…as时，会调用__enter__函数，然后把该函数return的值传给as后指定的变量。之后，python会执行下面主要逻辑的语句块。最后不论在该语句块出现了什么异常，都会在离开时执行__exit__，知道这些我们就可以自己定义with对象了，最典型的应...
新建实例driver = webdriver.Chrome()1.通过标签属性Id查找元素方法：find_element_by_id(element_id)实例：driver.find_element_by_id("iptUsername")2.通过标签属性name查找元素方法：find_element_by_name(element_name)实例：driver.find_element_by_id("inputPwname")3.通过标签Xpath路径查找元素方法：find_element_by_xpath(xpath)实例：driver.find_element_by_xpath("//div[@id=‘menuContainer‘]/div/div/ul/li[4]/a")4...
1、获取url参数。>>> from urllib import parse
>>> url = r‘https://docs.python.org/3.5/search.html?q=parse&check_keywords=yes&area=default‘
>>> parseResult = parse.urlparse(url)
>>> parseResult
ParseResult(scheme=‘https‘, netloc=‘docs.python.org‘, path=‘/3.5/search.html‘, params=‘‘, query=‘q=parse&check_keywords=yes&area=default‘, fragment=‘‘)
>>> param_dict = parse.parse_qs(parseResul...
2、reduce()函数reduce() 函数也是python内置的一个高阶函数。reduce()函数接收的参数和 map()相似，一个函数 f ，一个list，但行为和 map()不同，reduce()传入的函数 f 必须接收两个参数，reduce()对list 的每个元素的反复调用函数 f ，并返回最终结果值。例如，编写一个函数，接收x，y，返回x，y发和：def f(x,y) return x+y调用reduce（f,[2,6,9])时，reduce函数将做如下计算：先计算头两个元素：f(2,6),结果为4；再把结...
map()函数map()是python 内置 的高届函数 ，接收一个函数 f 和一个list,并通过把函数 f 依次作用在list的每个元素上，得到一个新的 list 并返回。比如，对于list[1,2,3,4,5,6,7,8,9]如果希望把list的每个元素都当作平方，就可以用 map() 函数 因此，只需要传入函数 f(x)=x*x，就可以利用map()函数完成这个计算： def f(x): return x*xprint map(f,[1,2,3,4,5,6,7,8,9]) 输出结果：[1, 4, 9, 10, 25, 36, 49, 64, 81]利用...
any(iterable)如果iterable元素不是全为0，””,False，返回True，否则返回False。例子： all(iterable)如果iterable所有元素不为0，””,False，返回True，否则返回False，注意空元组、空列表返回值为True。例子： astimezone(timezone)时区转换。例子： 原文：https://www.cnblogs.com/small-office/p/9337685.html
selenium2.0关于python的常用函数（一） 分类： selenium新建实例driver =
webdriver.Chrome()1.通过标签属性Id查找元素方法：find_element_by_id(element_id)实例：driver.find_element_by_id("iptUsername")2.通过标签属性name查找元素方法：find_element_by_name(element_name)实例：driver.find_element_by_id("inputPwname")3.通过标签Xpath路径查找元素方法：find_element_by_xpath(xpath)实例：driver.find_element_by_xpa...
Python列表、元组、字典和字符串的常用函数 列表方法1.ls.extend(object)向列表ls中插入object中的每个元素，object可以是字符串，元组和列表（字符串“abc”中包含3个元组），相当于ls和object合并。注意：object如果是整型，必须以列表的方式传入，不可以以整型或元组的方式传入2.ls.append(object)将object作为一个整体插入到ls最后，object可以是字符串，元组，列表和字典3.ls.insert(index, object)将object作为一个整体插入到...
bool(obj) 返回obj对象的布尔值，也就是obj.__nonzero__()方法的返回值 int(obj, base=10) 返回一个字符串或数值对象的整数表示， 类似string.atoi();从Python 1.6起，引入了可选的进制参数。 long(obj, base=10) 返回一个字符或数据对象的长整数表示，类似string.atol(), 从Python1.6起，引入了可选的进制参数 float(obj) 返回一个字符串或数据对象的浮点数表示，类似string.atof() complex(str),complex(real, imag=0.0) 返回一个...
Python常用函数：1. print()函数：打印字符串2. raw_input()函数：从用户键盘捕获字符3. len()函数：计算字符长度4. format(12.3654，6.2f/0.3%)函数：实现格式化输出5. type()函数：查询对象的类型6. int()函数、float()函数、str()函数等：类型的转化函数7. id()函数：获取对象的内存地址8. help()函数：Python的帮助函数9. s.islower()函数：判断字符小写10. s.sppace()函数：判断是否为空格11. str.replace()函数：替换字符12....
基本定制型C.init(self[, arg1, ...]) 构造器（带一些可选的参数）C.new(self[, arg1, ...]) 构造器（带一些可选的参数）；通常用在设置不变数据类型的子类。C.del(self) 解构器C.str(self) 可打印的字符输出；内建str()及print 语句C.repr(self) 运行时的字符串输出；内建repr() 和‘‘ 操作符C.unicode(self)b Unicode 字符串输出；内建unicode()C.call(self, *args) 表示可调用的实例C.nonzero(self) 为object 定义False 值；内...
Python的标准库中的os模块包含普遍的操作系统功能。如果你希望你的程序能够与平台无关的话，这个模块是尤为重要的。即它允许一个程序在编写后不需要任何改动，也不会发生任何问题，就可以在Linux和Windows下运行。