Web 数据抓取技术具有非常巨大的应用需求及价值，
用 Python 在网页上收集数据，不仅抓取数据的操作简单，
而且其数据分析功能也十分强大。
通过 Python 的时lib 组件中的 urlparse 函数，可轻松解
析指定网址的内容，在接收返回的 ParseResult 对象后，即
可通过其属性取出网址中各项有用信息 。
Python 还可进一步用 requests 函数抓取网页源代码，
再通过相关语句或正则表达式搜索得到指定的数据。
如果要抓取的数据比较复杂， ...
0. 在 Python 中的数据类型详解http://www.cnblogs.com/scios/p/8026576.html1. 为什么布尔类型(bool)的 True 和 False 分别用 1 和 0 来代替吗？计算机只认识二进制数，所以所有的编程语言最终都会转换成简单的二进制序列给CPU按照一定的规则解析。 由于二进制只有两个数：0 和 1，因此用 0 和 1 来表示False和True再适合不过了，因为不用浪费资源在转换的过程上！2. 使用int()将小数转换为整数，结果是向上取整还是向下取整呢？小...
有时候在我们设计利用requests抓取网页数据的时候，会发现所获得的结果可能与浏览器显示给我们的不一样：比如说有的信息我们通过浏览器可以显示，但一旦用requests却得不到想要的结果。这种现象是因为我们通过requests获得的都是HTML源文档，而浏览器中见到的页面数据都是经过JavaScript处理的，而这些处理的数据可能是通过Ajax加载、本身包含于HTML中或是经过JavaScript自动生成。由Web发展趋势来看，越来越多的网页都通过Ajax加载...
加载模块： 1.先从sys.modules里查看是否已导入 2.如果没有导入，就依据sys.path路径寻找模块 3.找到模块就导入 4.创建这个模块的命名空间 5.执行文件，把文件中的名字放到命名空间里 执行demo.read会优先查找demo里的函数和变量import time as t #给模块起别名，原名不再可用if file_format == ‘xml‘: import xmlreader as readerelif file_format == ‘csv‘: import csvreader as readerdata = reade...
if语句注意：语句块中的内容要强制缩进，否则出错。IndentationError，缩进错误所有代码，如果是顶级的，必须顶格写，前面不能有空格if … : …elif … : …else: … while语句while …: …else: …for语句for i in range(10)——i默认0，步长默认1,最大为9for i in range (0,2,10)——从0开始，步长为2，最大为8for i in range(…): …else: …break——结束本层循环...
1.死循环 while 1==1: print("ok")另一个例子import timewhile 1==1: print("ok",time.time()) count = 0while count<10 count=count+1 print("ok",time.time())")print(123) 原文：https://www.cnblogs.com/zengtaoyunwei/p/10371618.html
写一写最近学的知识点1.文件读写 打开一个文件：f=open(‘路径’，‘r’,encoding=‘utf-8‘) 文件以读‘r’的方式打开，可以读取文件内容，但是不能写入f=open(‘路径’，‘w’,encoding=‘utf-8‘) 文件以写‘w’的方式打开，可以写入文件内容，但是不能读出文件内容 以读的方式打开的文件，调用read（）方法可以一次读取文件的全部内容，Python把内容读到内存，用一个str对象表示 以写的方式打开的文件，调用wri...
理解映射：映射是一种键（索引）和值（数据）的对应。字典是键值对的集合，键值之间无序。用大括号表示{}，和dict()创建，键值对用冒号：表示。{键：值，键：值，键：值}>>> d={"中国":"北京", "美国":"华盛顿","英国":"伦敦"}
>>> d
{‘中国‘: ‘北京‘, ‘美国‘: ‘华盛顿‘, ‘英国‘: ‘伦敦‘}
>>> d["中国"]
‘北京‘
>>> de={} ‘‘‘定义一个空字典‘‘‘
>>> type(de)
<class ‘dict‘>{}用来生成空字典类型，集合类...
--个人python学习笔记，内容记录自鱼C论坛，仅供个人学习参考使用内容持续更新中...本文出自 “迷茫的IT男孩” 博客，请务必保留此出处http://mimangitboy.blog.51cto.com/4487103/1696276原文：http://mimangitboy.blog.51cto.com/4487103/1696276
如果环境当中有多个python版本，则在头部指定相应版本：#!/usr/bin/python
Python中默认的编码格式是 ASCII 格式，在没修改编码格式时无法正确打印汉字，所以在读取中文时会报错。
解决方法为只要在文件开头加入 # -*- coding: UTF-8 -*- 或者 #coding=utf-8
python 标识符在python 里，标识符由字母、数字、下划线组成。在python 中，所有标识符可以包含英文、数字以及下划线(_)，但是不能以数字开头。python 中的标识符是区分大...
典型的类和调用方法：#!/usr/bin/env Python
# coding=utf-8__metaclass__ = type #新式类class Person: #创建类def__init__(self, name): #初始化函数self.name = namedef getName(self): #类中的方法（函数）return self.namedef color(self, color):print"%s is %s" % (self.name, color)
girl = Person(‘wangguniang‘) #实例化
name = girl.getName() #调用方法（函数）print"the person‘s name is: ", na...
Python 简介Python 1989年 吉多 · 范罗苏姆（Guido van Rossum）发明Python 是一种解释型、面向对象、动态数据类型的高级程序设计语言Python 应用于众多领域，如：云基础设施、DevOps、网络爬虫、数据处理等。 原文：https://www.cnblogs.com/wangruihua-521/p/8536029.html
随笔记录方便自己和同路人查阅。#------------------------------------------------我是可耻的分割线------------------------------------------- 假如你想把一个路径下的某格式文件都压缩到一个zip文件中，如果文件较多，手动压缩可能会比较繁琐和麻烦，重要的是还可能重复压缩，所以你希望有一段程序帮你完成这个繁琐且容易出错的工作。#------------------------------------------------我是可耻的分割线----------------...
系统性能信息模块 psutil： 参考：https://github.com/giampaolo/psutil 安装psutil模块：[root@kurol ~]# python36 -m easy_install -i http://pypi.douban.com/simple/ psutil1、获取系统性能信息： 1.1、获取CPU信息：import psutil 获取CPU完整信息:>>> psutil.cpu_times() scputimes(user=60984.989999999998, nice=27.280000000000001, system=37572.639999999999, idle=6605536.1100000003, iowait=88463.1...
函数定义：def <函数名>（<参数（0个或多个）>）：函数体return <返回值>参数有非可选参数，和可选参数，可选参数放在参数列表的最后，可以为可选参数指定默认值。如下：def fact(n,m=1):s = 1for i in range(1,n+1):s *= ireturn s//m>>> fact(10)
3628800
>>> fact(10,5)
725760函数定义时可以设计可变数量参数，既不确定参数总数量。def <函数名>（<参数>,*b）：函数体return <返回值>举例如下;def fact(n,*b):s = 1for i in ra...
