基本Get请求：#-*- coding:utf-8 -*-import requests url = www.baidu.comr = requests.get(url)print r.text带参数Get请求：#-*- coding:utf-8 -*-import requests url = http://www.baidu.compayload = {key1: value1, key2: value2} r = requests.get(url, params=payload)print r.textPOST请求模拟登陆及一些返回对象的方法：#-*- coding:utf-8 -*-import requests url1 = www.exanple.com/login#登陆地址url2 = "www.example....
1.str >>>list [python] view plain copy str1 = "12345" list1 = list(str1) print list1 str2 = "123 sjhid dhi" list2 = str2.split() #or list2 = str2.split(" ") print list2 str3 = "www.google.com" list3 = str3.split(".") print list3 [python] view plain copy 输出为： [python] view plain copy [1, 2, 3, 4, 5] [123, sjhid, dhi] [www, google, com]3.list >>>str[python] view plain copy ...
编程范式编程是程序员用特定的语法+数据结构+算法组成的代码来告诉计算机如何执行任务的过程 ， 一个程序是程序员为了得到一个任务结果而编写的一组指令的集合，正所谓条条大路通罗马，实现一个任务的方式有很多种不同的方式， 对这些不同的编程方式的特点进行归纳总结得出来的编程方式类别，即为编程范式。 不同的编程范式本质上代表对各种类型的任务采取的不同的解决问题的思路， 大多数语言只支持一种编程范式，当然也有些语言可...
上一篇文章《Python爬虫：抓取新浪新闻数据》详细解说了如何抓取新浪新闻详情页的相关数据，但代码的构建不利于后续扩展，每次抓取新的详情页时都需要重新写一遍，因此，我们需要将其整理成函数，方便直接调用。详情页抓取的6个数据：新闻标题、评论数、时间、来源、正文、责任编辑。首先，我们先将评论数整理成函数形式表示： 1 import requests 2 import json 3 import re 4 5 comments_url = {}&group=&compress=0&ie=utf-8&oe...
选择法也算是入门的一种排序算法，比起冒泡法，它的方法巧妙了一些，它的出发点在于“挑”，每次挑选数组的最值，与前置元素换位，然后继续挑选剩余元素的最值并重复操作。个人认为选择排序的意义不在于排序本身，而在于挑选和置换的方法，对于一些问题很有帮助。选择排序：选择排序（Selection sort）是一种简单直观的 排序算法 。它的工作原理如下。首先在未排序序列中找到最小（大）元素，存放到排序序列的起始位置，然后，再从...
本篇文章主要介绍了详解Python pygame安装过程笔记。小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧今天看到一个教程，是关于Python安装pygame模块的。觉得很好，拿来分享一下。安装Python额，这个小题貌似在这里很是多余啊。但是为了照顾到刚刚学习Python的童鞋，我还是多啰嗦两句吧。具体如下： 我们要到Python官网。去下载我们需要的版本。我这里下载的是windows64位 的Python2.7 msi。安装的过程...
词向量嵌入需要高效率处理大规模文本语料库。word2vec。简单方式，词送入独热编码(one-hot encoding)学习系统，长度为词汇表长度的向量，词语对应位置元素为1,其余元素为0。向量维数很高，无法刻画不同词语的语义关联。共生关系(co-occurrence)表示单词，解决语义关联，遍历大规模文本语料库，统计每个单词一定距离范围内的周围词汇，用附近词汇规范化数量表示每个词语。类似语境中词语语义相似。用PCA或类似方法降维出现向量(occu...
选择排序： 选择排序（Selection sort）是一种简单直观的排序算法。它的工作原理如下。首先在未排序序列中找到最小（大）元素，存放到排序序列的起始位置，然后，再从剩余未排序元素中继续寻找最小（大）元素，然后放到已排序序列的末尾。以此类推，直到所有元素均排序完毕。 选择排序的主要优点与数据移动有关。如果某个元素位于正确的最终位置上，则它不会被移动。选择排序每次交换一对元素，它们当中至少有一个将被移到其最终...
#encoding:UTF-8#Python 3.4.3import urllibimport requestsdef get_info():city=input(请输入要查询的城市名称：)url=+urllib.parse.quote(city)weather_data = urllib.request.urlopen(url).read()weather_data =eval(weather_data.decode(ascii))print(城市:,city)print(经度:,weather_data.get(lon))print(纬度:,weather_data.get(lat))f=open(info.txt,a)f.writelines(str(city)+ )f.writelines(str(weather_data.get(lon))+...
1.首先安装cx_Oracle包2.解压instantclient-basic-windows.x64-11.2.0.4.0.zip到c:\oracle3.拷贝instantclient_11_2下所有.dll文件到c:\python34\Lib\site-packages\下（根据自己的python版本拷贝到相应的site-packages文件夹下）python连接示例代码：# -*- coding: utf-8 -*-import cx_Oracleconn=cx_Oracle.connect(reporter,password,localhost:1521/ORCL) cursor=conn.cursor() sql="select * from test"cursor.execute(sql) d...
Lambda表达式的五练习语法：Lambda函数，是一个匿名函数，创建语法： lambda parameters:expressparameters：可选，如果提供，通常是逗号分隔的变量表达式形式，即位置参数。expression：不能包含分支或循环（但允许条件表达式），也不能包含return（或yield）函数。如果为元组，则应用圆括号将其包含起来。调用lambda函数，返回的结果是对表达式计算产生的结果。1.题目：利用条件运算符的嵌套来完成此题：学习成绩>=90分的同学用A...
背景：线上机器，需要过滤access日志，发送给另外一个api期初是单进程，效率太低，改为多进程发送后，查看日志中偶尔会出现异常错误（忘记截图了。。。）总之就是端口不够用了报错原因：每一条日志都是一次请求发送给api，短连接产生大量time_wait状态，占用了大量端口这种高并发导致的大量time_wait状态内核调优基本是没用的，后来改为长连接解决问题第一版短连接版本关键代码如下因涉及具体业务信息，只贴出了关键部分代码import...
# requests模块来请求页面# lxml模块的html构建selector选择器(格式化响应response)# from lxml import html# import requests# response = requests.get(url).content# selector = html.formatstring(response)# hrefs = selector.xpath(/html/body//div[@class=feed-item _j_feed_item]/a/@href)# 以url = https://www.mafengwo.cn/gonglve/ziyouxing/2033.html为例子 # python 2.7import requestsfrom lxml import htmlimport o...
在scrapy项目中建一个与spider同级的python目录并在下面添加一个py文件内容为# encoding: utf-8 import base64 proxyServer = 代理服务器地址 ##我的是‘:9010’# 代理隧道验证信息 这个是在那个网站上申请的 proxyUser = 用户名 proxyPass = 密码 proxyAuth = "Basic " + base64.b64encode(proxyUser + ":" + proxyPass)class ProxyMiddleware(object):def process_request(self, request, spider):request.meta["proxy"] = prox...
from time import *from xlwt.Workbook import *from xlwt.Style import *style = XFStyle() wb = Workbook() ws0 = wb.add_sheet(0) colcount = 200 + 1rowcount = 6000 + 1t0 = time()print("\nstart: %s" % ctime(t0))print("Filling...")for col in xrange(colcount):print("[%d]" % col, end= ) for row in xrange(rowcount):ws0.write(row, col, "BIG") t1 = time() - t0print("\nsince starting elapsed %.2f s" % (t1))pri...