原文 http://www.xgezhang.com/python_crawler_jingdong.html先上我的代码。参考了上面链接的文章# -*- coding: utf-8 -*- # !/usr/bin/python import os import urllib2 import urllib import cookielib import re import sys from bs4 import BeautifulSoup ‘‘‘ 编码方式的设置,在中文使用时用到中文时的处理方式 ‘‘‘ default_encoding = "utf-8" if sys.getdefaultencoding() != default_encoding: reload(sys) sys...
获取对象类型：一、type#!/usr/bin/env python3# -*- coding: utf-8 -*-class Animal(object): def __init__(self, name, score): self.name = name self.score = score def run(self): print 'Animal is run'class Dog(Animal): def run(self): print 'Dog is run'print type(dog.run)print type(Animal)import types #导入模块typesprint type('abc')==types.StringType #判断'abc'是否为字...
这里和 获取链接略有不同，不是得到链接到url，而是获取每个链接的文字内容#!/opt/yrd_soft/bin/pythonimport re import urllib2 import requests import lxml from bs4 import BeautifulSoupurl = ‘http://www.baidu.com‘#page=urllib2.urlopen(url) page=requests.get(url).text pagesoup=BeautifulSoup(page,‘lxml‘) for link in pagesoup.find_all(name=‘a‘,attrs={"href":re.compile(r‘^http:‘)}): print link.g...
第零步：问题的提出我在网上购买了星火英语的六级晨读美文100篇（六级早已高分飘过，不过很喜欢这些文章，买来重新品味），但是发现其文章的命名都为01.txt或10.txt等。为了便于检索需要修改文件名称。第一步：从文件中取出文件名。我发现txt文件的第一行为文件名，格式为如：Passage 3. Three Passions I Have Lived for, 后面还有几个换行符。写下如下代码进行第一步修改：import os x = 1 while x < 101:if x < 10:file_name = ...
如何获取翻页之后的页面中的html标签中的属性值？ 1# coding=utf-8 2from selenium import webdriver3if__name__=="__main__":4 n=0 #设置n的初始值5 driver = webdriver.Chrome()6 driver.get("https://www.lol5s.com/tv/20.html")7while n<5: #翻5页8 n = n + 19print(‘您当前所在第%d页‘ % n) 10 lists=driver.find_element_by_xpath(‘/html/body/div[3]/div[3]/ul‘).find_elements_by_tag_na...
---练习用---作用：统计获取脚本运行时长和内存占用需要安装psuti模块：pip install psutil 1#!python 2 3import time4import psutil5import os6 7def show_info(start):8 pid = os.getpid()9 p = psutil.Process(pid) 10 info = p.memory_full_info() 11 memory = info.uss/1024 12return memory 1314def func(): 1516print(‘function‘) 171819if__name__ == "__main__": 2021 first = time.time() 22 ...
#print os.environ[‘QUERY_STRING‘]#print os.environ[‘HTTP_HOST‘]#print ‘-----------------------------------------‘print """<!DOCTYPE HTML PUBLIC "-//IETF//DTD HTML 2.0//EN"><html><head><meta http-equiv="content-type" content="text/html;charset=utf-8" /><title></title></head><body>"""# 调用print(encrypt_md5(‘hello world‘)) print os.environ[‘QUERY_STRING‘]print os.environ[‘HTTP_HOST‘]pr...
在做数据同步校验的时候，需要从mysql fetch数据和hbase的数据进行对比，发现即使mysql数据变化了，类似下面的代码返回的值还是之前的数据。抽取的代码大概如下： 1import MySQL2 3 conn = MySQL.connect(host = mysql_config[‘host‘],4 user = mysql_config[‘username‘],5 password = mysql_config[‘password‘],6 port = int(mysql_config[‘port‘]),7 ...
pool = multiprocessing.Pool(processes=10) row = [...] for row in rows:task_id = row[1]img_id = row[0]pool.apply_async(check_picture_contain_human_or_dog, (task_id, img_id)) pool.close() pool.join() 原文：https://www.cnblogs.com/tanghuang/p/9786052.html
切片： 切片指从现有列表中，获取一个子列表 返回一个新列表，不影响原列表。下标以 0 开始：list = [‘红‘,‘绿‘,‘蓝‘,‘白‘,‘黑‘,‘黄‘,‘青‘]# 下标 0 1 2 3 4 5 6取单个值 语法： 列表[n] n为下标，n=0表示第一个 ， n=1表示第二个 以此类推 n=-1 表示倒数第一个， n=-2表示倒数第二个 以此类推list = [‘红‘,‘绿‘,‘蓝‘,‘白‘,‘黑‘,‘黄‘,‘青...
1、前面已经拿到微博的access_token了，我们就可以拿这个 去请求微博的获取用户信息接口 ：users/show2、用浏览器请求这个url ,拿到json值 原文：https://www.cnblogs.com/yuanyuan2017/p/9973780.html
最近发现一个问题，一个小伙儿写的console程序不够健壮，监听SOCKET的时候容易崩，造成程序的整体奔溃，无奈他没有找到问题的解决办法，一直解决不了，可是这又是一个监控程序，还是比较要紧的，又必须想办法解决。（这是要搞死我的节奏啊....）由于个人不太懂他用的语言，只能在程序外围想办法。 环境描述：1. 目标程序执行时会监听8080端口，TCP，并在每一次client连接后通过console输出client的IP地址。2. 监听不是一次性完成的...
import datetimedef dateRange(beginDate, endDate):dates = []dt = datetime.datetime.strptime(beginDate, "%Y-%m-%d")date = beginDate[:]while date <= endDate:dates.append(date)dt = dt + datetime.timedelta(1)date = dt.strftime("%Y-%m-%d")return datesif __name__ == ‘__main__‘:for date in dateRange(‘2018-02-01‘, ‘2018-02-10‘):print date原文：https://www.cnblogs.com/chenxiyuxiao/p/11134043.html
首先，我们打开中国天气网，找到黄石市近7天天气的网页。http://www.weather.com.cn/weather/101200601.shtml 然后按F12开始分析网页结构，找到各个标签，并分析它们的作用。h1：日期；p：天气；tem-span：最高温；tem-i：最低温；win：风；em：风向；win-i：风力。 接下来，我们需要找到它的用户代理，即User-agent。 分析的差不多了，我们就开始写代码，下面是我写的全部代码及运行结果：import re import requests fro...
使用adb命令./adb shell screencap -p可以截取当前屏幕，并且作为stdout，传给外部。那么对于python，我们可以用如下代码获取数据流。使用Popen创建子进程用于读取数据流。import subprocess out=subprocess.Popen(‘./adb shell screencap -p‘,stdout=subprocess.PIPE)out是当前的Popen实例，考虑到Windows接收过程中，会把\n当作\r\n写入流中，进而导致png文件打不开。所以用replace修复数据流。out=out.stdout.read().replace(...