代码如下： 复制代码 代码如下:import sys, urllib import datetime,time def getDate(): strday=datetime.datetime.now().__str__() strday=strday.split()[0] return strday #url = "http://www.kingnic.com/list/2009-06-16.txt" def getUrl(dateStr=None): baseUrl ="http://www.kingnic.com/list/" if dateStr: return baseUrl+dateStr+".txt" thisDate = getDate(); if not thisDate: print "Error Date!" return None; url ...
timeit模块timeit模块可以用来测试一小段Python代码的执行速度。Timer是测量小段代码执行速度的类。class timeit.Timer(stmt=‘pass‘, setup=‘pass‘, timer=<timer function>)stmt参数是要测试的代码语句（statment）； setup参数是运行代码时需要的设置； timer参数是一个定时器函数，与平台有关。 Timer对象.timeit(number=1000000) Timer类中测试语句执行速度的对象方法。number参数是测试代码时的测试次数，默认为1000000次...
第一章 Python基础第三节 列表简介列表是是处理一组有序项目的数据结构，即可以在一个列表中存储一个序列的项目。列表中的元素包括在方括号（[]）中，每个元素之间用逗号分割。列表是可变的数据类型，可以添加、删除或是搜索列表中的元素。列表可以理解为你用铅笔在笔记本里记录内容， 内容可以修改，每一行用逗号隔开。 3.1访问元素 访问列表元素可以通过索引方括号的形式，记住，索引从0而不是1开始！代码：1 shoplist = [‘appl...
这篇文章主要介绍三个知识点，也是我《数据挖掘与分析》课程讲课的内容。同时主要参考学生的课程提交作业内容进行讲述，包括： 1.回归模型及基础知识； 2.UCI数据集； 3.回归模型简单数据分析。 前文推荐： 【Python数据挖掘课程】一.安装Python及爬虫入门介绍 【Python数据挖掘课程】二.Kmeans聚类数据分析及Anaconda介绍 【Python数据挖掘课程】三.Kmeans聚类代码实现、作业及优化...
from pandas import Series,DataFrameimport pandas as pdimport matplotlib.pyplot as pltimport numpy as npdf = DataFrame({‘key1‘ : [‘a‘, ‘a‘, ‘b‘, ‘b‘, ‘a‘],‘key2‘ : [‘one‘, ‘two‘, ‘one‘, ‘two‘, ‘one‘], ‘data1‘ : np.random.randn(5),‘data2‘ : np.random.randn(5)})grouped=df[‘data1‘].groupby(df[‘key1‘])grouped.mean()means = df[‘data1‘].groupby([df[‘key1‘], df[‘key2‘...
1、数据集红葡萄酒数据集：http://archive.ics.uci.edu/ml/machine-learning-databases/wine-quality/winequality-red.csv白葡萄酒数据集：http://archive.ics.uci.edu/ml/machine-learning-databases/wine-quality/winequality-white.csv红葡萄酒文件中包含1599条观测，白葡萄酒文件包含4898条观测。输入变量是葡萄酒的物理化学成分和特性，包括非挥发性酸、挥发性酸、柠檬酸、残余糖分、氯化物、游离二氧化硫、总二氧化硫、密度、...
利用 Urllib 的 robotparser 模块我们可以实现网站 Robots 协议的分析，本节我们来简单了解一下它的用法。 1. Robots协议Robots 协议也被称作爬虫协议、机器人协议，它的全名叫做网络爬虫排除标准（Robots Exclusion Protocol），用来告诉爬虫和搜索引擎哪些页面可以抓取，哪些不可以抓取。它通常是一个叫做 robots.txt 的文本文件，放在网站的根目录下。当搜索爬虫访问一个站点时，它首先会检查下这个站点根目录下是否存在 robots...
DataFrame是一个表格型的数据结构，它含有一组有序的列，每列可以是不同的值类型（数值，字符串，布尔型）。DateFrame既有行索引也有列索引，可以被看作为由Series组成的字典。构建DataFrame：1.1、直接传入一个由等长列表或numpy数组组成的字典‘‘‘ Created on 2016-8-10 @author: xuzhengzhu ‘‘‘from pandas import *data={‘state‘:[‘ohio‘,‘ohio‘,‘ohio‘,‘nevada‘,‘nevada‘],‘year‘:[2000,2001,2002,2001,20...
在挖掘设备的固件漏洞时，会面临没有源代码、无法动态跟踪调试的情况，此时就需要进行静态的人工分析。在静态人工分析过程中，往往需要围绕危险函数、用户输入提取需要重点分析的执行路径，以有效缩小分析范围。本文利用IDA Python脚本，实现了自动提取函数正、反向调用关系的功能，可有效辅助分析危险函数调用路径，用户输入流向等。 一、问题描述近期在研究某款设备，由于该设备使用MIPS架构，IDA Pro的F5无法使用，安装的RetDe...
函数也是对象，内存底层分析： Python中，“一切都是对象”。实际上，执行def 定义函数后，系统就创建了相应的函数 对象。我们执行如下程序，然后进行解释： 1#函数也是对象 2def print_star(n):3print(‘*‘*n)4 5 print_star(3)6 c = print_star7 c(3)8 9print(id(print_star)) 10print(id(c)) 11print(type(c)) 上面代码执行 def 时，系统中会创建函数对象，并通过print_star 这个变量进行引用： 我们执行“c=print_st...
1、安装Python与环境配置①② 安装pip以及利用pip安装Python库 2、Anaconda安装 conda list 要在root环境下3、常用数据分析库① Numpy安装：conda install numpy （conda在Anaconda上安装，pip则是在本地上安装）提供常用的数值、数组、矩阵函数。基于“向量化”的运算，进行数值运算时比list高。② Scipy安装：conda install scipy是一种使用NumPy来做高等数学、信号处理、优化、统计的扩展包③ Pandas安装：conda install panda...
Python 脚本如下：#!/usr/bin/env python #_*_coding:utf-8 _*_ __author__ = ‘lvnian‘#!/usr/bin env python # coding: utf-8 import MySQLdb as mysql import sys, osdb = mysql.connect(user="root",passwd="xxxxx@2015",db="intest",host="192.168.10.12") #数据库连接信息 db.autocommit(True) cur = db.cursor() cur.execute(‘set names utf8‘)dict_list = {} with open(‘access.log‘) as logfin: for line in log...
import jieba import numpy as np# 打开词典文件，返回列表def open_dict(Dict=‘hahah‘,path = r‘/Users/zhangzhenghai/Downloads/Textming/‘):path = path + ‘%s.txt‘ %Dictdictionary = open(path, ‘r‘, encoding=‘utf-8‘)dict = []for word in dictionary:word = word.strip(‘\n‘)dict.append(word)return dictdef judgeodd(num):if num % 2 == 0:return‘even‘else:return‘odd‘deny_word = open_dict(Dict=‘否...
1、线性代数矩阵乘法 dot 函数x= np.array([[1,2,3],[4,5,6]])y=np.array([[6,23],[-1,7],[8,9]])x Out[16]: array([[1, 2, 3],[4, 5, 6]])y Out[17]: array([[ 6, 23],[-1, 7],[ 8, 9]])x.dot(y) Out[18]: array([[ 28, 64],[ 67, 181]])一个二维数组跟一个大小合适的一维数组的矩阵点积运算之后将会得到一个一维数组。np.dot(x,np.ones(3)) Out[19]: array([ 6., 15.]) numpy.linalgfrom numpy.linalg import inv,qr x ...
主成分分析法原理及其python实现前言：这片文章主要参考了Andrew Ng的Machine Learning课程讲义，我进行了翻译，并配上了一个python演示demo加深理解。本文主要介绍一种降维算法，主成分分析法，Principal Components Analysis,简称PCA,这种方法的目标是找到一个数据近似集中的子空间，至于如何找到这个子空间，下文会给出详细的介绍，PCA比其他降维算法更加直接，只需要进行一次特征向量的计算即可。（在Matlab,python,R中这个可以...