这是之前做的一个小项目。这几天刚好整理了一些相关资料，顺便就在这里做一个梳理啦~ 简单来说这个项目实现了，登录人人网并爬取用户数据。并对用户数据进行分析挖掘，终于效果例如以下：1、存储人人网用户数据（户主的全部好友、户主好友的全部好友、户主及好友关注的公共主页）。2、信息可视化，绘制户主好友间的关系网络图；3、数据挖掘，通过分析户主好友关注的公共主页，向户主推荐公共主页。 项目分为三个部分，各自是人...
import lxml
import requests
from lxml import etreeurl = ‘https://datachart.500.com/ssq/history/newinc/history.php?limit=5000&sort=0‘
resp = requests.get(url)
hm = etree.HTML(resp.text)
# 在返回页面内容的任意位置查找id=tdata的tbody标签，并取其下所有的tr标签内容，赋给trs列表
trs = hm.xpath("//tbody[@id=‘tdata‘]/tr")f = open(‘data.csv‘, ‘w‘) # 将攫取的数据存到data.csv文件
for tr in trs:data_l...
单表查询：select * from 表 where 条件 group by 分组 having 过滤 order by 排序 limit n;语法：select distinct 字段1，字段2... from 表名 where 条件 group by 组名 having 筛选 order by 排序 limit 限制条数找到表:from拿着where指定的约束条件，去文件/表中取出一条条记录将取出的一条条记录进行分组group by，如果没有group by，则整体作为一组执行select（去重）：select * from 表名;将分组的结果进行having过滤将结果按...
记住这些理念之后，让我们来开始 Django 数据库层的探索。 首先，我们需要做些初始配置；我们需要告诉Django使用什么数据库以及如何连接数据库。我们假定你已经完成了数据库服务器的安装和激活，并且已经在其中创建了数据库（例如，用 CREATE DATABASE 语句）。 如果你使用SQLite，不需要这步安装，因为SQLite使用文件系统上的独立文件来存储数据。象前面章节提到的 TEMPLATE_DIRS 一样，数据库配置也是在Django的配置文件里，缺省...
1.系统必须安装MySQL-python软件，否则python没有连接的模块(在Linux系统)yum install MySQL-python2.安装mysql数据库yum install mysql-server mysql[root@AY140528120357495c4bZ ~]# /etc/init.d/mysqld restartStopping mysqld: [ OK ]Starting mysqld: [ OK ][root@AY140528120357495c4bZ ~]#3.在mysql中创建数据库和表[root@AY1405...
目录1 元组概念1.1 元祖的特点1.2 元组的定义1.3 元组的访问1.4 元组的查询2 命名元组3 字符串3.1 字符串的基本操作3.1.1 字符串的访问3.1.2 字符串的拼接3.2 字符串分割3.3 字符串大小写3.4 字符串排版3.5 字符串修改3.6 字符串查找3.7 字符串判断3.8 字符串格式化3.8.1 C语言格式化3.8.2 format格式化3.8.3 对齐3.8.9 小数点与进制4 切片4.1 切片赋值1 元组概念????????元组（类型为 tuple）和列表十分相似,但是元组和字符串一样...
高斯模糊一阶核函数:高斯函数二阶核函数：def calc(self,x,y=0):if self.level==1:return 1/((2*math.pi)**0.5*self.sigema)*math.exp(-(x**2/2/(self.sigema**2)))elif self.level==2:return 1/(2*math.pi*self.sigema*self.sigema)*math.exp(-(x**2+y**2)/2/self.sigema/self.sigema) σ为标准差定义一个模糊半径，通过上述公式获取到需要的核函数如半径r=1 ，σ=2一阶时为x=[-1,0,1],生成核为[0.176033，0.199471，0.176033]/d...
财经数据接口包tushare的使用（一）Tushare是一款开源免费的金融数据接口包，可以用于获取股票的历史数据、年度季度报表数据、实时分笔数据、历史分笔数据，本文对tushare的用法，已经存在的一些问题做一些介绍。一：安装tushare为避免由于依赖包缺失导致安装失败，请先安装anaconda,百度网盘地址： 链接：http://pan.baidu.com/s/1qYDQUGs 密码：6wq8 安装直接一直下一步即可 安装完成之后，anaconda会自动配置环境变量，直接就可...
int_num = 7
float_num = 7.7
string = "python"
a, b, c = 7, 7.7, "python"print(int_num, type(int_num))
print(float_num, type(float_num))
print(string, type(string))
print(a, b, c)
print("a=%.6f"%a)
print(len(c))运行结果：7 <class‘int‘>
7.7 <class‘float‘>
python <class‘str‘>
7 7.7 python
a=7.000000 原文：https://www.cnblogs.com/jumpkin1122/p/11503119.html
内存地址 id()
总结：数字类型，字符串类型，元组，变量不同值相同的内存地址是相同的。列表，字典，反之。int类型#共同内存地址
a = 2345435436457656756
b = 2345435436457656756
print(id(a)) #id() 内存地址
print(id(b))结果：16521307949521652130794952float类型#共同内存地址
a = 234.5435436457656756
b = 234.5435436457656756
print(id(a))
print(id(b))结果：19538493853681953849385368str类型#共同内存地址
s...
#!/usr/bin/python
#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time : 2018/6/15 22:46
# @Author : Kwan
# @File : insert_db.py
# @Software: PyCharmimport sqlite3
import random
import datetime# conn = sqlite3.connect('local.db')
#
# c = conn.cursor()
#
# c.execute("insert into system_cfg values(?,?,?)",(2,'test2',1))
#
# conn.commit()
#
# conn.close()def make_date():
# def make_card_n...
#!/usr/src/python# -*- coding:utf-8 -*-import pymysqlimport socket,structdef sql_exe(v_sql): conn = pymysql.Connect(host=‘192.168.110.133‘,port=3306,user="admin",password="mysql123",database="hostmgr",charset=‘utf8‘) cursor = conn.cursor() v = cursor.execute(v_sql) result = cursor.fetchall() # result = cursor.fetchone() # result = cursor.fetchmany(2) print(result) curso...
您的“关注”和“点赞”，是信任，是认可，是支持，是动力......如意见相佐，可留言。
本人必将竭尽全力试图做到准确和全面，终其一生进行修改补充更新。目录1 复数数据类型概述2 从复数中提取实部和虚部3 相关函数 complex()3.1 complex() 函数概述3.2 注意事项4 文章其他地址4.1 微信公众号：码农阿杰4.2 CSDN 博客5 参考资料5.1 Python 3.8.2 documentation1 复数数据类型概述复数数据类型，简称复数类型。在 Python 中用comple...
‘‘‘
int
str
bool
list 存储大量的数据，用[]来表示
tuple 元组，不可以发生改变，用()来表示，和C++的元组是一样的
dict 字典，保存键值对，一样可以保持大量的数据，和C++的map一样
set 集合，内部数据不可以重复
‘‘‘ 字符串的任何操作都不会改变它本身，所以需要提供另一个字符串来承装#字符串的截取片段
s1 = input("输入字符串：\n")
a = input("输入开始截取的位置：\n")
b = input("输入结束截取的位置：\n")
a = int...
import unittest
import ddt #第三方库data=[[1,2],[3,4],[5,6]]@ddt.ddtclass MyTestCase(unittest.TestCase):#只有一个参数时@ddt.data(1,2,3)def test_01(self,a):print(a)@ddt.data(*data)#表示可参数，若传参是data,则后面的取值a=[[1,2],[3,4],[5,6]] @ddt.unpackdef test_02(self,a,b):print(a,‘----‘,b)@ddt.data([1,2],[3,4])#和上面的相似，这里未使用变量 @ddt.unpackdef test_03(self,a,b):print(a, ‘----‘...
# -*- enconding:etf-8 -*-
2 import pymysql
3 import os
4 import time
5 import re
6 serveraddr="localhost"
7 user="root"
8 password="123456"
9 databaseName="test"
10 filename="./data/UNCL.csv"
11
12 def create_table():
13 # sep=os.sep
14 # tableName=raw_input(‘please input the table name which will be created:‘)
15 # classpath=raw_input(‘请输入需要遍历的路径：‘)
16
17 db=pymysql.connect(serveraddr,user,password,databaseName)
18 cursor=db.cursor()
19 cursor.execute("drop table if exists `tncl`")
20 sql=""" create table `tncl`(
21 `tncl_id` varchar(25) not null,
22 `tncl_tag` varchar(25) not null,
23 `tncl_desc` varchar(255) not null,
24 `tncl_note` varchar(1200) not null,
25 primary key(`tncl_id`)
26 ) engine=InnoDB default charset=utf8;"""
27
28 cursor.execute(sql)
29 db.close()
30 def test():
31 p1=r"^\s{13}\w.+|\n$"
32 pattern=re.compile(p1)
33 fr=open(filename)
34 w2=open(‘./data/e.csv‘,‘a‘)
35 for line in fr.readlines():
36 # print(line)
37 matcher=re.findall(pattern,line)
38 # print(matcher)
39 # print(type(matcher))
40 for i in matcher:
41 w2.write(i)
42 # w2.write("\n")
43 fr.close()
44 w2.close()
45
46
47 if __name__==‘__main__‘:
48 test()