# -*- coding: utf-8 -*-import osimport csvimport pymongofrom pymongo import MongoClient #建立连接client = MongoClient(‘10.20.4.79‘, 27017)#client = MongoClient(‘10.20.66.106‘, 27017)db_name = ‘ta‘ #数据库名db = client[db_name] #读取CVS文件并插入到mongoDB数据库 的tvsplst集合中def InsertDataFromCVS(csvFile): strFile = unicode(csvFile,‘utf8‘) if os.path.isfile(strFile): ...
#导入相应的包 import pymongo import pandas as pd from pandas import Series,DataFrame #连接数据库 client = pymongo.MongoClient(‘localhost‘,27017) db = client[‘python‘]# 授权 db.authenticate(name=‘lu‘,password=‘123456‘,source=‘admin‘) info = db[‘NBA‘] #加载数据 data = DataFrame(list(info.find())) print(data) # 写入CSV文件 data.to_csv(‘NBA.csv‘)import csv import pandas as pd from matplo...
coding=utf-8 import pymysqlfile_path = "export.csv" table_name = "export" try:con = pymysql.connect(user="root",passwd="123456",db="test01",host="localhost",local_infile=1)con.set_charset(‘utf8‘)cur = con.cursor()cur.execute("set names utf8")cur.execute("SET character_set_connection=utf8;")with open(file_path, ‘r‘, encoding=‘utf8‘) as f:reader = f.readline()print(reader)# 做成列表devide = re...
爬虫学习中，遇到数据保存问题，就是学习爬取fofa数据时候，得到的数据数据是list类似，用for打印出太low了，所以就想获取完数据，自动保存到文件中，记录一下。 1.用python创建新的csv文件 使用csv.writer()创建： 1 #lanxing2 #1使用csv.writer()创建3 import csv4 5 headers = [学号,姓名,分数]6 rows = [(202001,张三,99),(202002,李四,96),(202003,王五,92)] #头部标题7 with open(score.csv,w,encoding=utf8,newline=) ...
import csvfirsrCol = []with open(C:\\Users\\Administrator\\Desktop\\owid-covid-data.csv, r) as f: reader = csv.reader(f) result = list(reader) for key in result: # print(key) firsrCol.append(key[1]) newData = [i for n, i in enumerate(firsrCol) if i not in firsrCol[:n]] # 数组去重 record = [] maxTime = for ll in newData: arr = [] for key in result:...
我也是最近才开始这方面的学习，这篇就当作学习的笔记，记录一下学习的过程目录所以我们现在要解决的问题就是删除列名中的空格接下来要解决的问题就是处理文件中的重复数据接下来要处理的问题就是补全数据中的缺失值全部代码所要处理的数据数据中主要存在的问题包括：1.列名中存在空格 2.存在重复数据 3.存在缺失数据导入pandas模块，打开数据文件import pandas as pddf = pd.read_csv("ResourceFile.csv")当我们想要输出指定列名的...
import requests from requests.exceptions import RequestException from lxml import etree import csv import re import time from urllib import parse import timedef get_page(url):"""获取网页的源代码:param url::return:"""try:headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50',}response = requests.get(url, headers=headers)if res...
今天用Python爬取了明星关系，数据不多，一共1386条数据，代码如下：import requests from bs4 import BeautifulSoup import bs4 import csvdef getHTMLText(url):try:kv = {user-agent: Mozilla/5.0} # 请求头;指定访问浏览器为Mozilla5.0版本的浏览器r = requests.get(url)r.raise_for_status() #如果状态不是200，引发HTTPError异常r.encoding = r.apparent_encodingreturn r.textexcept:return "产生异常"def fillUnivList(ul...
首先先定义一个list，将其转存为csv文件，看将会报什么错误：list=[[1,2,3],[4,5,6],[7,9,9]]list.to_csv(e:/testcsv.csv,encoding=utf-8)运行后出现：Traceback (most recent call last): File "D:/Python/untitled/PcCVS.py", line 43, in <module> list.to_csv(e:/testcsv.csv,encoding=utf-8) AttributeError: list object has no attribute to_csvlist没有to_csv的属性，也就是说list直接是转存不了为csv 为了解决这个问...
#!/usr/bin/python # -*- coding: UTF-8 -*-# Python 生成 CSV 文件 # Python 生成 CSV 文件，可用于生成带标签的数据集 CSV 文件，标签从0开始自动升序：0,1,2,3... # 仓库：https://gist.github.com/huihut/9881c98a1d9279d4fa9dfd8475e3fe4b # 参考：https://github.com/opencv/opencv_attic/blob/master/opencv/modules/contrib/doc/facerec/src/create_csv.py'''使用脚本： * python create_csv.py <base_path> [save_path] 例...
通常会分为两种情况，一种是去除完全重复的行数据，另一种是去除某几列重复的行数据，就这两种情况可用下面的代码进行处理。 1. 去除完全重复的行数据data.drop_duplicates(inplace=True)2. 去除某几列重复的行数据data.drop_duplicates(subset=[A,B],keep=first,inplace=True)subset： 列名，可选，默认为None keep： {‘first’, ‘last’, False}, 默认值 ‘first’first： 保留第一次出现的重复行，删除后面的重复行。 last： ...
1.引入pandas 包 2.然后就是定义一个列表，用于存放再csv文件里面的数据 3.再定义存储为csv文件后，列表对应的每一列的列名 4.使用pandas里面的函数进行数据整合 5.保存在指定位置 1 #!/usr/bin/env python2 # -*- coding:utf-8 -*-3 4 import pandas as pd5 6 list1=[[1,2,3],[4,5,6],[7,8,9]]7 column=[ID,员工编号,姓名]8 test=pd.DataFrame(columns=column,data=list1)9 10 test.to_csv(D:/TETS1.csv)效果：
import csv file = open('demo.csv','w',encoding='utf8',newline='') w = csv.writer(file) w.writerow(['name','age','score','city']) # w.writerow(['张三','20','100','上海']) # w.writerow(['李四','22','100','武汉']) # w.writerow(['王五','25','100','北京']) w.writerows([['张三','20','100','上海'],['李四','22','100','武汉'],['王五','25','100','北京'],] ) file.close()file = open('info.csv','r',encoding='u...
实现效果关于selenium库 用途： 模拟人工打开浏览器并进行一些操作，类似于手机上的连点器和脚本，可以有效的解决弹窗类的反扒机制。 使用： pip 安装 ，下载浏览器驱动 ，给驱动配置环境 ，重启pycharm测试。 关于panda库 用途： 将字典转换成dataframe并更以csv的形式导出。 使用： pip 安装即可。 代码 from selenium import webdriver # 从selenium导入webdriver from selenium.webdriver.common.by import...
def read_test():with open("wine_data.csv","r") as f:data = f.readlines() #按行读取数据data=data[1:]result = []for i in data:i_list = i.split(",") #使用逗号分割方法分割try:result.append([i_list[2], i_list[3], i_list[4], i_list[5], i_list[6],i_list[7], i_list[8], i_list[9], i_list[10], i_list[11], i_list[12],i_list[13], i_list[14].replace("\n", "")]) # 提取我们需要的数据 i_list[2],i_list[3] 可以...