1.文件读写示例:读写、文件指针移动words = Winter is coming! #写入的数据with open(r..\testfiles\companies.txt,a+) as f:f.writelines(\n)f.writelines(words)f.seek(0,0) #移动文件指针到文件开头cNames = f.readlines()print(cNames)2.批量文件处理示例:统计文件行数ef countLines(fname):统计文件里内容的行数try:with open(..\\testfiles\\ + fname) as f:data = f.readlines()except FileNotFoun...
获取文件的后缀名有好几种方法: 第一种:splittext()方法 os.path.splittext(path)[-1] 第二种:endswith()方法 path = "test_user_info.py" bool = path.endswith(".py") print(bool) 第三种:判断后缀名是否在字符串中(这种会存在误判,若是.pyx后缀,一样会打印True,前面两种不会) ''' 遇到问题没人解答?小编创建了一个Python学习交流QQ群:531509025 寻找有志同道合的小伙伴,互帮互助,群里还有不错的视频学习教程和PDF电...
在写爬虫的过程中发现,很多网站的信息均以当天日期为链接组成部分,但是格式又不相同 有些是20210328,有些是2021-03-28,还有些2021/03/28 如果一次爬取来源不同网站的信息,需要对日期格式进行处理 先上代码import datetimedef getYesterday(): today=datetime.date.today() oneday=datetime.timedelta(days=1) yesterday=today-oneday gyesterday=str(yesterday)[:7]+/+str(yesterday)[8:]nyesterday=str(yesterday)[:4]+str(...
/1 前言/ 生活中到处有各种各样的声音。在做网页时,没有声音的网页显得没有灵魂,特别是游戏网页,没有声音就体会不了其中精彩的打斗效果,会感到特别的无趣。 /2 项目目标/ 今天教大家如何用Python网络爬虫去获取音效。 /3 项目准备/ 软件:PyCharm 需要的库:requests、lxml、ssl 网站如下: https://www.tukuppt.com/yinxiaomuban/zhuanchang/__zonghe_0_0_0_0_0_0_{}.html /4 项目分析/ 1、如何找到音效地址? F12右键检...
# 图片爬取import re import urllib import urllib.requestdef gethtml(url):page=urllib.request.urlopen(url) html=page.read() return htmldef getimg(html):reg = rsrc="(.*?\.jpg)"img=re.compile(reg)html=html.decode(utf-8) imglist=re.findall(img,html) x = 0for imgurl in imglist:urllib.request.urlretrieve(imgurl,D:\\迅雷下载\\%s.jpg%x)x = x+1 if __name__ == "__main__":html=gethtml("http://pic.yxdown...
python爬虫获取以及使用cookie 首先获取cookie: @logger.catch() def get_cookie():cookie_headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome / 53.0.2785.143Safari / 537.36','Connection': 'keep-alive','accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8','referer': 'https://*****.com/'}# 设置保存cookie的文件,同级...
需要安装Python3环境及第三方库,此处以linux为例: 第三方库 requests pymongo和mongodb数据库 以合肥某区域房价为例:https://hf.lianjia.com/ershoufang/jingkai2/l3a3/ #!/usr/bin/env python3 import requests import os,sys,time import pymongo from bs4 import BeautifulSoupheader={ 'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36 OPR/68.0...
结果:import requestsurl = 'http://195.200.176.186/' #此IP是从fofa上任意找的r = requests.get(url) print(r.headers) 小优化(人性化输出):import requestsurl = 'http://195.200.176.186/' #此IP是从fofa上任意找的r = requests.get(url) print(r.headers) print("="*15) print("服务器使用的中间件是:"+ r.headers["Server"]) print("服务器使用脚本语言是:"+ r.headers["X-Powered-By"])小优化2(针对不同服务...
Python一次性获取各个业务对接的数据量 根据表名模糊查找或者表明列表 # -*- coding: utf-8 import json import pandas as pd import pymysql import timedef main():dataSum = [] # 数据总量dataRealtimeSum = [] # 实时数据dataJingtaiSum = [] # 静态数据datasizeSum = [] # 数据大小datasizeRealtimeSum = [] # 实时数据大小datasizeJingtaiSum = [] # 静态数据大小connInfo = "connInfo-format.json"connFile = open(c...
每个公司对上线的业务要求都不一样,但对一些重要的文件,在线上覆盖前要全面检查文件的md5,所以这就要求获得更新前文件的md5值,然后跟研发提供的做比较,如果一致才更新,如果发现不对,就停止更新,当然逻辑都写在脚本里就可以了,因为每个公司线上服的更新逻辑都不一样,这块内容我们不做深入探讨,我们今天主要看看如何获得研发的更新文件的md5值,基本思路是这样,首先需要定义一个函数获得研发给的每个文件绝对路径,然后再...
说起计算机中的时间,还有一些比较有意思的事,比如我们经常听到的Unix时间戳,UTC时间,格林威治时间等,从表示上来讲他们基本属于同一个东西,因为他们的时间表示都是从1970年1月1日开始到现在的秒数,哪为毛是从这个时间点开始的呢?因为呀这天发生了一件大事,UNIX操作系统诞生了,这UNIX诞生可有来历,他是一个歪果仁利用老婆孩子外出度假的时间来完成的,我假设大家了解操作系统的复杂性,那么我们预估他老婆要外出几年才能完...
如果你有一批IP地址想要获得这些IP具体的信息,比如归属国家,城市等,最好的办法当时是调用现有的api接口来获取,具体应用场景可以根据自己需要,比如我在之前就写过一篇文章,是关于我的博客被莫名***的时,就有获取过一批IP,***的时候当然是恢复业务重要,IP该封的就要封,***过后这个***者的IP信息,自己就可以分析下都来自哪里,有没有什么特征,帮助提示自己网站的安全性,今天这个脚本就是根据提供的IP获得IP归属的具体信息...
实现: import inspect get_line = lambda :inspect.getframeinfo(inspect.stack()[1][0]).lineno get_file = inspect.__file__ get_func = lambda :inspect.getframeinfo(inspect.stack()[1][0]).function 调用 get_line() 测试 #encoding=utf-8import inspect get_line = lambda :inspect.getframeinfo(inspect.stack()[1][0]).lineno get_file = inspect.__file__ get_func = lambda :inspect.getframeinfo(inspect.stack()[1][0...
from selenium import webdriver import time import jsonwb = webdriver.Chrome() wb.maximize_window() wb.implicitly_wait(10)url = https://subject.autohome.com.cn/carservice/2019/12/hnzt/?refpage=18518&exl_pvid=6833672&exl_hdid=18518&pvareaid=3281150 wb.get(url)# 提前add了一份cookie,直接打开保存的cookie文件 with open(D:\\qichecookies.txt, r, encoding=utf8) as f:listCookies = json.loads(f.read()) for ...
前言 首先 selenium 是可以定位到隐藏元素的,但是 selenium 不能跟隐藏元素交互,也就是隐藏元素element不能使用element.click()方法。 隐藏元素element.text 虽然不会报错,但获取到的文本是空值 隐藏元素定位 登录之后,获取个人中心的账号内容,在页面上没显示,f12能看到,很明显这是个隐藏元素style="display: none;"from selenium import webdriver import time # 作者-上海悠悠 QQ交流群:717225969 # blog地址 https://www...