1.文件读写示例：读写、文件指针移动words = Winter is coming! #写入的数据with open(r..\testfiles\companies.txt,a+) as f:f.writelines(\n)f.writelines(words)f.seek(0,0) #移动文件指针到文件开头cNames = f.readlines()print(cNames)2.批量文件处理示例：统计文件行数ef countLines(fname):统计文件里内容的行数try:with open(..\\testfiles\\ + fname) as f:data = f.readlines()except FileNotFoun...
获取文件的后缀名有好几种方法： 第一种：splittext()方法 os.path.splittext(path)[-1] 第二种：endswith()方法 path = "test_user_info.py" bool = path.endswith(".py") print(bool) 第三种：判断后缀名是否在字符串中（这种会存在误判，若是.pyx后缀，一样会打印True，前面两种不会） ''' 遇到问题没人解答？小编创建了一个Python学习交流QQ群：531509025 寻找有志同道合的小伙伴，互帮互助,群里还有不错的视频学习教程和PDF电...
在写爬虫的过程中发现，很多网站的信息均以当天日期为链接组成部分，但是格式又不相同 有些是20210328，有些是2021-03-28，还有些2021/03/28 如果一次爬取来源不同网站的信息，需要对日期格式进行处理 先上代码import datetimedef getYesterday(): today=datetime.date.today() oneday=datetime.timedelta(days=1) yesterday=today-oneday gyesterday=str(yesterday)[:7]+/+str(yesterday)[8:]nyesterday=str(yesterday)[:4]+str(...
/1 前言/ 生活中到处有各种各样的声音。在做网页时，没有声音的网页显得没有灵魂，特别是游戏网页，没有声音就体会不了其中精彩的打斗效果，会感到特别的无趣。 /2 项目目标/ 今天教大家如何用Python网络爬虫去获取音效。 /3 项目准备/ 软件：PyCharm 需要的库：requests、lxml、ssl 网站如下： https://www.tukuppt.com/yinxiaomuban/zhuanchang/__zonghe_0_0_0_0_0_0_{}.html /4 项目分析/ 1、如何找到音效地址？ F12右键检...
# 图片爬取import re import urllib import urllib.requestdef gethtml(url):page=urllib.request.urlopen(url) html=page.read() return htmldef getimg(html):reg = rsrc="(.*?\.jpg)"img=re.compile(reg)html=html.decode(utf-8) imglist=re.findall(img,html) x = 0for imgurl in imglist:urllib.request.urlretrieve(imgurl,D:\\迅雷下载\\%s.jpg%x)x = x+1 if __name__ == "__main__":html=gethtml("http://pic.yxdown...
python爬虫获取以及使用cookie 首先获取cookie： @logger.catch() def get_cookie():cookie_headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome / 53.0.2785.143Safari / 537.36','Connection': 'keep-alive','accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8','referer': 'https://*****.com/'}# 设置保存cookie的文件，同级...
需要安装Python3环境及第三方库,此处以linux为例： 第三方库 requests pymongo和mongodb数据库 以合肥某区域房价为例：https://hf.lianjia.com/ershoufang/jingkai2/l3a3/ #!/usr/bin/env python3 import requests import os,sys,time import pymongo from bs4 import BeautifulSoupheader={ 'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36 OPR/68.0...
结果：import requestsurl = 'http://195.200.176.186/' #此IP是从fofa上任意找的r = requests.get(url) print(r.headers) 小优化（人性化输出）：import requestsurl = 'http://195.200.176.186/' #此IP是从fofa上任意找的r = requests.get(url) print(r.headers) print("="*15) print("服务器使用的中间件是："+ r.headers["Server"]) print("服务器使用脚本语言是："+ r.headers["X-Powered-By"])小优化2（针对不同服务...
Python一次性获取各个业务对接的数据量 根据表名模糊查找或者表明列表 # -*- coding: utf-8 import json import pandas as pd import pymysql import timedef main():dataSum = [] # 数据总量dataRealtimeSum = [] # 实时数据dataJingtaiSum = [] # 静态数据datasizeSum = [] # 数据大小datasizeRealtimeSum = [] # 实时数据大小datasizeJingtaiSum = [] # 静态数据大小connInfo = "connInfo-format.json"connFile = open(c...
每个公司对上线的业务要求都不一样，但对一些重要的文件，在线上覆盖前要全面检查文件的md5，所以这就要求获得更新前文件的md5值，然后跟研发提供的做比较，如果一致才更新，如果发现不对，就停止更新，当然逻辑都写在脚本里就可以了，因为每个公司线上服的更新逻辑都不一样，这块内容我们不做深入探讨，我们今天主要看看如何获得研发的更新文件的md5值，基本思路是这样，首先需要定义一个函数获得研发给的每个文件绝对路径，然后再...
说起计算机中的时间，还有一些比较有意思的事，比如我们经常听到的Unix时间戳，UTC时间，格林威治时间等，从表示上来讲他们基本属于同一个东西，因为他们的时间表示都是从1970年1月1日开始到现在的秒数，哪为毛是从这个时间点开始的呢？因为呀这天发生了一件大事，UNIX操作系统诞生了，这UNIX诞生可有来历，他是一个歪果仁利用老婆孩子外出度假的时间来完成的，我假设大家了解操作系统的复杂性，那么我们预估他老婆要外出几年才能完...
如果你有一批IP地址想要获得这些IP具体的信息，比如归属国家，城市等，最好的办法当时是调用现有的api接口来获取，具体应用场景可以根据自己需要，比如我在之前就写过一篇文章，是关于我的博客被莫名***的时，就有获取过一批IP，***的时候当然是恢复业务重要，IP该封的就要封，***过后这个***者的IP信息，自己就可以分析下都来自哪里，有没有什么特征，帮助提示自己网站的安全性，今天这个脚本就是根据提供的IP获得IP归属的具体信息...
实现: import inspect get_line = lambda :inspect.getframeinfo(inspect.stack()[1][0]).lineno get_file = inspect.__file__ get_func = lambda :inspect.getframeinfo(inspect.stack()[1][0]).function 调用 get_line() 测试 #encoding=utf-8import inspect get_line = lambda :inspect.getframeinfo(inspect.stack()[1][0]).lineno get_file = inspect.__file__ get_func = lambda :inspect.getframeinfo(inspect.stack()[1][0...
from selenium import webdriver import time import jsonwb = webdriver.Chrome() wb.maximize_window() wb.implicitly_wait(10)url = https://subject.autohome.com.cn/carservice/2019/12/hnzt/?refpage=18518&exl_pvid=6833672&exl_hdid=18518&pvareaid=3281150 wb.get(url)# 提前add了一份cookie，直接打开保存的cookie文件 with open(D:\\qichecookies.txt, r, encoding=utf8) as f:listCookies = json.loads(f.read()) for ...
前言 首先 selenium 是可以定位到隐藏元素的，但是 selenium 不能跟隐藏元素交互，也就是隐藏元素element不能使用element.click()方法。 隐藏元素element.text 虽然不会报错，但获取到的文本是空值 隐藏元素定位 登录之后，获取个人中心的账号内容，在页面上没显示，f12能看到，很明显这是个隐藏元素style="display: none;"from selenium import webdriver import time # 作者-上海悠悠 QQ交流群:717225969 # blog地址 https://www...