首页 / PYTHON / Python模拟浏览器实现用户响应

Python模拟浏览器实现用户响应

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了Python模拟浏览器实现用户响应，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含7869字，纯文字阅读大概需要12分钟。

内容图文

最近工作中遇到一个问题，在集群上运行的任务有时候无法正常结束，或者无法正常启动。这会造成这批运行的任务无法正常结束运行，处于pending的状态，导致后面的任务无法正常启动。

该问题困扰我们项目已经有半年左右了，一直没有想到很好的解决办法。主要原因就是任务的状态只能在浏览器中看出，无法通过后台的日志或者数据库查询得到。在浏览器中，如果我们看到某个任务长时间没有运行时间和状态的变化，就可以把这个任务当做是“僵尸”任务，从而可以将该任务手动结束掉（kill）。

春节之后在网上看到一些有关爬虫的文章，里面提到过有一种爬虫就是模拟浏览器的行为（包括登录、点击等）去得到网页的数据，进而进行网页抓取，有用信息提取。于是我思考，我们项目的问题和浏览器的交互，只有几种情况，完全可以通过这种方式解决“僵尸”任务。经过一周左右的研究和一周断断续续的coding，终于将这个问题解决了，现在把解决问题的主要思路和关键技术难点写下来，希望一来可以加深自己的印象，二来可以帮助到需要的人。因为实现的任务比较单一，且实现过程比较仓促，code主要就是实现了一些功能，没有进行优化，也没有太参考什么编码规范，设计模式之类的。以后遇到更大的问题，再考虑这些吧。

技术要点：

（1）Python的package:selenium，用这个package，可以和浏览器进行交互，如打开某个浏览器（Chrome，FireFox等），登录需要验证的网站（输入用户名&密码），点击某个特定图标等等，下面是两个有关selenium的链接：

https://www.baidu.com/link?url=tTeJRPOMKX8noXyTa2YPgpaD6vVlGQ2-RVAfwRg4Yvm&wd=&eqid=acd0879a0043c2e9000000045741cd39

http://www.cnblogs.com/fnng/archive/2013/05/29/3106515.html

（2）selenium的PhantomJS，这是一个虚拟的浏览器，可以把它看成一个在后台运行的浏览器，用户看不到浏览器的页面，但其他的功能和普通浏览器基本一样，比如可以截图，点击某个图标，抓取网页信息等，之所以使用了这个用来模仿浏览器，是因为我们的server无法安装普通的浏览器，只能运行在终端模式下运行的程序；

http://phantomjs.org/

（3）xpath，这个是我编程中耗时最多的模块，主要原因有几个，一是元素定位有问题，网站是一秒钟刷新一次，上一秒获取到的元素下一秒就找不到了；二是相似元素太多，层级关系太复杂，用一般的相对路径去寻找，有可能找到一些不想要的元素，所以就造成了寻找元素过程的费时费力。下面是两个有关xpath的介绍，比较实用，特别是在网页爬虫方面（后面我还要专门介绍爬虫）：

http://www.cnblogs.com/fdszlzl/archive/2009/06/02/1494836.html

http://www.ruanyifeng.com/blog/2009/07/xpath_path_expressions.html

以下是核心code，因为项目隐私的原因，把一些敏感的内容用*******代替。如果有什么问题，可以给我留言。

‘‘‘
command: 

python tools/webScrap/KillJobs.py -url=******** -screenShotPath=******

‘‘‘

from selenium import webdriver
from selenium.common.exceptions import NoSuchElementException
from selenium.webdriver.common.keys import Keys
import re
import time
import argparse
import sys
import os


mailReceiver = [   
                    *********,
                    ********
                ]

ZOMBIE_JOB_LIST = {"list1": [], "list2": [], "list3":[]}

def getMailReceiver():
    receiver = ‘ ‘
    for recv in mailReceiver:
        receiver = receiver + recv + ‘ ‘

    return receiver


def kill_zombie_jobs(screenShotPath, url):
    # browser = webdriver.PhantomJS() # Get local session of PhantomJS
    browser = webdriver.Firefox() # Get local session of Firefox
    browser.set_window_size(1600, 1000)
    
    targetUrl = "http://%s/#JOBS" %url
    print "url: ", targetUrl
    
    job_to_be_kill_indicate = 0
    
    browser.get(targetUrl) # Load page
    userName = browser.find_elements_by_class_name("gwt-TextBox")
    password = browser.find_elements_by_class_name("gwt-PasswordTextBox")
    submitButton = browser.find_elements_by_class_name("gwt-Button")
    
    if len(userName) == 0 or len(password) == 0 or len(submitButton) == 0:
        print "error in open url: %s" %targetUrl
        browser.quit()
        return
        
    userName[0].send_keys("******")
    password[0].send_keys("*******")
    time.sleep(1)
    submitButton[0].click()
    
    time.sleep(4)
    
    sceen_shot_name = screenShotPath + "/Before_kill_jobs_screen_shot.png"
    browser.save_screenshot(sceen_shot_name)

    # get the Job_Name 
    # job_name_pattern = "/html/body/div[2]/div[2]/div/div[4]/div/div[3]/div/div[4]/div/div[2]/div/div[2]/div/div/div/div[3]/table[2]/tbody/tr[1]/td/fieldset/table/tbody/tr/td/table/tbody/tr[1]/td/table/tbody[1]/tr[1]/td[1]/div"
    # jobs_name_pattern_0 = "//body/div[2]/div[2]/div/div[4]/div/div[3]/div/div[4]/div/div[2]/div/div[2]/div/div/div/div[3]/table[2]/tbody/tr[1]/td/fieldset/table/tbody/tr/td/table/tbody/tr/td/table/tbody/tr/td[@class=‘GJOFO-MDOC GJOFO-MDAD GJOFO-MDBD‘ or @class=‘GJOFO-MDOC GJOFO-MDAE GJOFO-MDBD‘]"
    jobs_name_pattern_0 = "//body/div[2]/div[2]/div/div[4]/div/div[3]/div/div[4]/div/div[2]/div/div[2]/div/div/div/div[3]/table[2]/tbody/tr[1]/td/fieldset/table/tbody/tr/td/table/tbody/tr/td/table/tbody/tr/td[1]"
    jobs_name_pattern = "//body/div[2]/div[2]/div/div[4]/div/div[3]/div/div[4]/div/div[2]/div/div[2]/div/div/div/div[3]/table[2]/tbody/tr[1]/td/fieldset/table/tbody/tr/td/table/tbody/tr/td/table/tbody/tr[Order]/td[1]"
    jobs_kill_pattern = "//body/div[2]/div[2]/div/div[4]/div/div[3]/div/div[4]/div/div[2]/div/div[2]/div/div/div/div[3]/table[2]/tbody/tr[1]/td/fieldset/table/tbody/tr/td/table/tbody/tr/td/table/tbody/tr[Order]/td[3]"
    jobs_duration_pattern = "//body/div[2]/div[2]/div/div[4]/div/div[3]/div/div[4]/div/div[2]/div/div[2]/div/div/div/div[3]/table[2]/tbody/tr[1]/td/fieldset/table/tbody/tr/td/table/tbody/tr/td/table/tbody/tr[Order]/td[5]"
    
    for i in range(1, 4):
        tmp_list = "list"+str(i)
        job_name_elements_list = browser.find_elements_by_xpath(jobs_name_pattern_0)
        job_length = len(job_name_elements_list) 
        
        for index in range(1, job_length+1):
            job_name_pattern = jobs_name_pattern.replace("Order", str(index))
            job_duration_pattern = jobs_duration_pattern.replace("Order", str(index))

            job_name = get_element_name(browser, job_name_pattern)
            job_duration_time = durationTime(get_element_name(browser, job_duration_pattern))
            
            if len(job_name) > 10 and durationTime == 0:
                ZOMBIE_JOB_LIST[tmp_list].append(job_name)
        time.sleep(60)
        
    print "zombie job list: ", ZOMBIE_JOB_LIST

    job_name_elements_list = browser.find_elements_by_xpath(jobs_name_pattern_0)
    job_length = len(job_name_elements_list) 
    for index in range(1, job_length+1):
        # print "index:", index
        job_name_pattern = jobs_name_pattern.replace("Order", str(index))
        job_kill_pattern = jobs_kill_pattern.replace("Order", str(index))
        job_name = get_element_name(browser, job_name_pattern)
        
        if job_name in ZOMBIE_JOB_LIST["list1"] and job_name in ZOMBIE_JOB_LIST["list2"] and  job_name in ZOMBIE_JOB_LIST["list3"]:
            job_to_be_kill_indicate = 1
            print "this job is should be killed: ", job_name
            kill_button_element = browser.find_element_by_xpath(job_kill_pattern)
            kill_button_element.click()
            time.sleep(1)
            confirm_kill_button_pattern = "//tbody/tr/td[1]/button[@class=‘gwt-Button‘]"
            confirm_kill_button_element = browser.find_element_by_xpath(confirm_kill_button_pattern)
            confirm_kill_button_element.click()
            time.sleep(2)
        
    time.sleep(2)
    sceen_shot_name = screenShotPath + "/After_kill_jobs_screen_shot.png"
    browser.save_screenshot(sceen_shot_name)
    browser.quit()
    return job_to_be_kill_indicate
    

def get_element_name(browser, element_pattern):
    element_name = ""
    try:
        element = browser.find_element_by_xpath(element_pattern)
        element_name = element.text
    except Exception, e:
        print "element not exist any more!!!!!"
        element_name = ""

    return element_name

def durationTime(timeStr):
    if timeStr is None or timeStr == "":
        return 0
    if re.match(r"\d{2}:\d{2}:\d{2}", timeStr) is None:
        return 0

    timeSec = int(timeStr[0:2]) * 3600 + int(timeStr[3:5]) * 60 + int(timeStr[6:8])

    return timeSec

def send_kill_jobs_mail(mailer, screenShotPath, url, indicator):
    # jobs screen before and after kill
    mailTitle = "Jobs_on_%s_Hanging"  %url
    screenShotFile1 = screenShotPath + "/Before_kill_jobs_screen_shot.png"
    screenShotFile2 = screenShotPath + "/After_kill_jobs_screen_shot.png"
    logFile = screenShotPath + "/nodes_hanging.log"
    command = ‘mail -a ‘ + screenShotFile1 + ‘ -a ‘ + screenShotFile2 + ‘ -s ‘ + mailTitle + mailer +  ‘ < ‘ + logFile
    print "command: ", command 
    os.system(command)

    return 0

def monitor():
    # kill exist PhantomJS
    command = "killall phantomjs"
    print "kill all existing phantomjs: ", command
    os.system(command)
    
    parser = argparse.ArgumentParser()
    parser.add_argument(‘-url‘, action=‘store‘, dest=‘url‘, help=‘data url‘, required=True)
    parser.add_argument(‘-screenShotPath‘, action=‘store‘, dest=‘screenShotPath‘, help=‘the screen shot path‘, required=True)
    results = parser.parse_args()

    print ‘DataRush URL = ‘, results.url
    url = results.url
    print ‘Screen Shot Path  = ‘, results.screenShotPath
    screenShotPath = results.screenShotPath

    mailer = getMailReceiver()

    print "START: Monitor DataRush Starting.............................." 
    
    job_killed_inicate = kill_zombie_jobs(screenShotPath, url)

    if job_killed_inicate == 1:
        print "zombie jobs has been killed!!!!!!!"
        send_kill_jobs_mail(mailer, screenShotPath, url, 1)
    else:
        pass

    print "End: Monitor Finished....................................." 

if __name__ == ‘__main__‘:
    monitor()

原文：http://www.cnblogs.com/zhangchao3322218/p/5518379.html

内容总结

以上是互联网集市为您收集整理的Python模拟浏览器实现用户响应全部内容，希望文章能够帮你解决Python模拟浏览器实现用户响应所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1062692.html

来源：【匿名】

【上一篇】python_控制台输出带颜色的文字方法【下一篇】浅谈PHP运行Python脚本的方法

更多 ►

【Python模拟浏览器实现用户响应】教程文章相关的互联网学习教程文章

python高效配置-响应code枚举类设计【代码】

class RechargeErrorV2(object):code_0 = {'0': '成功'}code_1 = {'1': '服务发生异常'}code_2 = {'2': '电渠找不到对应的订单'}code_3 = {'3': 'x-auth格式错误'}code_4 = {'4': '签名校验失败'}code_5 = {'5': '请求参数校验失败'}code_6 = {'6': '合作商订单号在电渠已存在订单'}code_7 = {'7': '该渠道不可订购该产品'}code_8 = {'8': '充值渠道类型查询异常'}code_9 = {'9': '生成order_id失败'}code_10 = {'10': '参数有误，...

Python模拟浏览器实现用户响应【代码】

最近工作中遇到一个问题，在集群上运行的任务有时候无法正常结束，或者无法正常启动。这会造成这批运行的任务无法正常结束运行，处于pending的状态，导致后面的任务无法正常启动。该问题困扰我们项目已经有半年左右了，一直没有想到很好的解决办法。主要原因就是任务的状态只能在浏览器中看出，无法通过后台的日志或者数据库查询得到。在浏览器中，如果我们看到某个任务长时间没有运行时间和状态的变化，就可以把这个任务当做是“僵...

如何防止python urllib3缓存响应【代码】

我用urllib3连续多次轮询同一个url.我已经分析了请求,我得到了标题：缓存控制：无变换,max-age = 120 在第一次收到请求后,我获得了页面的缓存版本,而不是再次运行请求.我无法控制从服务器返回的标头,如何防止缓存？我在Debian Squeeze上运行python 2.6.6pool = urllib3.HTTPConnectionPool('itunes.apple.com') request = pool.request('GET', '/webObjects/MZStore.woa/wa/viewTop?selected_tab_index=0&startIndex=0&genreId=3...

python响应websocket请求输出动态日志【代码】

处理线程中打开文件，每次读取一行并记录当前读取位置，没有下一行让出一秒logfile = ./logs/%s_%s.log % (appName, time.strftime(%Y_%m_%d))file = open(logfile, r, encoding=utf-8)while True:where = file.tell()line = file.readline()if not line:time.sleep(1)file.seek(where)else:send_data(conn, line.strip().encode(utf-8))

基于http请求与响应实现的网页源码读取的相关操作技巧【图】

这篇文章主要介绍了Python实现的下载网页源码功能,涉及Python基于http请求与响应实现的网页源码读取功能相关操作技巧,需要的朋友可以参考下本文实例讲述了Python实现的下载网页源码功能。分享给大家供大家参考，具体如下：#!/usr/bin/python import httplib httpconn = httplib.HTTPConnection("www.baidu.com") httpconn.request("GET", "/index.html") resp = httpconn.getresponse() if resp.reason == "OK":resp_data = resp.r...

django中“url映射规则”和“服务端响应顺序”【图】

1、django搜索路径　　使用 import 语句时，Python 所查找的系统目录清单。查看方式：　　import sys 　　 print sys.path 通常无需关心 Python 搜索路径的设置，Python 和 Django 会在后台自动帮你处理好。2、url匹配模式　基本结构： ^需要匹配的url字符串$ PS:实际上最终完整的url串是http://根路径：端口号/需要匹配的url字符串系统自动添加的部分http://根路径：端口号/ eg：u...

Python中用pycurl监控http响应时间脚本分享

最近需要对节点到源站自己做个监控，简单的ping可以检测到一些东西，但是http请求的检查也要进行，于是就研究了下pycurl。 pycurl是个用c语言实现的python 库，虽然据说不是那么pythonic，但是却很高效，它支持的协议居多：supporting FTP, FTPS, HTTP, HTTPS, GOPHER, TELNET, DICT, FILE and LDAP. libcurl supports HTTPS certificates, HTTP POST, HTTP PUT, FTP uploading, kerberos, HTTP form based upload, proxies, cooki...

在Python的Django框架中用流响应生成CSV文件的教程

在Django里，流式响应StreamingHttpResponse是个好东西,可以快速、节省内存地产生一个大型文件。目前项目里用于流式响应的一个是Eventsource，用于改善跨系统通讯时用户产生的慢速的感觉。这个不细说了。还有一个就是生成一个大的csv文件。当Django进程处于gunicorn或者uwsgi等web容器中时，如果响应超过一定时间没有返回，就会被web容器终止掉，虽然我们可以通过加长web容器的超时时间来绕过这个问题，但是毕竟还是治标不治本。...

python基于pygame实现响应游戏中事件的方法(附源码)【图】

本文实例讲述了python基于pygame实现响应游戏中事件的方法。分享给大家供大家参考，具体如下：先看一下我做的demo效果：当玩家按下键盘上的：上，下，左，右键的时候，后台会打印出玩家所按键的数字值，而图形会随之移动这是客观上面存在的现象。那么啥是事件呢？你叫我做出定义，我不知道，我只能举个例子说明，例如接下来的代码中，列出来一些关于游戏中的事件事件产生途径参数QUIT 用...

python通过get,post方式发送http请求和接收http响应的方法

本文实例讲述了python通过get,post方式发送http请求和接收http响应的方法。分享给大家供大家参考。具体如下：测试用CGI,名字为test.py，放在apache的cgi-bin目录下:#!/usr/bin/python import cgi def main(): print "Content-type: text/html\n"form = cgi.FieldStorage()if form.has_key("ServiceCode") and form["ServiceCode"].value != "":print " Hello",form["ServiceCode"].value,"" else: print " Error! Please enter f...

用python实现提取HTTP响应里对应参数的值【代码】

import re import xlwtf=open("info.txt","r",encoding="utf-8") file=f.read() f.close()# 把要提取的多个参数名写在列表内 fields=["deliveryRowId","materialNo"]workbook = xlwt.Workbook(encoding = 'utf-8') worksheet = workbook.add_sheet('Worksheet_yyn')for field in fields:# 查找数据的正则表达式search_key='"'+field+'":"(.*?)"'result_data=re.findall(search_key,file)i=1j=fields.index(field)worksheet.write(0...

python HTTP后台响应服务

from socket import * from threading import * import sys import traceback from threading import *class HTTPSever(object): def init(self,server_addr,static_dir): # 增加服务器属性对象 self.server_address=server_addr self.static_dir=static_dir self.ip=server_addr[0] self.port=server_addr[1] self.create_socket() # 创建套接字 def create_socket(self): self.s=socket() self.s.setsockopt(SOL_SOCKET,SO_REUSE...

Python +Echarts +PyQt5设计股票期货虚拟货币自动交易系统二、软件界面响应（一）【图】

Python +Echarts +PyQt5设计股票期货虚拟货币自动交易系统二、软件界面响应效果图：上一章《 Python +Echarts +PyQt5设计股票期货虚拟货币自动交易系统一、软件界面设计》中我们进行了基本的界面样式、布局、和基础内容设计，其中布局部分包含了四大模块，即： 1、行情模块（1）、行情模块中包含交易对列表交易对列表采用PyQt5 中的QlistWidget控件作为列表容器，该控件可以将QWidget布局作为列表内容加载到列表中，如下效果...

python tkinter 窗口出现未响应处理方式

场景：点击按钮，运行了一个比较耗时的操作，那么界面会卡死；出现无响应文字处理方法 https://guo-pu.blog.csdn.net/article/details/86707216?utm_medium=distribute.pc_relevant_bbs_down.none-task-blog-baidujs-2.nonecase&depth_1-utm_source=distribute.pc_relevant_bbs_down.none-task-blog-baidujs-2.nonecase

python tkinter 问题（多个Listbox选取显示问题，虚拟事件的特点为何虚拟，listbox.nearest函数，StringVar类参数调用时单向性，线程无响应）

多个Listbox选取显示问题：结论就是不会同时显示出多个框中的内容，且如果一个被选取，另一个框中的选取项就消失掉。tkinter工具特点。虚拟事件的特点为何虚拟： ---凡是对控件进行同样的操作的行为都可以触发一次该事件，就是该控件绑定虚拟事件之后。比如说有Listbox类型的A， A.bind(<<ListboxSelect>>,funB)之后。如果在某个函数中对A的项进行选取A.selection_set(index)，它就会触发funB。 StringVar类参数调用时单向性...

首页 / PYTHON / Python模拟浏览器实现用户响应

Python模拟浏览器实现用户响应

内容导读

内容图文

内容总结

内容备注

内容手机端

【Python模拟浏览器实现用户响应】教程文章相关的互联网学习教程文章

响应 - 相关标签

PYTHON - 技术教程分类

PYTHON - 最新教程

PYTHON - 最热教程