使用Python中的BS4,Selenium收集动态数据并避免重复

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了使用Python中的BS4,Selenium收集动态数据并避免重复，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含3142字，纯文字阅读大概需要5分钟。

内容图文

我在这里尝试做的是从不断刷新信息的动态页面检索数据.我设置的方式是每60秒刷新一次.问题是,旧数据不会从页面中删除,因此当程序在刷新后浏览数据时,会出现重复.

注意：由于最初没有要刮刮的消息,程序在开始时就处于休眠状态.

我正在寻找一种方法或解决方案,以使用最后一条记录(在这种情况下为message [-1])作为搜索的起点,以防止重复.

感谢所有帮助！谢谢.

driver.get(URL)
while 1==1:
    time.sleep(60)
    chat_page = driver.page_source
    chat_soup = BeautifulSoup(chat_page,'lxml')
    messages = chat_soup.findAll('div', attrs={'class':'message first'})
    for message in messages:
        username = message.div.h2.span.strong.text
        text = message.find('div', attrs={'class':'markup'}).get_text()
        timestamp = message.find('span', attrs={'class':'timestamp'}).get_text()
        today = str(datetime.date.today())
        timestamp = timestamp.replace('Today', today)

        usernames.append(username)
        timestamps.append(timestamp)
        texts.append(text)
        print(timestamp, username," : ",text)

我创建了一个临时解决方案,可以在将每个记录输入到SQLite3数据库之前对其进行检查.该程序可以通过使用“ INSERT OR IGNORE”来工作.不幸的是,该程序一直在检查重复项,因为它无法过滤掉已被抓取的数据.以下是我的临时解决方案：

driver.get(URL)
while 1==1:
    chat_page = driver.page_source
    chat_soup = BeautifulSoup(chat_page,'lxml')
    messages = chat_soup.findAll('div', attrs={'class':'message first'})
    for message in reversed(messages):
        username = message.div.h2.span.strong.text
        usernames.append(username)
        text = message.find('div', attrs={'class':'markup'}).get_text()
        text = text.replace('"', '')
        text = text.replace("'", "")
        username = username.replace('"', '')
        username = username.replace("'", "")
        timestamp = message.find('span', attrs={'class':'timestamp'}).get_text()
        today = str(datetime.date.today())
        timestamp = timestamp.replace('Today', today)
        isbot = message.find('span', attrs={'class':'bot-tag'})
        if (isbot):
            username = '(BOT) ' + username
        sql = '''INSERT OR IGNORE INTO 'chats' ('timestamp', 'username', 'text') VALUES ("%s", "%s", "%s")''' % (timestamp, username, text)
        conn.executescript(sql)

解决方法:

我发现使用set.difference的解决方案效果很好.

在我的问题中,一次存在一定数量的数据(比如说10).我们希望在没有旧值的情况下获得新值.

 olddata = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]
 newdata = [5, 6, 7, 8, 9, 10, 11, 12, 13, 14]
 unique_data = set(newdata).difference(olddata)

=

 {11, 12, 13, 14}

最终工作代码：

while 1==1:
    chat_page = driver.page_source
    chat_soup = BeautifulSoup(chat_page,'lxml')
    messages = chat_soup.findAll('div', attrs={'class':'message first'})
    messages_dedupe = set(messages).difference(oldlist)
    for message in messages_dedupe:
        username = message.div.h2.span.strong.text
        text = message.find('div', attrs={'class':'markup'}).get_text()
        timestamp = message.find('span', attrs={'class':'timestamp'}).get_text()
        today = str(datetime.date.today())
        timestamp = timestamp.replace('Today', today)
        isbot = message.find('span', attrs={'class':'bot-tag'})
        if (isbot):
            username = '(BOT) ' + username
        usernames.append(username)
        timestamps.append(timestamp)
        texts.append(text)
        oldlist = messages
        sqlvalues = (username, timestamp, text)
        c.execute("INSERT OR IGNORE INTO db (username, timestamp, text) VALUES (?, ?, ?)", sqlvalues)
        conn.commit()
        print(timestamp, username,":",text)
    time.sleep(20)

内容总结

以上是互联网集市为您收集整理的使用Python中的BS4,Selenium收集动态数据并避免重复全部内容，希望文章能够帮你解决使用Python中的BS4,Selenium收集动态数据并避免重复所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端