python – BeautifulSoup webscraper问题：找不到某些div / table

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了python – BeautifulSoup webscraper问题：找不到某些div / table，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1792字，纯文字阅读大概需要3分钟。

内容图文

我有抓刮pro-football-reference.com的问题.我正在尝试访问“Team Offense”表,但似乎无法定位div / table.
我能做的最好的事情是：

soup.find('div', {'id':'all_team_stats})

它不返回表,也不是直接的div包装器.以下尝试返回“无”：

soup.find('div', {'id':'div_team_stats'})
soup.find('table', {'id':'team_stats'})

我已经通过以下方式抓取了不同的页面：

soup.find('table', {'id':'table_id})

但我无法弄清楚为什么它不在这个页面上工作.以下是我一直在使用的代码.任何帮助深表感谢！

from bs4 import BeautifulSoup
import urllib2

def make_soup(url):
    page = urllib2.urlopen(url)
    soupdata = BeautifulSoup(page, 'lxml')
    return soupdata

def get_player_totals():
    soup = make_soup("http://www.pro-football-reference.com/years/2015/")

    tableStats = soup.find('table', {'id':'team_stats'})

    return tableStats

print get_player_totals()

编辑：

谢谢各位的帮助.以下两种解决方案都取得了成功.非常感激！

解决方法:

这里有几点想法：首先,正如评论中所提到的,acutal表已被注释掉,并且本身不是DOM的一部分(无法通过解析器adhoc访问).
在这种情况下,您可以循环查找找到的注释并尝试通过正则表达式获取信息(尽管这已经过大量讨论,并且在Stackoverflow,see here for more information上大多不受欢迎).最后,但并非最不重要的,我会推荐requests而不是urllib2.

话虽这么说,这是一个工作代码示例：

from bs4 import BeautifulSoup, Comment
import requests, re

def make_soup(url):
    r = requests.get(url)
    soupdata = BeautifulSoup(r.text, 'lxml')
    return soupdata

soup = make_soup("http://www.pro-football-reference.com/years/2015/")

# get the comments
comments = soup.findAll(text=lambda text:isinstance(text, Comment))

# look for table with the id "team_stats"
rx = re.compile(r'<table.+?id="team_stats".+?>[\s\S]+?</table>')
for comment in comments:
    try:
        table = rx.search(comment.string).group(0)
        print(table)
        # break the loop if found
        break
    except:
        pass

总是喜欢解析器解决方案,特别是正则表达式部分非常容易出错.

内容总结

以上是互联网集市为您收集整理的python – BeautifulSoup webscraper问题：找不到某些div / table全部内容，希望文章能够帮你解决python – BeautifulSoup webscraper问题：找不到某些div / table所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端