首页 / 爬虫 / python网络爬虫作业

python网络爬虫作业

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了python网络爬虫作业，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含965字，纯文字阅读大概需要2分钟。

内容图文

第一部分：

 
请分析作业页面，爬取已提交作业信息，并生成已提交作业名单，保存为英文逗号分隔的csv文件。文件名为：hwlist.csv 。
 
文件内容范例如下形式：
 
学号,姓名,作业标题,作业提交时间,作业URL
20194010101,张三,羊车门作业,2018-11-13 23:47:36.8,http://www.cnblogs.com/sninius/p/12345678.html
20194010102,李四,羊车门,2018-11-14 9:38:27.03,http://www.cnblogs.com/sninius/p/87654321.html
 
*注1：如制作定期爬去作业爬虫，请注意爬取频次不易太过密集；
*注2：本部分作业用到部分库如下所示：
（1）requests —— 第3方库
（2）json    —— 内置库
 
源代码
                import
                 requests

                import
                 json
url="https://edu.cnblogs.com/Homework/GetAnswers?homeworkId=2420&_=1543656520026"def getHTMLText(url):
    try:
        r=requests.get(url,timeout=30)
        r.raise_for_status() #如果状态不是200，引发异常
        r.encoding=‘utf-8‘#无论原来什么编码都改成utf-8
        datas=json.loads(r.text)[‘data‘]
    except:
        print(‘error‘)
    else:
        result=""for item in datas:
            result += str(item[‘StudentNo‘])+‘,‘+item[‘RealName‘]+‘,‘+item[‘DateAdded‘].replace(‘T‘,‘‘)+‘,‘+item[‘Title‘]+‘,‘+item[‘Url‘]+‘\n‘
        f=open(‘D:\hwlist.csv‘,‘w‘)
        f.write(result)
        f.close()

结果

技术分享图片

原文：https://www.cnblogs.com/wendy-onlooker/p/10050812.html

内容总结

以上是互联网集市为您收集整理的python网络爬虫作业全部内容，希望文章能够帮你解决python网络爬虫作业所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1190854.html

来源：【匿名】