博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
web crawling(plus6) more than one line
阅读量:6689 次
发布时间:2019-06-25

本文共 1751 字,大约阅读时间需要 5 分钟。

#Author:Mini #!/usr/bin/env python import urllib.request import re import urllib.error import threading headers=("User-Agent","Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.90 Safari/537.36") opener=urllib.request.build_opener() opener.addheaders=[headers] urllib.request.install_opener(opener) try:  class A(threading.Thread):     def __init__(self):       threading.Thread.__init__(self)     def run(self):         for i in range (1,10,2):             print("line A!")             url= "https://www.qiushibaike.com/hot/page/" + str(i) + "/"             pagedata = urllib.request.urlopen(url).read().decode("utf-8","ignore")             pat = '
(.*?)' datalist = re.compile(pat, re.S).findall(pagedata) for j in range(0, len(datalist)): print(str(i) + "." + str(j) + "content:") print(datalist[j]) class B (threading.Thread): def __init__(self): threading.Thread.__init__(self) def run(self): for i in range(0,10,2): print("line B!") url="https://www.qiushibaike.com/hot/page/" + str(i) + "/" pagedata = urllib.request.urlopen(url) pagedata=pagedata.read().decode("utf-8","ignore") pat = '
(.*?)' datalist = re.compile(pat, re.S).findall(pagedata) for j in range(0, len(datalist)): print(str(i) + "." + str(j) + "content:") print(datalist[j]) t1=A() t1.start() t2=B() t2.start() except urllib.error.URLError as e: if hasattr(e, "code"): print(e.code) if hasattr(e, "reason"): print(e.reason)

转载于:https://www.cnblogs.com/rabbittail/p/7631942.html

你可能感兴趣的文章
476-数字的补数
查看>>
七牛云赵之健:多维度融合赋能视频 AI 的实践
查看>>
Android 9 Pie震撼来袭 同步登陆WeTest
查看>>
vue+element Form键盘回车事件页面刷新解决
查看>>
CSS3中的box-sizing
查看>>
gracehttp: 优雅重启 Go 程序(热启动 - Zero Downtime)
查看>>
vue-cli中配置全局sass变量
查看>>
云计算新风向:多云战略优化企业云支出
查看>>
gweb总结之router
查看>>
【跃迁之路】【478天】刻意练习系列237(2018.05.29)
查看>>
Windows改Linux(一),新建Ubuntu虚拟机小白向导
查看>>
HTML5调用手机前置摄像头或后置摄像头拍照,canvas显示,经过Android测试
查看>>
如何做好 Android 端音视频测试?
查看>>
element 源码学习(番外篇) —— SASS五分钟快速入门
查看>>
五个非常实用的机器学习资源
查看>>
关于一个插图的翻译
查看>>
Spring Cloud构建微服务架构:分布式服务跟踪(入门)【Dalston版】
查看>>
spring 5 webclient使用指南
查看>>
【355天】跃迁之路——程序员高效学习方法论探索系列(实验阶段113-2018.01.26)...
查看>>
阿里云即将全球首发云骨干网
查看>>