谁用过python中的re来抓取网页，能否给个例子，谢谢

能否通过PYTHON 抓取网页上由JS生成的URL？~

最狠毒的方法是写一个js解释器，然后先把抓下来的页面送到js解释器，生成静态页面然后就可以了，你可以在google code上搜索一下

# -*- coding:utf-8 -*-import urllibimport re# 使用正则表达式限定抓取的网页地址regex = r'(.+?) 'pat = re.compile(regex)for page in Sub_pages: content = urllib.urlopen(page).read() info = re.findall(pat,content) print '
'.join(info)#改成这样试试

这是我写的一个非常简单的抓取页面的脚本，作用为获得指定URL的所有链接地址并获取所有链接的标题。

===========geturls.py================
#coding:utf-8
import urllib
import urlparse
import re
import socket
import threading

#定义链接正则
urlre = re.compile(r"href=[\"']?([^ >\"']+)")
titlere = re.compile(r"<title>(.*?)</title>",re.I)

#设置超时时间为10秒
timeout = 10
socket.setdefaulttimeout(timeout)

#定义最高线程数
max = 10
#定义当前线程数
current = 0

def gettitle(url):
global current
try:
content = urllib.urlopen(url).read()
except:
current -= 1
return
if titlere.search(content):
title = titlere.search(content).group(1)
try:
title = title.decode('gbk').encode('utf-8')
except:
title = title
else:
title = "无标题"
print "%s: %s" % (url,title)
current -= 1
return

def geturls(url):
global current,max
ts = []
content = urllib.urlopen(url)
#使用set去重
result = set()
for eachline in content:
if urlre.findall(eachline):
temp = urlre.findall(eachline)
for x in temp:
#如果为站内链接，前面加上url
if not x.startswith("http:"):
x = urlparse.urljoin(url,x)
#不记录js和css文件
if not x.endswith(".js") and not x.endswith(".css"):
result.add(x)
threads = []
for url in result:
t = threading.Thread(target=gettitle,args=(url,))
threads.append(t)
i = 0
while i < len(threads):
if current < max:
threads[i].start()
i += 1
current += 1
else:
pass

geturls("http://www.baidu.com")

使用正则表达式（re）只能做到一些比较简单或者机械的功能，如果需要更强大的网页分析功能，请尝试一下beautiful soup或者pyquery,希望能帮到你

urllib2抓取

re是不能抓去网页的
要抓取网页得用urllib,或者httplib
re是正则表达式，是分析要抓取的内容的模块！
很简单的！看看书吧！
或者假我：qq175662137

---

兴庆区19272645678： 如何用 python 爬取简单网页 - ？
东荣盖洛： 测试环境:Windows10+Python3.5.2 打开命令提示符(管理员),输入pip3 install requests安装requests模块import requests,re #获取网页 r = requests.get('http://www.bilibili.com') #正则表达式获取标题 res = re.search(r'<title>([^<]*)</title>',r.text) print(res.group(1)) >>>哔哩哔哩弹幕视频网 - ( ゜- ゜)つロ 乾杯~ - bilibili

兴庆区19272645678： Python中怎样获取一网页上的内容?我想通过python读取网页上的各个不同的单词和分别出现的次数 - ？
东荣盖洛： 你好 首先,浏览器显示给用户的内容完全是根据html源码来的、所以,你想获取的一切浏览器显示的内容,都是在html文件中存在的内容 统计页面上的单词,必然是要读html源文件的 可以使用urllib2库,以及re库来进行匹配查找,代码如下: ...

兴庆区19272645678： 怎样用python爬取网页 - ？
东荣盖洛： # coding=utf-8 import urllib import re# 百度贴吧网址:https://tieba.baidu.com/index.html # 根据URL获取网页HTML内容 def getHtmlContent(url):page = urllib.urlopen(url)return page.read()# 从HTML中解析出所有jpg的图片的URL # 从HTML中...

兴庆区19272645678： python用re.findall获取网页全部符合要求的元素 - ？
东荣盖洛： 关键在于查找时间的正则表达式,也就是程序中reg变量的字符串,你可以去了解一下 import re s = ＂＂＂<a class=＂time＂ target=＂_blank＂ href=＂＂>昨天 00:26</a> <a class=＂time＂ target=＂_blank＂ href=＂＂>今天 00:26</a>＂＂＂...

兴庆区19272645678： python使用哪个模块能够解析网页获得DOM树结构 - ？
东荣盖洛： 三种方法:1. 正则表达式,python中re模块,python自带;2. pyquery,需另外安装;3. beautifulsoup,需另外安装.具体使用上,对于比较复杂的获取,后两者操作更方便,前者效率更高.

兴庆区19272645678： Python 正则匹配抓取到的网页超链接怎么URLopen - ？
东荣盖洛： re.findall返回的是列表,遍历列表将其值做为参数传入urlopen即可,类似于下面这样 for url in re.findall(XXXXXX):print urlopen(url).read()

兴庆区19272645678： python 怎样爬去网页的内容 - ？
东荣盖洛： 用python爬取网页信息的话,需要学习几个模块,urllib,urllib2,urllib3,requests,httplib等等模块,还要学习re模块(也就是正则表达式).根据不同的场景使用不同的模块来高效快速的解决问题.最开始我建议你还是从最简单的urllib模块学起,比如...

兴庆区19272645678： python 怎么抓取一个无论怎么跳转其url都不变的网页 - ？
东荣盖洛： 你拿到这个页面地址后,然后把这个地址中的id解析出来,这个id就是productId,然后就是根据那个接口一页一页的扫描了,页面结构可能会变,但是接口一般不会经常变

兴庆区19272645678： python如何抓取网页源代码中的字符串 - ？
东荣盖洛： 使用正则匹配,列:123456 importrequests importre req =requests.get(url) r =re.findall('<script src=＂(.*?)＂></script>', req.text) # (.*?) 非贪zhi婪匹配 print(r) 自己网上找找python正则方面的知识

兴庆区19272645678： python获取网页信息 - ？
东荣盖洛： 首先你这个代码在我这里运行是ok的.Expires: Tue, 27 Jan 2015 03:56:41 GMT Date: Tue, 27 Jan 2015 03:55:21 GMT Server: nginx Content-Type: text/html; charset=GBK Vary: Accept-Encoding,User-Agent,Accept Cache-Control: max-age=80 ...