java 网络爬虫怎么实现

作者&投稿：冻变（若有异议请与网页底部的电邮联系）

Java网络爬虫怎么实现？~

　　网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。
　　传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件。对于垂直搜索来说，聚焦爬虫，即有针对性地爬取特定主题网页的爬虫，更为适合。

　　以下是一个使用java实现的简单爬虫核心代码：　　
public void crawl() throws Throwable {
while (continueCrawling()) {
CrawlerUrl url = getNextUrl(); //获取待爬取队列中的下一个URL
if (url != null) {
printCrawlInfo();
String content = getContent(url); //获取URL的文本信息

//聚焦爬虫只爬取与主题内容相关的网页，这里采用正则匹配简单处理
if (isContentRelevant(content, this.regexpSearchPattern)) {
saveContent(url, content); //保存网页至本地

//获取网页内容中的链接，并放入待爬取队列中
Collection urlStrings = extractUrls(content, url);
addUrlsToUrlQueue(url, urlStrings);
} else {
System.out.println(url + " is not relevant ignoring ...");
}

//延时防止被对方屏蔽
Thread.sleep(this.delayBetweenUrls);
}
}
closeOutputStream();
}
private CrawlerUrl getNextUrl() throws Throwable {
CrawlerUrl nextUrl = null;
while ((nextUrl == null) && (!urlQueue.isEmpty())) {
CrawlerUrl crawlerUrl = this.urlQueue.remove();
//doWeHavePermissionToVisit：是否有权限访问该URL，友好的爬虫会根据网站提供的"Robot.txt"中配置的规则进行爬取
//isUrlAlreadyVisited：URL是否访问过，大型的搜索引擎往往采用BloomFilter进行排重，这里简单使用HashMap
//isDepthAcceptable：是否达到指定的深度上限。爬虫一般采取广度优先的方式。一些网站会构建爬虫陷阱（自动生成一些无效链接使爬虫陷入死循环），采用深度限制加以避免
if (doWeHavePermissionToVisit(crawlerUrl)
&& (!isUrlAlreadyVisited(crawlerUrl))
&& isDepthAcceptable(crawlerUrl)) {
nextUrl = crawlerUrl;
// System.out.println("Next url to be visited is " + nextUrl);
}
}
return nextUrl;
}
private String getContent(CrawlerUrl url) throws Throwable {
//HttpClient4.1的调用与之前的方式不同
HttpClient client = new DefaultHttpClient();
HttpGet httpGet = new HttpGet(url.getUrlString());
StringBuffer strBuf = new StringBuffer();
HttpResponse response = client.execute(httpGet);
if (HttpStatus.SC_OK == response.getStatusLine().getStatusCode()) {
HttpEntity entity = response.getEntity();
if (entity != null) {
BufferedReader reader = new BufferedReader(
new InputStreamReader(entity.getContent(), "UTF-8"));
String line = null;
if (entity.getContentLength() > 0) {
strBuf = new StringBuffer((int) entity.getContentLength());
while ((line = reader.readLine()) != null) {
strBuf.append(line);
}
}
}
if (entity != null) {
nsumeContent();
}
}
//将url标记为已访问
markUrlAsVisited(url);
return strBuf.toString();
}
public static boolean isContentRelevant(String content,
Pattern regexpPattern) {
boolean retValue = false;
if (content != null) {
//是否符合正则表达式的条件
Matcher m = regexpPattern.matcher(content.toLowerCase());
retValue = m.find();
}
return retValue;
}
public List extractUrls(String text, CrawlerUrl crawlerUrl) {
Map urlMap = new HashMap();
extractHttpUrls(urlMap, text);
extractRelativeUrls(urlMap, text, crawlerUrl);
return new ArrayList(urlMap.keySet());
}
private void extractHttpUrls(Map urlMap, String text) {
Matcher m = (text);
while (m.find()) {
String url = m.group();
String[] terms = url.split("a href=\"");
for (String term : terms) {
// System.out.println("Term = " + term);
if (term.startsWith("http")) {
int index = term.indexOf("\"");
if (index > 0) {
term = term.substring(0, index);
}
urlMap.put(term, term);
System.out.println("Hyperlink: " + term);
}
}
}
}
private void extractRelativeUrls(Map urlMap, String text,
CrawlerUrl crawlerUrl) {
Matcher m = relativeRegexp.matcher(text);
URL textURL = crawlerUrl.getURL();
String host = textURL.getHost();
while (m.find()) {
String url = m.group();
String[] terms = url.split("a href=\"");
for (String term : terms) {
if (term.startsWith("/")) {
int index = term.indexOf("\"");
if (index > 0) {
term = term.substring(0, index);
}
String s = //" + host + term;
urlMap.put(s, s);
System.out.println("Relative url: " + s);
}
}
}

}
public static void main(String[] args) {
try {
String url = "";
Queue urlQueue = new LinkedList();
String regexp = "java";
urlQueue.add(new CrawlerUrl(url, 0));
NaiveCrawler crawler = new NaiveCrawler(urlQueue, 100, 5, 1000L,
regexp);
// boolean allowCrawl = crawler.areWeAllowedToVisit(url);
// System.out.println("Allowed to crawl: " + url + " " +
// allowCrawl);
crawler.crawl();
} catch (Throwable t) {
System.out.println(t.toString());
t.printStackTrace();
}
}

1、在打开的ie浏览器窗口右上方点击齿轮图标，选择“Internet选项”，如下图所示：

2、在打开的Internet选项窗口中，切换到安全栏，在安全选卡中点击“自定义级别”，如下图所示：

3、在“安全设置-Internet 区域”界面找到“Java 小程序脚本”、“活动脚本”，并将这两个选项都选择为“禁用”，然后点击确定,如下图所示：

代码如下:

package webspider;
import 
java.util.HashSet;
import java.util.PriorityQueue;
import 
java.util.Set;
import java.util.Queue;

public class LinkQueue {
 // 已访问的 url 集合
 private static Set visitedUrl 
= new HashSet();
 // 待访问的 url 集合
 private static Queue unVisitedUrl = new 
PriorityQueue();
 // 获得URL队列
 public static Queue getUnVisitedUrl() {
  return 
unVisitedUrl;
 }
 // 添加到访问过的URL队列中
 public static void addVisitedUrl(String url) 
{
  visitedUrl.add(url);
 }
 // 移除访问过的URL
 public static void removeVisitedUrl(String url) 
{
  visitedUrl.remove(url);
 }
 // 未访问的URL出队列
 public static Object unVisitedUrlDeQueue() {
  return 
unVisitedUrl.poll();
 }
 // 保证每个 url 只被访问一次
 public static void addUnvisitedUrl(String url) 
{
  if (url != null && !url.trim().equals("") && 
!visitedUrl.contains(url)
    && 
!unVisitedUrl.contains(url))
   unVisitedUrl.add(url);
 }
 // 获得已经访问的URL数目
 public static int getVisitedUrlNum() {
  return 
visitedUrl.size();
 }
 // 判断未访问的URL队列中是否为空
 public static boolean unVisitedUrlsEmpty() 
{
  return unVisitedUrl.isEmpty();
 }
}

　　鉴于网络爬虫的实现的复杂性我的确没有什么发言权，不过可以推荐两本书。
　　一本是罗刚写的《自己动手写搜索引擎》，另一本是罗刚和王振东合著的《自己动手写网络爬虫》。
　　另外Apache下有一个开源的搜索引擎项目Nutch，Nutch是一个用java实现的网络爬虫，你如果真的感兴趣可以看一下的源代码。

<meta content="all" name="robots" />

桓台县19590753152： 求java实现网络爬虫的原理(源代码更好) - ？
丑玲莲芪： 复杂的方法就是自己用java的相关类来模拟浏览器下载网页页面,然后使用DOM等技术从下载的网页中获取自己需要的内容.不过强烈建议你使用HttpClient和HttpParse框架来方便地实现网络爬虫功能.其中HttpClient框架主要实现从WEB服务器下载网页数据,功能极其强大.而HttpParse框架则是从网页文件中获取不同标签的内容,功能也很强大,而且使用十分方便,强烈推荐.

桓台县19590753152： 哪位朋友知道用java如何实现网络爬虫和搜索引擎的技术,说说原理最好附带代码十分感谢好的话可以追加分 - ？
丑玲莲芪： heritrix抓取网页网页解析的有很多就不说了,不过最好自己写 lucene索引首先爬虫是需要一个处理器链的,网页的抓取并非几十行代码就能实现的,因为有很多问题出现.1.获取网页:判断网页编码,计算网页正文位置,获取页面内url(url的过滤...

桓台县19590753152： java要写个网络爬虫求思路谢谢 - ？
丑玲莲芪： 没必要,做线程.做线程的思想是为了让你支持多个页面一起爬,单独的HTTP 请求就可以,其实HTTP,你请求了,它就会把页面给你,然后你用IO流读取下来,然后用正则或者 replace 获取到自己用的代码就 OK 了

桓台县19590753152： 如何用Java写一个爬虫 - ？
丑玲莲芪： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39import java.io.File; import java.net.URL; import java.net.URLConnection; import java.nio.file.Files; import java.nio.file.Paths; import java....

桓台县19590753152： 如何使用Java语言实现一个网页爬虫 - ？
丑玲莲芪： Java开源Web爬虫 Heritrix Heritrix是一个开源,可扩展的web爬虫项目.Heritrix设计成严格按照robots.txt文件的排除指示和META robots标签.更多Heritrix信息 WebSPHINX WebSPHINX是一个Java类包和Web爬虫的交互式开发环境.Web爬虫...

桓台县19590753152： 如何使用java写一个轻量的爬取动态内容的爬虫 - ？
丑玲莲芪： 最近刚好在学这个,对于一些第三方工具类或者库,一定要看官方tutorial埃学会用chrome network 分析请求,或者fiddler抓包分析. 普通的网页直接用httpclient封装的API就可以获取网页HTML了,然后 JSoup、正则提取内容.

桓台县19590753152： 用java编写网络爬虫求代码和流程急 - ？
丑玲莲芪： import java.awt.*; import java.awt.event.*; import java.io.*; import java.net.*; import java.util.*; import java.util.regex.*; import javax.swing.*; import javax.swing.table.*;//一个Web的爬行者(注:爬行在这里的意思与抓取,捕获相同) public class ...

桓台县19590753152： 如何用java实现网络爬虫抓取页面内容 - ？
丑玲莲芪： 通过类访问你所拥有的网址用流获得网页内容然后你用正则表达式获取你所要的内容分页那你把分页的url抓出来重复前面的工作

桓台县19590753152： java爬虫抓取数据 - ？
丑玲莲芪： 一般爬虫都不会抓登录以后的页面, 如果你只是临时抓某个站,可以模拟登录,然后拿到登录以后的Cookies,再去请求相关的页面.

桓台县19590753152： 你好,我有个JAVA的爬虫代码,txt的,但是不知道怎么使用它爬网络上的数据.可不可以指点下? - ？
丑玲莲芪： 你有的是代码(源码)?如果是源码,请把它另存为.java文件,然后使用jdk编译成class文件,然后用java命令执行试试.

你可能想看的相关专题

星空见康网

java 网络爬虫怎么实现

你可能想看的相关专题