Java网络爬虫怎么实现？
作者&投稿：福些 （若有异议请与网页底部的电邮联系）
网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。\x0d\x0a 传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件。对于垂直搜索来说，聚焦爬虫，即有针对性地爬取特定主题网页的爬虫，更为适合。\x0d\x0a\x0d\x0a 以下是一个使用java实现的简单爬虫核心代码： \x0d\x0apublic void crawl() throws Throwable { \x0d\x0a while (continueCrawling()) { \x0d\x0a CrawlerUrl url = getNextUrl(); //获取待爬取队列中的下一个URL \x0d\x0a if (url != null) { \x0d\x0a printCrawlInfo(); \x0d\x0a String content = getContent(url); //获取URL的文本信息 \x0d\x0a \x0d\x0a //聚焦爬虫只爬取与主题内容相关的网页，这里采用正则匹配简单处理 \x0d\x0a if (isContentRelevant(content, this.regexpSearchPattern)) { \x0d\x0a saveContent(url, content); //保存网页至本地 \x0d\x0a \x0d\x0a //获取网页内容中的链接，并放入待爬取队列中 \x0d\x0a Collection urlStrings = extractUrls(content, url); \x0d\x0a addUrlsToUrlQueue(url, urlStrings); \x0d\x0a } else { \x0d\x0a System.out.println(url + " is not relevant ignoring ..."); \x0d\x0a } \x0d\x0a \x0d\x0a //延时防止被对方屏蔽 \x0d\x0a Thread.sleep(this.delayBetweenUrls); \x0d\x0a } \x0d\x0a } \x0d\x0a closeOutputStream(); \x0d\x0a}\x0d\x0aprivate CrawlerUrl getNextUrl() throws Throwable { \x0d\x0a CrawlerUrl nextUrl = null; \x0d\x0a while ((nextUrl == null) && (!urlQueue.isEmpty())) { \x0d\x0a CrawlerUrl crawlerUrl = this.urlQueue.remove(); \x0d\x0a //doWeHavePermissionToVisit：是否有权限访问该URL，友好的爬虫会根据网站提供的"Robot.txt"中配置的规则进行爬取 \x0d\x0a //isUrlAlreadyVisited：URL是否访问过，大型的搜索引擎往往采用BloomFilter进行排重，这里简单使用HashMap \x0d\x0a //isDepthAcceptable：是否达到指定的深度上限。爬虫一般采取广度优先的方式。一些网站会构建爬虫陷阱（自动生成一些无效链接使爬虫陷入死循环），采用深度限制加以避免 \x0d\x0a if (doWeHavePermissionToVisit(crawlerUrl) \x0d\x0a && (!isUrlAlreadyVisited(crawlerUrl)) \x0d\x0a && isDepthAcceptable(crawlerUrl)) { \x0d\x0a nextUrl = crawlerUrl; \x0d\x0a // System.out.println("Next url to be visited is " + nextUrl); \x0d\x0a } \x0d\x0a } \x0d\x0a return nextUrl; \x0d\x0a}\x0d\x0aprivate String getContent(CrawlerUrl url) throws Throwable { \x0d\x0a //HttpClient4.1的调用与之前的方式不同 \x0d\x0a HttpClient client = new DefaultHttpClient(); \x0d\x0a HttpGet httpGet = new HttpGet(url.getUrlString()); \x0d\x0a StringBuffer strBuf = new StringBuffer(); \x0d\x0a HttpResponse response = client.execute(httpGet); \x0d\x0a if (HttpStatus.SC_OK == response.getStatusLine().getStatusCode()) { \x0d\x0a HttpEntity entity = response.getEntity(); \x0d\x0a if (entity != null) { \x0d\x0a BufferedReader reader = new BufferedReader( \x0d\x0a new InputStreamReader(entity.getContent(), "UTF-8")); \x0d\x0a String line = null; \x0d\x0a if (entity.getContentLength() > 0) { \x0d\x0a strBuf = new StringBuffer((int) entity.getContentLength()); \x0d\x0a while ((line = reader.readLine()) != null) { \x0d\x0a strBuf.append(line); \x0d\x0a } \x0d\x0a } \x0d\x0a } \x0d\x0a if (entity != null) { \x0d\x0a nsumeContent(); \x0d\x0a } \x0d\x0a } \x0d\x0a //将url标记为已访问 \x0d\x0a markUrlAsVisited(url); \x0d\x0a return strBuf.toString(); \x0d\x0a}\x0d\x0apublic static boolean isContentRelevant(String content, \x0d\x0aPattern regexpPattern) { \x0d\x0a boolean retValue = false; \x0d\x0a if (content != null) { \x0d\x0a //是否符合正则表达式的条件 \x0d\x0a Matcher m = regexpPattern.matcher(content.toLowerCase()); \x0d\x0a retValue = m.find(); \x0d\x0a } \x0d\x0a return retValue; \x0d\x0a}\x0d\x0apublic List extractUrls(String text, CrawlerUrl crawlerUrl) { \x0d\x0a Map urlMap = new HashMap(); \x0d\x0a extractHttpUrls(urlMap, text); \x0d\x0a extractRelativeUrls(urlMap, text, crawlerUrl); \x0d\x0a return new ArrayList(urlMap.keySet()); \x0d\x0a} \x0d\x0aprivate void extractHttpUrls(Map urlMap, String text) { \x0d\x0a Matcher m = (text); \x0d\x0a while (m.find()) { \x0d\x0a String url = m.group(); \x0d\x0a String[] terms = url.split("a href=\""); \x0d\x0a for (String term : terms) { \x0d\x0a // System.out.println("Term = " + term); \x0d\x0a if (term.startsWith("http")) { \x0d\x0a int index = term.indexOf("\""); \x0d\x0a if (index > 0) { \x0d\x0a term = term.substring(0, index); \x0d\x0a } \x0d\x0a urlMap.put(term, term); \x0d\x0a System.out.println("Hyperlink: " + term); \x0d\x0a } \x0d\x0a } \x0d\x0a } \x0d\x0a} \x0d\x0aprivate void extractRelativeUrls(Map urlMap, String text, \x0d\x0a CrawlerUrl crawlerUrl) { \x0d\x0a Matcher m = relativeRegexp.matcher(text); \x0d\x0a URL textURL = crawlerUrl.getURL(); \x0d\x0a String host = textURL.getHost(); \x0d\x0a while (m.find()) { \x0d\x0a String url = m.group(); \x0d\x0a String[] terms = url.split("a href=\""); \x0d\x0a for (String term : terms) { \x0d\x0a if (term.startsWith("/")) { \x0d\x0a int index = term.indexOf("\""); \x0d\x0a if (index > 0) { \x0d\x0a term = term.substring(0, index); \x0d\x0a } \x0d\x0a String s = //" + host + term; \x0d\x0a urlMap.put(s, s); \x0d\x0a System.out.println("Relative url: " + s); \x0d\x0a } \x0d\x0a } \x0d\x0a } \x0d\x0a \x0d\x0a}\x0d\x0apublic static void main(String[] args) { \x0d\x0a try { \x0d\x0a String url = ""; \x0d\x0a Queue urlQueue = new LinkedList(); \x0d\x0a String regexp = "java"; \x0d\x0a urlQueue.add(new CrawlerUrl(url, 0)); \x0d\x0a NaiveCrawler crawler = new NaiveCrawler(urlQueue, 100, 5, 1000L, \x0d\x0a regexp); \x0d\x0a // boolean allowCrawl = crawler.areWeAllowedToVisit(url); \x0d\x0a // System.out.println("Allowed to crawl: " + url + " " + \x0d\x0a // allowCrawl); \x0d\x0a crawler.crawl(); \x0d\x0a } catch (Throwable t) { \x0d\x0a System.out.println(t.toString()); \x0d\x0a t.printStackTrace(); \x0d\x0a } \x0d\x0a}
Java和Python哪个更有用?
Java：高度面向对象的高级编程语言 设计初衷是“写一次代码，在哪里都可以用”，可以完成任何规模的任务，所以它也是很多公司在做商业级项目的时候的普遍选择。Python：拥有简洁语法的高级编程语言 设计初衷是“让代码读起来更轻松”，并且让程序员们比起用其他语言，可以写更少的代码，事半功倍。再来正视...
众多编程语言中,Java的发展是不是最好的
3、岗位性质重要 软件是电子载体的灵魂，也是游戏开发、网页开发等的核心技术，因此学员毕业后可以从事的是这些行业的关键性岗位。4、高薪职位 市场经济高速发展的今天，Java编程语言以其强大的发展势头，成为目前很吃香的行业之一，诸如软件工程师、网络工程师、影视动画设计师等Java开发人也将成为职场紧缺人...
零基础学java好还是python好?
1、入门难度：Python小于Java。Python的语法简洁清晰，语法接近英语，Python简单的语法和少到可以忽略不计的语法糖可已让初学者专注于思考要做的事情，而不需要在过程上大费周章。开发环境简单，能打字就能写代码，适合新手入门学习。Java语法需要较好的逻辑思维能力，Java基础语法需要学习的东西也比较多，如...
提高Web前端性能的技巧有哪些?
HTML很容易被网络爬虫识别,因此搜索引擎可以根据网站的内容在一定程度上实时更新。在写HTML的时候,你应该尝试让它简洁而有效。此外,在HTML文档中引用外部资源的时候也需要遵循一些最佳实践方法。恰当放置CSSWeb设计者喜欢在网页建立起主要的HTML骨架之后再来创建样式表。这样一来,网页中的样式表往往会放在HTML的后面,接近...
JAVA培训内容有哪些?
对于初学者来说，只要在学习过程中，掌握科学的学习方法，即使零基础的入行者也能充分掌握Java开发技术，那究竟如何才能学习Java呢?第一阶段：企业入门级项目阶段，可掌握Java核心基础、面向对象、JavaSE API、MySQL数据库、JDBS、HTML+CSS、Servlet、JSP、JavaScript等，可以完成常见中小型互联网项目开发，...
恐龙类别
解释一:网络上经常把像貌不好的女孩子叫“恐龙”。 解释二:中生代的一种生物。详细说明如下 恐龙…是出现于二亿四千五百万年前,并繁荣于六千五百万年前结束之中生代的爬虫类。恐龙在某一时期突然消失,成为地球生物进化史上的一个谜,这个迷至今仍无人能解。地球过去的生物,均被记录在化石之中。中生代的地层中,...
flash怎么制作轮播图片素材flash怎么制作轮播图片素材视频
9.珠峰爬虫(cheerio+request+mysql) ●1.发出HTTP请求获取指定URL中的内容 ●2.使用cheerio的语法操作网页元素,提取需要的元素 ●3.将数据保存到mysql数据库中 ●4.建立web服务器显示这些数据 ●5.使用计划任务自动执行更新任务 ●6.布署项目到阿里云中并配置反向代理 10.Redis ●1.Redis安装和使用 ●2.5种数据结...
恐龙的有关知识
大型爬虫类恐龙即出现于中生代早期。草食性的梁龙和雷龙,是最大的陆栖动物。霸王龙是肉食性恐龙。另有生活在海中的鱼龙及生活于空中的翼龙等。 爬虫类在地球上繁荣了约1亿5千万年左右。这个时代的动物中,最为大家所熟知的就是恐龙。人们一提到恐龙,眼前就会浮现出一只巨大而凶暴的动物,其实恐龙中亦有小巧且温驯...
python现在就业行情怎么样?
2、就业方向广 Python强大之处就是应用比较广泛，广泛应用于：Web应用开发、图形界面开发、系统网络运维、网络编程、科学与数字计算、3D游戏开发等，其应用领域足以说明Python很牛，不得不让人感到它的强大。从事Python开发，工作机会和工作岗位及工作内容可选择的余地很多，未来发展的空间也很大。3、人才需求...
关于恐龙的资料,世界上有多少恐龙。
其共同相似之处是:所有的恐龙,脑子都很小,蛋下在陆地上(所有的爬虫类都是如此)。 (1)雷龙: 有些恐龙的身躯十分庞大,像雷龙就是一个例子。在侏罗纪时,地球上的气候温暖而潮湿,到处都有青葱的森林,因为这些丰富的植物性食物,带来了草食性恐龙的繁荣,雷龙在这个时后也活跃于现在北美洲的平原上。 雷龙的体重约在...
锁竿曲克： 复杂的方法就是自己用java的相关类来模拟浏览器下载网页页面,然后使用DOM等技术从下载的网页中获取自己需要的内容.不过强烈建议你使用HttpClient和HttpParse框架来方便地实现网络爬虫功能.其中HttpClient框架主要实现从WEB服务器下载网页数据,功能极其强大.而HttpParse框架则是从网页文件中获取不同标签的内容,功能也很强大,而且使用十分方便,强烈推荐.
东宝区19436956939： 哪位朋友知道用java如何实现网络爬虫和搜索引擎的技术,说说原理最好附带代码 十分感谢 好的话可以追加分 - ？
锁竿曲克： heritrix抓取网页 网页解析的有很多就不说了,不过最好自己写 lucene索引 首先爬虫是需要一个处理器链的,网页的抓取并非几十行代码就能实现的,因为有很多问题出 现.1.获取网页:判断网页编码,计算网页正文位置,获取页面内url(url的过滤...
东宝区19436956939： java要写个网络爬虫 求思路 谢谢 - ？
锁竿曲克： 没必要,做线程.做线程的思想是为了让你 支持多个页面一起爬,单独的HTTP 请求就可以,其实HTTP,你请求了,它就会把页面给你,然后你用IO流读取下来,然后用正则 或者 replace 获取到自己 用的代码就 OK 了
东宝区19436956939： 如何使用Java语言实现一个网页爬虫 - ？
锁竿曲克： Java开源Web爬虫 Heritrix Heritrix是一个开源,可扩展的web爬虫项目.Heritrix设计成严格按照robots.txt文件的排除指示和META robots标签.更多Heritrix信息 WebSPHINX WebSPHINX是一个Java类包和Web爬虫的交互式开发环境.Web爬虫...
东宝区19436956939： 如何用Java写一个爬虫 - ？
锁竿曲克： import java.io.File; import java.net.URL; import java.net.URLConnection; import java.nio.file.Files; import java.nio.file.Paths; import java.util.Scanner; import java.util.UUID; import java.util.regex.Matcher; import java.util.regex.Pattern; public class ...
东宝区19436956939： 用java编写 网络爬虫求代码和流程 急 - ？
锁竿曲克： import java.awt.*; import java.awt.event.*; import java.io.*; import java.net.*; import java.util.*; import java.util.regex.*; import javax.swing.*; import javax.swing.table.*;//一个Web的爬行者(注:爬行在这里的意思与抓取,捕获相同) public class ...
东宝区19436956939： 如何使用java写一个轻量的爬取动态内容 的爬虫 - ？
锁竿曲克： 最近刚好在学这个,对于一些第三方工具类或者库,一定要看官方tutorial埃 学会用chrome network 分析请求,或者fiddler抓包分析. 普通的网页直接用httpclient封装的API就可以获取网页HTML了,然后 JSoup、正则 提取内容.
东宝区19436956939： 如何用java实现网络爬虫抓取页面内容 - ？
锁竿曲克： 通过类 访问你所拥有的网址 用流获得网页内容 然后 你用正则表达式获取 你所要的内容 分页 那 你把分页的url抓出来 重复前面的工作
东宝区19436956939： java爬虫抓取数据 - ？
锁竿曲克： 一般爬虫都不会抓登录以后的页面, 如果你只是临时抓某个站,可以模拟登录,然后拿到登录以后的Cookies,再去请求相关的页面.
东宝区19436956939： 用java写一个新浪微博的爬虫 - ？
锁竿曲克： 以一个用户uid为种子,可以写四个不同的子爬虫,每个子爬虫的传入数据为由uid拼接出的“用户主页”,“用户粉丝页”,“用户关注者页”,“用户发表微博页”,这几个字爬虫都可以控制爬取的页数,一般新浪只让爬取粉丝页和关注者页的前...
