java项目，数据量太大，造成项目崩溃，怎么处理啊，给点实在的不要纸上谈兵？

需要处理的数据量太大怎么处理~

解决方案：
1、HTML静态化
效率最高、消耗最小的就是纯静态化的html页面，所以尽可能使网站上的页面采用静态页面来实现，这个最简单的方法其实也是最有效的方法。但是对于大量内容并且频繁更新的网站，无法全部手动去挨个实现，于是出现了常见的信息发布系统CMS，像常访问的各个门户站点的新闻频道，甚至他们的其他频道，都是通过信息发布系统来管理和实现的，信息发布系统可以实现最简单的信息录入自动生成静态页面，还能具备频道管理、权限管理、自动抓取等功能，对于一个大型网站来说，拥有一套高效、可管理的CMS是必不可少的。
2、图片服务器分离
对于Web服务器来说，不管是Apache、IIS还是其他容器，图片是最消耗资源的，于是有必要将图片与页面进行分离，这是基本上大型网站都会采用的策略，他们都有独立的图片服务器，甚至很多台图片服务器。这样的架构可以降低提供页面访问请求的服务器系统压力，并且可以保证系统不会因为图片问题而崩溃，在应用服务器和图片服务器上，可以进行不同的配置优化，比如apache在配置ContentType的时候可以尽量少支持，尽可能少的LoadModule，保证更高的系统消耗和执行效率。 这一实现起来是比较容易的一现，如果服务器集群操作起来更方便，如果是独立的服务器，新手可能出现上传图片只能在服务器本地的情况下，可以在令一台服务器设置的IIS采用网络路径来实现图片服务器，即不用改变程序，又能提高性能，但对于服务器本身的IO处理性能是没有任何的改变。
3、数据库集群和库表散列
大型网站都有复杂的应用，这些应用必须使用数据库，那么在面对大量访问的时候，数据库的瓶颈很快就能显现出来，这时一台数据库将很快无法满足应用，于是需要使用数据库集群或者库表散列。
4、缓存
缓存一词搞技术的都接触过，很多地方用到缓存。网站架构和网站开发中的缓存也是非常重要。架构方面的缓存，对Apache比较熟悉的人都能知道Apache提供了自己的缓存模块，也可以使用外加的Squid模块进行缓存，这两种方式均可以有效的提高Apache的访问响应能力。
网站程序开发方面的缓存，Linux上提供的Memory Cache是常用的缓存接口，可以在web开发中使用，比如用Java开发的时候就可以调用MemoryCache对一些数据进行缓存和通讯共享，一些大型社区使用了这样的架构。另外，在使用web语言开发的时候，各种语言基本都有自己的缓存模块和方法，PHP有Pear的Cache模块，Java就更多了，.net不是很熟悉，相信也肯定有。

JAVA程序员之路

很多网友问我学习Java有没有什么捷径,我说“无他，唯手熟尔”。但是我却很愿意将自己学习的一些经验写出来，以便后来者少走弯路,帮助别人是最大的快乐嘛！
要想学好Java，首先要知道Java的大致分类。我们知道，自从Sun推出Java以来，就力图使之无所不包，所以Java发展到现在，按应用来分主要分为三大块：J2SE,J2ME和J2EE,这也就是Sun ONE(Open Net Environment)体系。J2SE就是Java2的标准版，主要用于桌面应用软件的编程；J2ME主要应用于嵌入是系统开发，如手机和PDA的编程；J2EE是Java2的企业版，主要用于分布式的网络程序的开发，如电子商务网站和ERP系统。J2SE开发桌面应用软件比起VC,VB,DEPHI这些传统开发语言来说，优势好象并不明显。J2ME对于初学者来说，好象又有点深奥，而且一般开发者很难有开发环境。所以现在应用最广泛又最好学的就是J2EE了。J2EE又包括许多组件，如Jsp,Servlet,JavaBean,EJB,JDBC,JavaMail等。要学习起来可不是一两天的事。
那么又该如何学习J2EE呢？当然Java语法得先看一看的，I/O包，Util包，Lang包你都熟悉了吗？然后再从JSP学起。如果你学过HTML，那么事情要好办的多，如果没有，那你快去补一补HTML基础吧。其实JSP中的Java语法也不多，它更象一个脚本语言，有点象ASP。然后你就该学一学Servlet了。Servlet就是服务器端小程序，他负责生成发送给客户端的HTML文件。JSP在执行时，也是先转换成Servlet再运行的。虽说JSP理论上可以完全取代Servlet，这也是SUN推出JSP的本意，可是Servlet用来控制流程跳转还是挺方便的，也令程序更清晰。接下来你应该学习一下Javabean了，可能你早就看不管JSP在HTML中嵌Java代码的混乱方式了，这种方式跟ASP又有什么区别呢？还好，SUN提供了Javabean可以把你的JSP中的Java代码封装起来，便于调用也便于重用。接着就是EJB了，EJB就是Enterprise JavaBean,看名字好象它是Javabean，可是它和Javabean还是有区别的。它是一个体系结构，你可以搭建更安全、更稳定的企业应用。它的大量代码已由中间件（也就是我们常听到的Weblogic,Websphere这些J2EE服务器）完成了，所以我们要做的程序代码量很少，大部分工作都在设计和配置中间件上。至于JDBC，就不用我多说了，你如果用java编过存取数据库的程序，就应该很熟悉。还有，如果你要用Java编发送电子邮件的程序，你就得看看Javamail了。
好了，对Java和J2EE有了一些基本概念之后，你就应该编一些程序了，千万不要纸上谈兵哦。最好找一些有实例且带光盘的书来看，这样看到好的程序就可以直接Ctrl+C再Ctrl+V，也不用劳您老大架再亲自把它再输一遍吧，再说直接复制还不用怕出错，何乐而不为呢！还有就是要经常上一些好的Java编程文章，有好的文章要Cut下来，有问题尽管问，只要问题不是太傻，一般高手都会回答你的。下面介绍几个好的Java方面的编程网站：
CSDN论坛http://www.csdn.net/ 中国最有名的技术论坛，《程序员》杂志就是他们出版的，你可以在上面提出问题，马上就有人回答你，如果你觉得好，你可以给那人加分；
Java研究组http://www.javaresearch.org/ 上面有很多原创文章，高手还是挺多的；
Java开发者http://www.chinajavaworld.com/ 那里Java资料比较全；
java.com.cn http://www.java.com.cn/ 看这域名就知道有多牛，注册用户快接近一万了，同时在线人数也在一千左右，人气很旺的；
IBM的开发者网http://www-900.ibm.com/developerWorks/cn/java/index.shtml IBM永远的蓝色巨人；

那么我书也看了，程序也做了，别人问我的问题我都能解决了，是不是就成为高手了呢？当然没那么简单，这只是万里长征走完了第一步。不信？那你出去接一个项目，你知道怎么下手吗，你知道怎么设计吗，你知道怎么组织人员进行开发吗？你现在脑子里除了一些散乱的代码之外，可能再没有别的东西了吧！你现在最缺的是实际的工作经验，而不是书本上那些凭空想出来的程序。所以你快去找一份Java的编程工作来做吧（如果是在校学生可以去做兼职啊），在实践中提高自己，那才是最快的。不过你得祈祷在公司里碰到一个高手，而且他还愿意不厌其烦地教你，这样好象有点难哦！
还有一个办法就是读开放源码的程序了。我们知道开放源码大都出自高手，他们设计合理，考虑周到，再加上有广大的程序员参与，代码的价值自然是字字珠叽，铿锵有力（对不起，最近《金装四大才子》看多了）。学Java必读的两个开源程序就是Jive和Pet Store.。Jive是国外一个非常著名的BBS程序，完全开放源码。论坛的设计采用了很多先进的技术，如Cache、用户认证、Filter、XML等，而且论坛完全屏蔽了对数据库的访问，可以很轻易的在不同数据库中移植。论坛还有方便的安装和管理程序，这是我们平时编程时容易忽略的一部份（中国程序员一般只注重编程的技术含量，却完全不考虑用户的感受，这就是我们与国外软件的差距所在）。Jive的资料在很多网站上都有，大家可以找来研究一下。相信你读完代码后，会有脱胎换骨的感觉。遗憾的是Jive从2.5以后就不再无条件的开放源代码，同时有licence限制。不过幸好还有中国一流的Java程序员关注它，外国人不开源了，中国人就不能开源吗？这里向大家推荐一个汉化的Jive版本—J道。Jive(J道版)是由中国Java界大名鼎鼎的banq在Jive2.1版本基础上改编而成, 全中文，增加了一些实用功能，如贴图，用户头像和用户资料查询等，而且有一个开发团队在不断升级。你可以访问banq的网http://www.jdon.com/ 去下载，或到同济技术论坛的服务器上ftp://nro.shtdu.edu.cn去下，安装上有什么问题，可以到论坛上去提问。Pet Store.（宠物店）是SUN公司为了演示其J2EE编程规范而推出的开放源码的程序，应该很具有权威性，想学J2EE和EJB的朋友不要错过了。
你一定会高兴地说，哈哈，原来成为Java高手就这么简单啊!记得我也曾碰到过一个项目经理，号称Java很简单，只要三个月就可以学会。其实说这种话的人就如当年小日本号称“三个月拿下中国”一样大言不惭。不是我泼你冷水，你现在只是学到了Java的骨架，却还没有学到Java的精髓。接下来你得研究设计模式了。设计模式是高级程序员真正掌握面向对象核心思想的必修课。设计模式并不是一种具体"技术",它讲述的是思想，它不仅仅展示了接口或抽象类在实际案例中的灵活应用和智慧，让你能够真正掌握接口或抽象类的应用，从而在原来的Java语言基础上跃进一步，更重要的是，设计模式反复向你强调一个宗旨：要让你的程序尽可能的可重用。关于设计模式的资料，还是向大家推荐banq的网http://www.jdon.com/ ，他把GOF的23种模式以通俗易懂的方式诠释出来，纯Java描述，真是经典中的经典。有时间再研究一下MVC结构（把Model-View-Control分离开的设计思想）吧，现在很流行的Structs就是它的一种实现方式，不过Structs用起来实在是很繁，我们只要学习其精髓即可，我们完全可以设计自己的MVC结构。然后你再研究一下软件Refactoring(重整)和极限XP编程，相信你又会上一个台阶。
做完这些，你不如整理一下你的Java代码，把那些经典的程序和常见的应用整理出来，再精心打造一番，提高其重用性和可扩展性。你再找几个志同道合的朋友成立一个工作室吧，你可以去承接一些项目做了，一开始可能有些困难，可是你有技术积累，又考虑周全，接下项目来可以迅速作完，相信大家以后都会来找你的，所以Money就哗啦啦的来了。。。。。。
当然你也可以参加一些开源项目，一方面可以提高自己，另一方面也是为中国软件事业做贡献嘛！开发者在互联网上用CVS合作开发，用QQ,MSN,E-mail讨论联系，天南海北的程序员分散在各地却同时开发同一个软件，是不是很有意思呢？
下面介绍两个好的开源项目网站：
湖北省软件公共开发平http://gro.clinux.org/
共创联http://cosoft.org.cn/
哇，好高兴哦，我终于成为高手了！非也，非也。古人云：“识时务者为俊杰”。你知道计算机界现在的发展形势吗？你知道微软的.NET蓝图和SUN ONE计划之间的明争暗斗吗?你知道计算机技术将向何处发展吗?其实从各大计算机厂商最近的动作,都可以看出来“Web服务将是下一代互联网应用的制高点”，而微软的.NET蓝图和SUN ONE计划的斗争焦点，也就是Web服务。Web服务就是一个崭新的分布式计算模型，它是一系列标准的综合（XML,SOAP,UDDI,WSDL和WSFL等）。它使得不同语言编写的软件能够轻易的集成起来，使网络资源和Web站点变成一种服务而不是混乱的垃圾场。不远的将来，我们就可以在家里点击一下鼠标，就可以完成出门旅游的全部准备工作，包括定飞机票，定旅游线路，定好房间等。请注意，这所有的一切都是Web站点间自动完成的，再也不用象现在一样，表面上是电子商务，实际上很多环节都是人工操作。也许你会觉得这是天方夜谈，不过就近的说，你也很有可能承接一个项目，要集成两个企业的ERP系统。很有可能上游企业的系统是用Dephi编的，而下游企业的系统是用Java编的。你说你是Java高手，大家都看者你怎么做呢。所以啊，你还得学习新技术，如Web服务，而且你Dephi也要懂一点吧（Dephi6现在已经提供Web服务的控件了）。 你编的Java系统，可能要和.NET集成，所以你.NET要懂一点吧？到最后，你可能发现你已经成为Java高手了，但很多时间却在搞别的技术。太极张三丰里说，最厉害的招式就是没有招式，可能就是这个道理吧！
因为刚刚兴起，所以网上Web服务的资料不是很多，我还是给大家推荐几个网站吧：
中国UDDI技术联http://www.uddi-china.org/
CSDN的柴晓路专http://www.csdn.net/develop/author/ColumnAuthor/fennivel/ （注：柴晓路也是互联网上一个有名的人物，他发表过很多关于Web服务的文章，还出了一书，应该称的上是中国Web服务技术的先行者）
IBM的开发者网络的XML&Web Service专栏:
http://www-900.ibm.com/developerWorks/cn/xml/index.shtml?csdn IBM可是Web服务的力推者
呜…你费劲千心万苦，总算成为Java高手了，怎叫人不由喜极而泣呢！是啊，真不容易，真不简单，真叫人感动啊！那么打个电话告诉我吧，什么？我的电话号码是多少？昏到，你打电话问不就知道了吗，真是的……


如上是在网上考下来的，但个人认为SCJP证书也好，程序员等级证书也好，不要太看重它；关键是你手中有没有技术，能不能拿出活来。我面试时候都是以证书为参考，主要衡量你的手段还是提问技术性问题以及一些编程方面的基础问题。建议不要把证书看的太重。

访问量大的话那么就得升级服务器了
并且做好页面缓存 缓存固然重要 但是如果实在太大 就升级服务器吧
数据量过大那么就做好缓存 另外 做好分盘处理 别把数据库放在一个服务器上 多分几个

是访问量太大，导致崩溃？还是数据库的数据量太大导致崩溃？
是查询数据库时，导致崩溃？还是在界面显示时，导致崩溃？

还有，你的项目的架构是什么？采用的技术是什么？这些都不说，谁给你提供适用的解决方法？

你的问题太纸上谈兵了，你能不能给点实在的问题，光说崩溃太虚幻了

---

南漳县18528597367： java项目,数据量太大,造成项目崩溃,怎么处理啊,给点实在的不要纸上谈兵?？
前先安神： 访问量大的话那么就得升级服务器了 并且做好页面缓存 缓存固然重要 但是如果实在太大 就升级服务器吧 数据量过大那么就做好缓存 另外 做好分盘处理 别把数据库放在一个服务器上 多分几个

南漳县18528597367： 如何处理java web项目中大数据量处理问题 - ？
前先安神： 既然是异步处理,那就是不和客户的请求同时进行,所以也和session无关了.异步处理也和EJB没关系. 1.当客户请求数据操作的时候,你的javabean把请求存放到文件里面,然后就可以返回response给客户了. 2.自己做一个application program,是thread,隔一段时间监听那个文件(或者一个目录),如果发现有新的文件,就读取出来,根据要求进行长时间操作.操作完毕,更新一个flag A(可在数据库,可在文件),并且把操作的文件remove(以免重复对此文件操作). 3.客户总会不定时刷新页面或者发新页面请求,这时候就察看flag A,如果完成,就在页面上提示用户,就如msdn的“你有短消息“

南漳县18528597367： Java面试总结如何处理项目的高并发,大数据 - ？
前先安神： 这个很简单,高并发有多种解决方法: 1、从代码上分入手,必须得保证代码没有冗余,不要有废代码; 2、从服务器上入手,高并发一台服务器并发量有限,我们可以采用多台服务器来分担压力; 3、从存储方便入手,像我们一般高并发但是数据却可以不...

南漳县18528597367： 高手解答:java web项目????? 解决后+++50 - ？
前先安神： 如果数据量很大的话,建议使用分页显示,先取一部分数据,这样数据量会小很多

南漳县18528597367： java项目中,数据库查询的数据多了,报500,什么情况? - ？
前先安神： 500不是数据库错误,是Web APP错误.你查询的数据量有多大,不太可能大到数据库崩掉出现500,线程出错500的机会比较大

南漳县18528597367： 上线java项目出现500错误怎么查找 - ？
前先安神： 原因可能为:1、运行的用户数过多,对服务器造成的压力过大,服务器无法响应,则报HTTP500错误.减小用户数或者场景持续时间,问题得到解决.2、该做关联的地方没有去做关联,则报HTTP500错误.进行手工或者自动关联,问题得到...

南漳县18528597367： java项目中的问题 - ？
前先安神： 1.要尽量用存储过程,这时是保证高效的主要方法之一2.大数据量操作要尽量用 SQL 语句来实现,而不要寄希望于 JAVA中的循环【例如要删除ID为1、2、3的记录 那么要用一条语句delete from .... where id in (1,2,3) 而不要 for (int i=0; i<list.size; ...

南漳县18528597367： 1 java web项目你是如何处理高并发的?2 在高访问期间项目出现了一个bug要如何解决? - ？
前先安神： 1、提高并发量这个东西是在系统架构层面上的,不是一个业务所能处理的,在提高并发量这放方面,启用通常会采用数据库集群,应用集群,负载均衡的方式进行提高. 2、在高访问期间 如果出现了bug,说明你的程序正在被大量用户使用,这时候要看你出现的是什么bug,如果是很严重的bug,例如银行转账的时候会多转给别人钱,这时候当然要把服务给终止掉 ,或者是把此功能禁用,防止引发更多的用户问题.如果是普通的bug,可以事后再进行处理,或者是当即处理,采用热升级的方式部署到生产上

南漳县18528597367： Java前提下, MySQL数据库,一次性存储大量数据导致内存溢出 - ？
前先安神： 内存溢出导致程序崩溃,也分是java层崩了,还是mysql崩了.如果是java层崩了,注意不要一次性加载太多的数据到内存,并且不在使用的数据要彻底放弃引用关系.java虽然是自动回收,回收的原则就是一个对象不再被持有,即引用计数为零...

南漳县18528597367： java项目,我上传dbf文件,解析文件数据保存到数据库里,数据量太大,速度太慢 - ？
前先安神： 您好,ResultSet得相关参数代码片断,下面的代码对类型判断和转换还不全面,如果还有其他字段请自行添加 Java代码 try {ResultSetMetaData meta = rs.getMetaData();int columnCount = meta.getColumnCount();strutName = new String[...