对于有重复数据的大量数据怎么处理

如何处理大量数据并发操作~

处理大量数据并发操作可以采用如下几种方法:
1.使用缓存：使用程序直接保存到内存中。或者使用缓存框架: 用一个特定的类型值来保存，以区别空数据和未缓存的两种状态。
2.数据库优化：表结构优化;SQL语句优化，语法优化和处理逻辑优化;分区;分表;索引优化;使用存储过程代替直接操作。
3.分离活跃数据:可以分为活跃用户和不活跃用户。
4.批量读取和延迟修改: 高并发情况可以将多个查询请求合并到一个。高并发且频繁修改的可以暂存缓存中。
5.读写分离: 数据库服务器配置多个，配置主从数据库。写用主数据库，读用从数据库。
6.分布式数据库: 将不同的表存放到不同的数据库中，然后再放到不同的服务器中。
7.NoSql和Hadoop: NoSql，not only SQL。没有关系型数据库那么多限制，比较灵活高效。Hadoop，将一个表中的数据分层多块，保存到多个节点（分布式）。每一块数据都有多个节点保存（集群）。集群可以并行处理相同的数据，还可以保证数据的完整性。

拓展资料:
大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法（抽样调查）这样捷径，而采用所有数据进行分析处理。大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。
参考资料:网页链接

选中数据列，数据-》删除重复项

大数据并发处理解决方案：
1、HTML静态化
效率最高、消耗最小的就是纯静态化的html页面，所以尽可能使网站上的页面采用静态页面来实现，这个最简单的方法其实也是最有效的方法。但是对于大量内容并且频繁更新的网站，无法全部手动去挨个实现，于是出现了常见的信息发布系统CMS，像常访问的各个门户站点的新闻频道，甚至他们的其他频道，都是通过信息发布系统来管理和实现的，信息发布系统可以实现最简单的信息录入自动生成静态页面，还能具备频道管理、权限管理、自动抓取等功能，对于一个大型网站来说，拥有一套高效、可管理的CMS是必不可少的。
2、图片服务器分离
对于Web服务器来说，不管是Apache、IIS还是其他容器，图片是最消耗资源的，于是有必要将图片与页面进行分离，这是基本上大型网站都会采用的策略，他们都有独立的图片服务器，甚至很多台图片服务器。这样的架构可以降低提供页面访问请求的服务器系统压力，并且可以保证系统不会因为图片问题而崩溃，在应用服务器和图片服务器上，可以进行不同的配置优化，比如apache在配置ContentType的时候可以尽量少支持，尽可能少的LoadModule，保证更高的系统消耗和执行效率。 这一实现起来是比较容易的一现，如果服务器集群操作起来更方便，如果是独立的服务器，新手可能出现上传图片只能在服务器本地的情况下，可以在令一台服务器设置的IIS采用网络路径来实现图片服务器，即不用改变程序，又能提高性能，但对于服务器本身的IO处理性能是没有任何的改变。
3、数据库集群和库表散列
大型网站都有复杂的应用，这些应用必须使用数据库，那么在面对大量访问的时候，数据库的瓶颈很快就能显现出来，这时一台数据库将很快无法满足应用，于是需要使用数据库集群或者库表散列。
4、缓存
缓存一词搞技术的都接触过，很多地方用到缓存。网站架构和网站开发中的缓存也是非常重要。架构方面的缓存，对Apache比较熟悉的人都能知道Apache提供了自己的缓存模块，也可以使用外加的Squid模块进行缓存，这两种方式均可以有效的提高Apache的访问响应能力。
网站程序开发方面的缓存，Linux上提供的Memory Cache是常用的缓存接口，可以在web开发中使用，比如用Java开发的时候就可以调用MemoryCache对一些数据进行缓存和通讯共享，一些大型社区使用了这样的架构。另外，在使用web语言开发的时候，各种语言基本都有自己的缓存模块和方法，PHP有Pear的Cache模块，Java就更多了，.net不是很熟悉，相信也肯定有。
5、镜像
镜像是大型网站常采用的提高性能和数据安全性的方式，镜像的技术可以解决不同网络接入商和地域带来的用户访问速度差异，比如ChinaNet和EduNet之间的差异就促使了很多网站在教育网内搭建镜像站点，数据进行定时更新或者实时更新。在镜像的细节技术方面，这里不阐述太深，有很多专业的现成的解决架构和产品可选。也有廉价的通过软件实现的思路，比如Linux上的rsync等工具。
6、负载均衡
负载均衡将是大型网站解决高负荷访问和大量并发请求采用的终极解决办法。 负载均衡技术发展了多年，有很多专业的服务提供商和产品可以选择。
硬件四层交换
第四层交换使用第三层和第四层信息包的报头信息，根据应用区间识别业务流，将整个区间段的业务流分配到合适的应用服务器进行处理。　第四层交换功能就象是虚IP，指向物理服务器。它传输的业务服从的协议多种多样，有HTTP、FTP、NFS、Telnet或其他协议。这些业务在物理服务器基础上，需要复杂的载量平衡算法。在IP世界，业务类型由终端TCP或UDP端口地址来决定，在第四层交换中的应用区间则由源端和终端IP地址、TCP和UDP端口共同决定。
在硬件四层交换产品领域，有一些知名的产品可以选择，比如Alteon、F5等，这些产品很昂贵，但是物有所值，能够提供非常优秀的性能和很灵活的管理能力。Yahoo中国当初接近2000台服务器使用了三四台Alteon就搞定了。

---

卓资县15832701003： 电子表格中有大量的重复内容,怎样删除重复多余的数据? - ？
凤娇尿嘧： 按照Excel中某一基准列删除重复数据行提供如下两种方法: 一、在Office2010中,选择要操作的sheet,在工具栏中选择数据菜单,找到删除重复项,按照提示,选择基准列进行删除即可,此法操作方便;二、设置重复行标记,再进行删除,操作方法如下: 1、首先按基准列排序; 2、在基准列(假设为A列)后插入一列(B列); 3、假设要操作的sheet有标题行,则在新插入的列第二行输入公式:B2=IF(COUNTIF(A$2:A2,A2)>1,＂重复＂,＂＂),将整列(B列)拖曳填充公式. 4、进入数据菜单,选中标题行,进行筛选,只选择显示B列为“重复”数据; 5、在筛选模式下删除所有标记为重复的行. 完成删除重复行的操作.

卓资县15832701003： excel删除信息量超大的重复数据的最效率又不会出错的方法? - ？
凤娇尿嘧： 对于可能有重复的大量数据,我最喜欢用数据透视表了. 数据透视表可以把数据进行求和、平均或计数等分析,其中计数就可以把同电话的号码列出来而且知道重复的有几条信息,再手工操作. 用GS_Andy说的ACCESS或其它数据库的sql做...

卓资县15832701003： 高分求助:excel中剔除重复数据跪求高手!现我有大量数据需要处 ？
凤娇尿嘧： 保留重复的数据: 1、在C2输入公式“=IF(COUNTIF(B$1:B2,B2)=1,B2,＂＂)”,向下复制到C27,得到不重复数据如黄色区域. 2、在原数据列左侧插入1列. 3、在A2输入公式“=IF(C2＂＂,1,＂＂)”,凡C列有重复数据者用数据1标出. 4、选中A2:A27,“编辑/定位/定位条件/公式/数据/确定”,即可将A列标1单元格选中,效果如A列. 4、“编辑/删除/整行/确定”,即可将有重复数据行删除,只保留不重复的数据,再将不需要列删除,结果如sheet2.

卓资县15832701003： excel表格中,如何能删除大量重复数据,确保数据的唯一性? - ？
凤娇尿嘧： 选取整列->点菜单里的“数据”->筛选-》高级筛选-》打勾'将结果复制到其它位置',打勾'选择不重复的内容'(复制到哪里自己选个列)-------》》确定. 好了

卓资县15832701003： EXCEL中有近万条数据,每条数据有十多个数据项;如何在这十几列近万行的表格中剔除完全重复的数据并删除? - ？
凤娇尿嘧： 如果有唯一关键字的列(如姓名或编号等),就比较容易处理,否则只能用数据库处理了. 假定以A列为关键字查找重复的行,请先按A列排序,然后在右边空白列的第二行输入公式: =IF(A2=A1,＂重复＂,＂＂) 将公式用填充柄向下复制到相应行. 选定公式所在列,点“复制”,在该列第一行点鼠标右键,点“选择性粘贴/数值”,点“确定”. 以刚才增加的最后一列排序,重复数据将集中在一起,可方便删除.

卓资县15832701003： EXECL如果数据量很大,怎么删除重复的数据,以下简单举例? - ？
凤娇尿嘧： 首先, 你的数据要有规律. 然后根据规律把重复的数据弄成一样的, 然后用excel自己的去重功能删掉就行了 假设规律是: ＂地名＂以及＂地名+市＂, 那么现在K列(按照你的图来说) 把所有不是以＂市＂结尾的全部加上＂市＂, 然后把结果...

卓资县15832701003： 怎样在EXCEL里删除重复的数据?? - ？
凤娇尿嘧： 如何在 Excel 中删除重复记录或创建不重复记录的列表 概要 当 Microsoft Excel 导入或合并多条记录时,可能会创建重复的记录.本文介绍如何创建不重复记录的汇总列表. 更多信息 要创建不重复记录的汇总列表,请按照下列步骤操作: 1. 选...

卓资县15832701003： excel表格的数据有很多重复的,如何快速筛选出来?？
凤娇尿嘧： 一般的话可以通过 自动筛选 和 排序 来实现了,但缺点是不能很便捷的处理上千万行的数据了. 如果要处理大量的重复数据的话,还是要通过Excel高级应用,即VBA编程来实现了哦. 例子:

卓资县15832701003： 我想将excel中有重复的数据去掉怎么办? 不只是去重,要将重复的都删除掉! - ？
凤娇尿嘧： excel里面暂时没有提供这样的功能,但是你可以先增加一列,比如说是freq,给每行的值为1,然后对整个数据表进行数据透视表操作,将所有的原始列拖到行标签中,把freq拖到数值操作中进行求和,对于生成的表格中去除每一列的分类汇总,就得到原始表达频数,然后对结果补齐,并去除freq求和项大于1的行,就得到你要的结果.这样做很麻烦,不过如果会sas的话就方便很多,不过没办法了,将就吧.

卓资县15832701003： EXCEL数据中有大量重复,如何找出不重复的全部数据？
凤娇尿嘧： 在excel2003中, 如果这些数据是在一列中,那么你可以选择“高级筛选”,勾选“选择不重复的记录”和“将数据复制到其他区域”,选择另外区域的单元格,点击确定就可以找到不重复的记录了 excel2007里面好像还有直接删除重复记录的功能,会方便很多