高性能计算的走向普及

高性能计算的优化~

高性能计算(HighPerformanceComputing)是计算机科学的一个分支，主要是指从体系结构、并行算法和软件开发等方面研究开发高性能计算机的技术。随着计算机技术的飞速发展，高性能计算机的计算速度不断提高，其标准也处在不断变化之中。高性能计算简单来说就是在16台甚至更多的服务器上完成某些类型的技术工作负载。到底这个数量是需要8台，12台还是16台服务器这并不重要。在定义下假设每一台服务器都在运行自己独立的操作系统，与其关联的输入/输出基础构造都是建立在COTS系统之上。简而言之，讨论的就是Linux高性能计算集群。一个拥有20000台服务器的信息中心要进行分子动力学模拟无疑是毫无问题的，就好比一个小型工程公司在它的机房里运行计算流体动力学(CFD)模拟。解决工作负载的唯一限制来自于技术层面。接下来我们要讨论的问题是什么能直接加以应用。量度(Metrics)性能(Performance)，每瓦特性能(Performance/Watt)，每平方英尺性能(Performance/Squarefoot)和性能价格比(Performance/dollar)等，对于提及的20000台服务器的动力分子簇来说，原因是显而易见的。运行这样的系统经常被服务器的能量消耗(瓦特)和体积(平方英尺)所局限。这两个要素都被计入总体拥有成本(TCO)之列。在总体拥有成本(TCO)方面取得更大的经济效益是大家非常关注的。议题的范围限定在性能方面来帮助大家理解性能能耗，性能密度和总体拥有成本(TCO)在实践中的重要性。性能的定义在这里把性能定义为一种计算率。例如每天完成的工作负载，每秒钟浮点运算的速度(FLOPs)等等。接下来要思考的是既定工作量的完成时间。这两者是直接关联的，速度=1/(时间/工作量)。因此性能是根据运行的工作量来进行测算的，通过计算其完成时间来转化成所需要的速度。定量与定性从定性的层面上来说这个问题很容易回答，就是更快的处理器，更多容量的内存，表现更佳的网络和磁盘输入/输出子系统。但当要在决定是否购买Linu集群时这样的回答就不够准确了。对Linux高性能计算集群的性能进行量化分析。为此介绍部分量化模型和方法技巧，它们能非常精确的对大家的业务决策进行指导，同时又非常简单实用。举例来说，这些业务决策涉及的方面包括：购买---系统元件选购指南来获取最佳性能或者最经济的性能配置---鉴别系统及应用软件中的瓶颈计划---突出性能的关联性和局限性来制定中期商业计划Linux高性能计算集群模型包括四类主要的硬件组成部分。(1)执行技术工作负载的计算节点或者服务器；(2)一个用于集群管理，工作控制等方面的主节点；(3)互相连接的电缆和高度普及的千兆以太网(GBE)；(4)一些全局存储系统，像由主节点输出的NFS文件一样简单易用。高性能计算机的衡量标准主要以计算速度(尤其是浮点运算速度)作为标准。高性能计算机是信息领域的前沿高技术，在保障国家安全、推动国防科技进步、促进尖端武器发展方面具有直接推动作用，是衡量一个国家综合实力的重要标志之一。随着信息化社会的飞速发展，人类对信息处理能力的要求越来越高，不仅石油勘探、气象预报、航天国防、科学研究等需求高性能计算机，而金融、政府信息化、教育、企业、网络游戏等更广泛的领域对高性能计算的需求迅猛增长。一个简单量化的运用模型这样一个量化的运用模型非常直观。在一个集群上对既定的工作完成的时间大约等同于在独立的子系统上花费的时间：e1、时间(Time)=节点时间(Tnode)+电缆时间(Tfabric)+存储时间(Tstorage)Time = Tnode + Tfabric + Tstorag这里所说的时间(Time)指的是执行工作量的完成时间，节点时间(Tnode)是指在计算节点上花费的完成时间，电缆时间(Tfabric)是指在互联网上各个节点进行互联的完成时间，而存储时间(Tstorage)则是指访问局域网或全球存储系统的完成时间。计算节点的完成时间大约等同于在独立的子系统上花费的时间：2、节点时间(Tnode)=内核时间(Tcore) +内存时间(Tmemory)这里所说的内核时间(Tcore)指的是在微处理器计算节点上的完成时间。而内存时间(Tmemory)就是指访问主存储器的完成时间。这个模型对于单个的CPU计算节点来说是非常实用的，而且能很容易的扩展到通用双插槽(SMP对称多处理)计算节点。为了使第二套模型更加实用，子系统的完成时间也必须和计算节点的物理配置参数相关联，例如处理器的速度，内存的速度等等。计算节点图示中的计算节点原型来认识相关的配置参数。图示上端的是2个处理器插槽，通过前端总线(FSB-front side bus)与内存控制中心(MCH)相连。这个内存控制中心(MCH)有四个存储信道。同时还有一个Infiniband HCA通过信道点对点串行(PCIe)连接在一起。像千兆以太网和串行接口(SATA)硬盘之类的低速的输入输出系统都是通过芯片组中的南桥通道(South Bridge)相连接的。在图示中，大家可以看到每个主要部件旁边都用红色标注了一个性能相关参数。这些参数详细的说明了影响性能(并非全部)的硬件的特性。它们通常也和硬件的成本直接相关。举例来说，处理器时钟频率(fcore)在多数工作负荷状态下对性能影响巨大。根据供求交叉半导体产额曲线原理，处理器速度越快，相应成本也会更高。高速缓存存储器的体积也会对性能产生影响，它能减少主频所承载的工作负荷以提高其运算速度。处理器内核的数量(Ncores)同样会影响性能和成本。内存子系统的速度可以根据双列直插内存模块频率(fDIMM)和总线频率(fBus)进行参数化，它在工作负荷状态下也对性能产生影响。同样，电缆相互连接(interconnect fabric)的速度取决于信道点对点串行的频率。而其他一些因素，比如双列直插内存模块内存延迟(DIMM CAS Latency)，存储信道的数量等都做为次要因素暂时忽略不计。使用的性能参数在图示中标明的6个性能参数中，保留四个和模型相关的参数。首先忽略信道点对点串行的频率(fPCIe)，因为它主要影响的是电缆相互连接(interconnect fabric)速度的性能，这不在范围之列。接下来注意一下双列直插内存模块频率(fDIMM)和总线频率(fBus)会由于内存控制中心(MCH)而限于固定比率。使用的双核系统中，这些比率最具代表性的是4:5, 1:1, 5:4。一般情况下只会用到其中的一个。高速缓存存储器的体积非常重要。在这个模型中保留这个参数。内核的数量(Ncores)和内核频率(fcore)也非常重要，保留这两个参数。高性能计算(HPC)模型　这第二个模型的基本形式在计算机体系研究领域已经存在了很多年。A普通模式是：(3) CPI = CPI0 + MPI * PPM这里的CPI指的是处理器在工作负荷状态下每执行一个指令的周期。CPI0是指内核CPI，MPI I则是指在工作负荷状态下高速缓存存储器每个指令失误的次数(注释：在高性能计算领域，MPI主要用于信息传递界面，在此处主要是指处理器构造惯例)，PPM是指以处理器时钟滴答声为单位对高速缓存存储器每个指令失误的次数的记录。第二和第三个方程式相互吻合。这第一个术语代表的是处理器，第二个术语代表的是内存。可以直观的看到，假设每项工作下执行的P指令的工作负荷与代表处理器的频率的内核频率(每秒钟处理器运行周期的单位)再与方程式(3)相乘，就得到了方程式(4):Tnode = (CPIo * P) * (1 / fcore) + (MPI * P) * PPM * (1 / fcore)在这里要注意(CPIo * P)是以每项工作分配下处理器的运行周期为单位，对微处理器架构上运行的既定工作负荷通常是个恒量。因此把它命名为α。(处理器周期本身无法对时间进行测算，如果乘以内核的频率就可以得到时间的测算标准。因此Tnode在方程式(4)的右边)。(MPI * P)也是同理。对于既定工作负荷和体系结构来说它也是个恒量，但它主要依赖于高速缓存存储器的体积。我们把它命名为M(MBcache)。而PPM是指访问主存的成本。对于既定的工作负荷来说，通常是个固定的数字C。PPM乘以内存频率和总线频率的比值(fcore / fBus)就从总线周期(bus cycles)转化成了处理器周期。因此PM = C * fcore / fBus。套入M(MBcache)就可以得到：(5) Tnode = α * (1 / fcore) + M(MBcache) * (1 / fbus)这个例子说明总线频率(bus frequency)也是个恒量，方程式(5)可以简化为方程式(6)：(6) Tnode = α * (1 / fcore) + β在这里Tcore = α * (1 / fcore)，而Tmemory = β(也就是公式2里的术语。我们把这些关键点关联在一起)。首先在模型2里，公式5和公式6都有坚实的理论基础，因为经分析过它是如何从公式3推理而来(它主要应用于计算机体系理论)。其次，这个模型4个硬件性能参数的3个已经包括其中。还差一个参数就是内核数量(Ncores)。用直观的方式来说明内核的数量，就是假设把N个内核看做是一个网络频率上运行的一个内核，称之为N*fcore。那么根据公式(6)我们大致可以推算出：(7) Tcore ~ α / (N*fcore)Tcore~ ( α / N) * (1 / fcore )也可以把它写成：(8) αN = ( α / N)多核处理器的第一个字母Alpha可能是单核处理器的1/N次。通过数学推算这几乎是完全可能的。通常情况下我们是根据系统内核和总线频率(bus frequencies)来衡量计算机系统性能，如公式(5)所阐述的。但是公式(5)的左边是时间单位--这个时间单位指的是一项工作量的完成时间。这样就能更清楚的以时间为单位说明右侧的主系统参数。同时请注意内核的时钟周期τcore(是指每次内核运行周期所需的时间)也等同于(1 / fcore)。总线时钟(bus clock)周期也是同理。(9) Tnode = αN * τcore + M(MBcache) * τBus这个公式的转化也给了一个完成时间的模型，那就是2个基本的自变量τcore和τBus呈现出直线性变化。这对使用一个简单的棋盘式对照表对真实系统数据进行分析是有帮助的。

云计算概念被提出以后并行计算技术和虚拟化技术成为其核心支撑技术，云计算将按需计算带给了普通的用户，也使并行计算成为普通用户也能方便使用的技术，而且并行计算中的"单一系统映像技术"实际也反映系统虚拟化的思想，所以广义来看并行计算技术本身可能包括虚拟化技术，因而并行计算技术是云计算技术中的一个相当重要的技术基础。云计算及高性能计算的逐步普及使并行程序设计成为许多程序设计人员不可避免的一项艰巨工作，特别是云计算、个人高性能计算机（PHPC）等技术的深入发展，使许多技术人员开始从单机工作模式向并行计算模式转变。由于并行程序设计现在还没有一个很好的集成开发平台提供方便的组件给设计者使用，几乎所有的设计工作都需要从底层自己完成，因此并行程序的设计往往使很多程序设计者望而却步。MPI作为并行程序设计事实上的标准被广泛地应用于各个领域，不少企业及研究机构逐步认识到MPI的重要

中国在高端计算机的研制方面已经取得了较好的成绩，掌握了研制高端计算机的一些关键技术，参与高端计算机研制的单位已经从科研院所发展到企业界，有力地推动了高端计算的发展。随着中国信息化建设的发展，高性能计算的应用需求在深度和广度上都面临蓬勃发展。
高性能计算作为第三大科学方法和第一生产力的地位与作用被广泛认识，并开始走出原来的科研计算向更为广阔的商业计算和信息化服务领域扩展。更多的典型应用在电子政务、石油物探、分子材料研究、金融服务、教育信息化和企业信息化中得以展现。经过十年的发展，中国在高性能计算水平上已跻身世界先进水平。
企业界参与研制
国内做高性能计算的企业中有三家主力厂商，他们是曙光、联想和浪潮。863计划十几年来，曙光始终在研发过程中起着带头作用。高性能市场中，曙光高性能计算机销量已超过1000套，在国内应用是最广泛的。联想进入高性能市场比较晚，但是从其公司运作能力和市场化的能力看，虽然其遇到了一些困难，但是未来的发展潜力巨大。而浪潮以服务器起家，但在高性能方面，原来技术较弱，但是比较专一于高端商用市场，通过与大专院校的合作，发展比较快。
赛迪顾问分析师刘新在接受《中国电子报》记者采访时称，看国内高性能计算的前三名，曙光的整合计算、细分应用是其特点。由于具有长期的技术积淀，深厚的行业背景，鲜明的品牌形象，是国内三大品牌中商业化最成功的企业，但面临国内、国外的双向夹击，发展道路坎坷不平。而联想长期“贸工技”的战略使其可能会缺乏技术的积淀，做惯了PC设备供应和服务，在高性能计算领域显得底气不足，其主要市场策略依然延续PC模式，依靠低价等吸引用户是一大特色。而浪潮给人的感觉是在高性能方面有点缺乏技术实力和远见。
也许有人认为，高性能计算离我们的实际生活还很遥远，但是金融、电信、税务、能源、制造等行业中的很多企事业都已经开始应用高性能计算，而作为普通百姓的衣食住行，我们在刷卡购物、打电话、听天气预报、出门坐车时也已经在享受高性能计算所带来的准确与方便。
通过记者的采访，相关厂商一致认为，高性能计算走向普及已是大势所趋。这主要是由于商品化趋势使得大量生产的商品部件接近了高性能计算机专有部件，标准化趋势使得这些部件之间能够集成在一个系统中。
机群——未来高性能的发展方向
高性能计算机的主流体系结构收缩成了三种，即SM、CC-NUMA、Cluster。在产品上，只有两类产品具有竞争力：一是高性能共享存储系统；二是工业标准机群，包括以IA架构标准服务器为节点的PC机群和以RISC SMP标准服务器为节点的RISC机群。当前，对高性能计算机产业影响最大的就是“工业标准机群”了，这也反映了标准化在信息产业中的巨大杀伤力。工业标准机群采用量产的标准化部件构成高性能计算机系统，极大地提高了性能价格比，从科学计算开始逐渐应用到各个领域。
浪潮北京公司服务器产品经理丁昱对《中国电子报》记者说，事实上，中国机群发展进入了一个瓶颈期，多数稍具技术实力的厂商都可以设计出计算速度上万亿次的高性能计算机。可以说，在充足的资金前提下，设计一套进入全球前十名的高性能机群系统，并非难事。在科学计算方面，唯一的问题因素是资金。浪潮基于弹性部署理念的计算能力、数据通信、输入输出非单极优化的MABS体系结构，为高性能商用服务器系统实现技术突破奠定了理论基础。
曙光公司天潮系列产品经理曹振南告诉《中国电子报》记者，机群的优势主要体现在更高的性能价格比，机群系统已经成为高性能计算机的发展方向，世界上TOP500排行榜的高性能计算机系统绝大多数是机群系统；更高的可扩展性，机群系统可以通过原有预留的扩展接口进行无缝的扩展；更高的可管理性，通常管理一个机群系统要比管理一个小型机系统要简单得多；更高的系统鲁棒性(健壮或强壮)，机群系统都是采用了标准的硬件设备，容易采购，同时也较容易维护，有更多国内厂商支持；对应用系统的更多的支持，机群系统可以支持大量的操作系统并且可以支持多种操作系统，也支持32位和64位的软件系统，在机群系统上运行的软件是小型机系统的成百上千倍。
关键在应用
20世纪90年代以来，中国在高性能计算机的研制方面已经取得了较好的成绩，掌握了研制高性能计算机的一些关键技术，参与高性能计算机研制的单位已经从科研院所发展到企业界，有力地推动了高端计算的发展。中国的高性能计算环境已得到重大改善，总计算能力与发达国家的差距正逐步缩小。
随着曙光、神威、银河、联想、浪潮、同方等一批知名产品的出现，中国成为继美、日之后第三个具备高端计算机系统研制能力的国家，被誉为世界未来高性能计算市场的“第三股力量”。在国家相关部门的不断支持下，一批国产超级计算机相继面世，大量的高性能计算系统进入教育、科研、石油、金融等领域，尤其值得一提的是曙光4000A在全球TOP500中排名进入前十，并成功应用于国家网格主节点之一——上海超级计算中心。
但是，从总体上讲，中国高性能计算应用的研究与开发明显滞后于高性能计算机的发展，应用的并行度普遍在百十量级，应用到更大规模的很少(并非没有需求)。
浪潮丁昱告诉《中国电子报》记者，中国的高性能计算发展最大的障碍是品牌的障碍和应用的障碍。这和中国高性能发展起步较慢有关系。年限比较短，应用的经验比较少。但随着国内高性能计算的快速发展，这方面的缺陷会得到很大改善。但随着越来越多的用户开始采用高性能计算机，应用软件的发展后滞明显严重。另外，一些用户对传统RISC小型机存在使用习惯和品牌偏好，接受Linux机群需要厂商做大量的工作。
曙光曹振南在接受《中国电子报》记者采访时称，中国高端计算应用的研究与开发明显滞后于高端计算机的发展，应用到大规模的很少。高端应用软件的开发和高效并行算法的研究尚不能与高端计算机发展同步，在一定程度上存在为计算机“配”软件的思想。对应用的投入远远不够，应用研发的力量薄弱且分散，缺乏跨学科的综合型人才，从事高端应用软件研发的单位很少，没有良好的、相互交流的组织渠道等。还有就是政府在采购中依然选择国际品牌，缺乏对国产品牌的支持。
联想高性能服务器事业部总经理祝明发则认为，中国高性能计算生存的关键在应用。他谈到IBM、惠普、Sun等公司的高性能计算业务在商业市场的比例为90%，而中国的高性能计算在商业计算市场开拓方面仍存在很大差距。从来看，中国的联想、曙光、浪潮等厂家完全有能力做出运算速度达到40万亿次的超级计算机，但关键就是有没有找到应用需求。比如，在科学计算中独树一帜的向量计算，因为成本高、商用计算能力不强而仅停留在科学计算的狭窄领域。

---

乌兰察布盟19226638350： 为何高性能游戏电脑不能当工作站用 - ？
朱祝重组： 稳定性是1方面,高性能不代表高稳定,工作站的每一个硬件检测都高于家用电脑,内存也1般用校检内存,目的是减少出错率.硬盘也用高速scsi硬盘,速度快,cpu占用率小.cpu要求高性能多核心多线程,而图形工作站的显卡也是专业作图的,是工作站非常重要的1节.全部框架来讲,是高稳定,高性能,针对性强,就是专业处理图形任务.全部下来,可能要比高性能电脑贵上1⑶倍.

乌兰察布盟19226638350： 计算机未来的发展是怎样? - ？
朱祝重组： 计算机的发展趋势

乌兰察布盟19226638350： 什么样的应用需要高性能计算? - ？
朱祝重组： 生命科学研究、宇宙演化、气象数字预报、石油勘探地层模拟、航空航天器模拟、大型工程设计、以及制造业产品创新等.

乌兰察布盟19226638350： 高性能计算的摩尔定律 - ？
朱祝重组： 提及摩尔定律,作为计算机发展的第一定律一直在引领IT产业的前行.不过随着多核技术的发展和应用,摩尔定律在面临挑战的同时,在某些领域已经被超越.例如在日益普及的高性能计算(HPC)中.那为何摩尔定律会首先在高性能计算领域...

乌兰察布盟19226638350： 曙光5000的价格是多少 - ？
朱祝重组： 曙光5000由中国科学院计算技术研究所与服务器厂商曙光信息产业有限公司联合研发,是百万亿次超级高性能计算机,每套价格2亿元.上海超级计算中心成为该超级计算机的首位客户.曙光5000拥有200万亿次计算能力,其体积、节能、软件效率和可管理性方面比前一代产品有大幅度提高,而又能跟前一代机器实现一定程度的兼容.高性能计算机原本应用于气象、石油勘探、飞船发射等高端领域,但有望在不久将来走向普及,它的“普及价”应低于50万元

乌兰察布盟19226638350： 什么是高性能计算? - ？
朱祝重组： 高性能计算(High performance computing, 缩写HPC) 指通常使用很多处理器(作为单个机器的一部分)或者某一集群中组织的几台计算机(作为单个计 算资源操作)的计算系统和环境.有许多类型的HPC 系统,其范围从标准计算机的大型集群,到高度专用的硬件.大多数基于集群的HPC系统使用高性能网络互连,比如那些来自 InfiniBand 或 Myrinet 的网络互连.基本的网络拓扑和组织可以使用一个简单的总线拓扑,在性能很高的环境中,网状网络系统在主机之间提供较短的潜伏期,所以可改善总体网络性能和传输速率.

乌兰察布盟19226638350： 高性能计算的提升性能 - ？
朱祝重组： 各种高性能计算设施都要根据企业不同的需求选用,但所有高性能计算应用程序都必须经过特殊优化,这与传统数据中心要求不大一样.以下方式可以让HPC应用程序平台以最高的性能执行. 普通的服务器开销为每机柜30kw,这个数字还在不断上升.由于高密度,高效率数据中架构基础设施与冷却系统变得至关重要.

乌兰察布盟19226638350： 我国高性能计算研究的现状如何? - ？
朱祝重组： 我国的“天河一号”高性能计算机排名第五,这是近年来我国科学家取得的最好成绩.2010年5月31日公布的最新HPC TOP500名单中,由我国曙光公司研制生产的“星云”高性能计算机实测Linpack性能达到每秒1.271千万亿次,居世界超级计算机第二位,它表明中国高性能计算机的发展已达到世界领先水平.

乌兰察布盟19226638350： 计算机未来的发展? - ？
朱祝重组： 智能化,微型化