如何配置超级计算机

超级计算机是如何配置的~

超级计算机就是指国家指挥中心的那种计算机，并不是家庭的顶级配置计算机!~

今天咱们来看看天河2号超级计算机怎么搭出来的。

天河二号由国防科技大学和浪潮合作研制，2013年至2014年蝉联全球超级计算机第一名。不过性能是拿钱堆出来的，造价25亿人民币，一天满负荷运转要耗电费40万元。看看下面的配置就知道为什么花这么多钱了。从这么多CPU看得出来，CPU厂商是多么喜欢超级计算机。不过美国政府对中国禁运高端CPU之后，Intel的销售估计都要哭死了。

怎么从一个个芯片组装成一台超级计算机？看下图。16000个计算节点，其实就是主板，汇集成32个Frame，再组成4个Rack，最后组成了超算系统。

超级计算机的基础节点包括三种：16000个计算节点，4096个管理节点，256个IO节点和64个存储服务器。
先看看最小的组件：计算节点。2 个Intel Ivy Bridge CPU + 3个 Intel Xeon Phi 。CPU之间用QPI总线互联，一般NUMA架构是这么做的。每个CPU有自己的DIMM内存，一共64GB。还通过PCIex16连到内部高速互联网络，GDDR5内存。GDDR5内存有一个专门的CPU管理。两个万兆网卡估计是管理用的。这样一个节点计算性能最高可以到3.432Tflops，

计算节点物理上坐落于计算刀片服务器。如下图，蓝色的是Xeon Phi处理器，黑色的估计就是Ivy Bridge CPU，所以一个刀片服务器包含了两个节点。

再来看看用国产飞腾CPU搭建的管理节点，性能是144GFlops。飞腾CPU是国防科大研制的，目前有几种型号，天河2号采用的FT-1500基于 Sparc V9架构。为了便于商业化推广，飞腾还推出了兼容ARM64位指令集的FT-1500A系列。FT-1500A目前包括4核和16核两款产品。其中4核处理器芯片主要面向桌面终端和轻量级服务器应用领域，面向服务器应用领域的是16核处理器芯片。据称，FT-1500A系列处理器与Intel 2010年的处理器性能相当 。

来看看这颗基于Sparc架构的FT-1500架构。采用40nm工艺，1.8GHz，16核，功耗约65瓦。计算架构采用了SIMD（Single Instruction Multiple Data），一条指令可以同步让多组数据执行。如下图，一个CPU有四个DDR3接口，IO带宽很高。

天河2号有256个IO节点和64个存储服务器，总共存储容量12.4PB。既然是超级计算机，自然要使用高性能的固态硬盘SSD，每个IO节点有2TB的SSD，IO带宽达到5GB/s，从下图可以看出1个2TB SSD由5个400GB 小SSD组成，那估计每个的带宽是1GB/s。IO节点对外有两种接口：高速互联接口和Infiniband QDR存储网络接口。阿呆猜想高速互联网络是用来输出数据给计算节点，IB接口是IO节点之间数据共享用的。采用了Hybrid hierarchy file system，H2FS，数据保存在每个节点本地，但是相互之间也能共享。

这么多节点怎么组成超级计算机呢？下面就是组网图。关键的设备是中间的13个交换机，每个交换机有576个端口！

更加难能可贵的是，高速互联芯片都是纯国产。包括网络路由芯片NRC和网络接口芯片NIC。
NRC采用90nm工艺，大小为17.16mm*17.16mm，2577个管脚，带宽为2.56 Tbps。这么多管脚估计也是为了增加端口数。
NIC也是90nm工艺，大小10.75mm*10.76mm，675个管脚。
说到超算，就不得不提制冷系统，这么一台庞大的机器，没有有效的制冷，估计就着火了。天河2号采用了紧耦合水冷系统，整台机器功耗17.6MW，加上制冷系统就是24MW。制冷用了27%的电。
天河有自己的软件架构，如下图。对用户来说，最重要的是用户的编程接口，有些用户为了搞个研究，写这个程序就得花上几年。很多时候政府推动的项目硬件给很多经费，设备都很不错，但是领导舍不得给软件投钱，毕竟展示效果没那么壮观，所以软件往往是短板，用户使用不便，先进设备的利用率就不高。
天河支持下列编程语言。值得一提的是OpenMC语言，比CUDA和OpenCL的抽象级别更高，在CPU等各种资源之上有一个统一的逻辑层。各种计算任务异步执行，同时分配到不同的设备上。
对管理者来说，这么多节点的资源调度和监控也是很重要的。如下图，每台机器安装了国产麒麟Linux操作系统，其实也是国防科大主导的。
我们搞存储的最关心的就是存储软件架构了。数据分为本地存储和共享存储，共享存储使用了超算流行的Lustre分布式文件系统，这种文件系统对于大文件访问性能不错。用户使用POSIX接口读写文件。不过数据密集型应用用Layout接口和Policy接口访问数据。
总结一下，一台超级计算机其实就是很多小计算机的集合，当然难点在大家的高速互联和同步。

把各种部件连成一台完整的超级电脑的方法如下：
1.首先要确定硬件部件和所需要的资源
需要一个头节点（head node），至少一打的计算节点（compute node），一台以太网交换机，一个电源分配单元（power distribution unit）和一个服务器机架。计算一下电力消耗，冷却需求和占地需求。同样，你需要确定你的私有网络的IP地址段，节点的命名，预计使用的软件包以及搭建 服务集群所用的技术（后面会有更多解释）。
2.建立计算节点
需要自己组装计算节点，或者你也可以使用预配置的服务器。
●选择一款能够最大化空间、冷却和能源消耗效率的机架式服务器；
●或者，可以使用一打左右闲置的过时服务器——它们集合在一起工作的性能要比它们独立运行时的总和还多，而且还能省你一大笔钱！整个系统的处理器、网络适配器、主板应该是同一型号的，这样才能达到最佳运行效能。当然了，还要给每个节点配内存和硬盘，并且至少给头节点配一台光驱。
3.将服务器装在机架上
安装的时候从下面开始，这样可以避免机架头重脚轻。你可能会需要朋友的帮助才能完成这件事——这么多的服务器将非常的重，把它们放到机架的滑轨上会非常困难。
4.在机架顶端安装以太网交换机
现在来配置交换机：允许9000字节的大的帧，将IP地址设置为你在第一步里面确定的静态地址，关闭例如SMTP嗅探这样不必要的路由协议。
5.安装能源分配单元
根据目前你的节点的最大需求，可能220V就能满足你的高性能计算需求了。
6. 一切都安装妥当之后，就可以开始配置环节了
Linux是高性能计算集群（HPC Cluster）操作系统的事实标准，这不仅因为Linux是科学计算的理想环境，也是由于在数以百计甚至千计的节点上安装的时候，Linux不会产生任何花费。设想一下，在如此多的节点上安装Windows会花掉你多少钱呢？
●从更新主板BIOS的固件开始，将所有节点的BIOS固件都更新至最新的版本；
●在每个节点上都安装好你喜欢的Linux发行版，头节点需要安装队图形界面的支持。比较流行的选择，包括CentOS、OpenSuse、Scientific Linux、RedHat以及SLES；
●使用Rocks Cluster Distribution来搭建计算集群。除了它已经安装好计算集群需要使用的所有工具外，Rock还提供了一种通过PXE和RedHat的“Kick Start”来进行批量部署的方案。
7. 安装消息传送界面、资源管理器以及其他必须的库
如果上一步里你没有选择Rock做为你的节点的操作系统，那么现在你需要手动设置并行计算机制所必需的软件。
●首先，你需要一个便携的bash管理系统，例如Torque Resource Manager，这些软件允许你划分以及分配计算任务；
●如果安装了Torque Resource Manager，那么你还需要Maui Cluster Scheduler来完成设置；
●其次，需要安装消息传送界面（message passing interface），用来在不同的计算节点的进程之间共享数据。
最后，不要忘了用多线程的数学库及编译器来编写计算任务。
8.将所有的计算节点接入网络
头节点负责将任务分配到计算节点，计算节点再把结果返回回来，节点间的消息传递也是如此，所以当然是越快越好了。
●使用私有网络将集群中的所有节点互联起来；
●头节点其实还充当局域网里的NFS、PXE、DHCP以及NTP服务器；
●将该网络从公网中分离出来，这样可以保证该网络中的广播报文不会影响到其他的网络；
9.对集群进行测试
在你把你强大的Top500计算集群交付给客户之前，你还要测试一下它的性能。HPL（High Performance Lynpack）评测软件包是测试集群的计算速度的常见选择。你需要从源代码编译它，编译的时候根据你选择的架构，打开所有可能的优化选项。

超级计算机的标准是CPU处理速度,其它硬件都一般,它是由多个CPU同时工作组成的,完全不适合个人用户使用,就算你钱多到没地方用,买回来也只是台废铁...国外也有人用1000M交换机+家用电脑配过一台很便宜的超级电脑,当时是以100美元的价格买1GHz的速度,总体速度好像是20GHz左右

超级计算机就是指国家指挥中心的那种计算机，并不是家庭的顶级配置计算机!~

这个东西估计就复杂多了吧,一般人肯定不了解的.
据说处理器核心就十几万个,你要设计对应的主板和系统来配置这些核心,如何一共工作,另外输入输出的控制方式,都是需要单独设计.普通人估计很少有人知道.

超级计算机 只是指的运算速度，不要被误解

---

都安瑶族自治县19116326701： 如何配置超级计算机 - ？
危满益脂： 把各种部件连成一台完整的超级电脑的方法如下: 1.首先要确定硬件部件和所需要的资源 需要一个头节点(head node),至少一打的计算节点(compute node),一台以太网交换机,一个电源分配单元(power distribution unit)和一个服务器...

都安瑶族自治县19116326701： 世界级的超级计算机配置是什么? - ？
危满益脂： 超级计算机的标准是CPU处理速度,其它硬件都一般,它是由多个CPU同时工作组成的,完全不适合个人用户使用,就算你钱多到没地方用,买回来也只是台废铁... 国外也有人用1000M交换机+家用电脑配过一台很便宜的超级电脑,当时是以100美元的价格买1GHz的速度,总体速度好像是20GHz左右

都安瑶族自治县19116326701： 我想配置一台超级计算机？
危满益脂：这是我的 *CPU Intel 奔腾双核 E5200(盒) ￥475排名第一 (2008年底最佳产品) *主板 捷波X-blue P43 ￥395 (2008年底最佳产品) *显卡 昂达 9600GSO384M DDR3 600MHz1800 MHz ￥495(性价比高) *硬盘:希捷 500G 7200.12 16M(...

都安瑶族自治县19116326701： 一台超级电脑要哪些配置?？
危满益脂： CPU Intel Core 2 Extreme QX6850(盒) *1 ￥5900 ￥5900 共25个商家 主板 华硕 P5K3 Premium/WiFi-AP *1 ￥8199 ￥8199 共30个商家 内存 海盗船 TW3X2G2000C9DFNV *4 ￥5299 ￥5299 共6个商家 硬盘 日立 750G 7200转 32M(串口/3...

都安瑶族自治县19116326701： 超级电脑怎么配置啊？
危满益脂： i7 2.9Ghz的CPU加骇客神条DDR3 2000的金士顿4G内存,加NVIDIA Geforce GTX295的显卡,加上24寸显示器,同时加上能够支持以上四个组件的主板和超高功率电源,并加上一个大机箱,总共花费应该达2万块钱以上

都安瑶族自治县19116326701： 电脑怎么配置才是超级电脑？
危满益脂： 1G 512

都安瑶族自治县19116326701： 怎样组装超级电脑？
危满益脂： ＂C P U Intel 酷睿2双核 E7200 (盒) 970 主 板 华硕 P5K SE 699 显 卡 PNY 9652-GTH3至酷版 899 内 存 威刚 1GB DDR2 800+ x2 180*2 硬 盘 希捷 320G 7200.11 16M(串口/5年盒) 455 显示器 美格 WE223DK 1590 光 驱 先锋 DVR-115CH 259 音 箱 漫步者 声迈X100 150 机 箱 新战线 新动2036 160 电 源 航嘉 冷静王钻石2.3版本 268 鼠 标 微软 光学精巧套装500(08增强版) 130 合计 5940元 ＂

都安瑶族自治县19116326701： 超级电脑配置 - ？
危满益脂： CPU Intel Core 2 Extreme Q6700(散) 2360 主板 华硕 Striker II Formula 2900 显卡 XFX讯景 8800GTS(T80G-GHD) 2200 硬盘 希捷 160G 7200.10 8M(串口/5年盒)*2 760 内存 金邦1GBDDR21066(白金条)*4 1480 鼠标 Razer 金环蛇游戏...

都安瑶族自治县19116326701： 怎样用普通pc来搭建超级计算机 - ？
危满益脂： 服务器不也属于PC嘛.高配置的硬件加上一个优化好的系统,就可以了PC技术&软件交流群 9692162

都安瑶族自治县19116326701： 谁会配置超级电脑,帮配置下吧？
危满益脂： 主板 技嘉GA-EP43-S3L Intel平台 价钱 700~750, CPU Intel酷睿2双核 E7300 价钱680 2个你要快一点的就买E7300,经济点的就买E5200,或Intel酷睿双核E5200 价钱500 散热风扇 酷冷 冰玲珑静音版 Intel CPU 散热器 适用Intel LGA775 价钱60 ...