cae-cfd應(yīng)用與解決方案

1、CAE-CFD應(yīng)用與解決方案,CAE仿真對高性能計算的需求,計算機(jī)輔助工程（CAE）與高性能計算更快的速度更高的精度更大的規(guī)模問題——如何選擇提供最佳應(yīng)用性能的硬件？CAE軟件眾多，對硬件的需求不一硬件更新速度迅速：處理器、互聯(lián)方式、體系結(jié)構(gòu)曙光公司與MSC、ANSYS、ESI等領(lǐng)先的CAE軟件廠商合作，為用戶提供最佳的解決方案！,1.1 CAE軟件的不同需求,對于Ansys、Nastran以及Abaqus等應(yīng)用程序并行

2、度不高，擴(kuò)展性一般小于16CPU單個作業(yè)對內(nèi)存的要求很大單個作業(yè)對I/O的空間和性能要求很高以ANSYS為例SPARSE----DSPARSE10 GB/MDOF（in-core）10 GB/MDOF I/OPCG----DPCG1 GB/MDOF without MSAVE 0.5 GB/MDOF I/O,虛擬內(nèi)存(或swap)嚴(yán)重影響速度內(nèi)存的存取速度是硬盤的幾十~幾百倍!計算主進(jìn)程比從進(jìn)程需要更大內(nèi)存主進(jìn)程

3、擔(dān)負(fù)更多 (數(shù)據(jù)管理、域劃分等)主進(jìn)程需要持續(xù)的高性能I/O減少I/O對CPU的占用避免共享文件夾/NFS并行I/O系統(tǒng)(Raid 0),對于Fluent、CFX、LS-Dyna等程序并行效果好能夠在集群環(huán)境下并行到超過128個cpu以雙路服務(wù)器性價比最高對內(nèi)存的需求不強(qiáng)烈通常1 個cpu core配置1GB 內(nèi)存即可滿足需要。對本地交換硬盤性能要求不高一般采用SCSI/SATA硬盤即可采用高速互聯(lián)設(shè)備可以大幅度

4、提高性能以Fluent 為例，8個雙路計算節(jié)點時采用Infiniband 互聯(lián)設(shè)備的性能會比千兆以太網(wǎng)好50%以上。Linux 操作系統(tǒng)比Unix 操作系統(tǒng)更加廣泛采用，可根據(jù)需要選擇Windows,,對于Feko等電磁場程序采用PO/UTD方法，并行效果很好，能夠在集群環(huán)境下并行到超過128個cpu采用MoM/FMM方法，并行擴(kuò)展性不高，小于16cpu對內(nèi)存和I/O的要求比隱式有限元程序還要高得多,,CAE軟件可擴(kuò)展性,隱式

5、結(jié)構(gòu)力學(xué)MSC.NASTRANMARCANSYSABAQUS/Standard顯式結(jié)構(gòu)力學(xué)LS-DYNAAutoDynDytranABAQUS/Explicit計算流體力學(xué)FluentSTAR-CD/HPCPowerFLOW CFX CFD-Fastran,計算電磁學(xué)Feko矩量法/FMM 128cpu聲學(xué)分析sysnoise,處理器的選擇AMD Opteron & Intel Xeon

6、軟件兼容性好，管理方便，成本低，性能較高IBM Power & Intel 安騰性能較高但價格昂貴，軟件兼容度不高發(fā)展趨勢雙核、四核、多核X86和RISC的融合運(yùn)算加速技術(shù)等,1.2 哪些硬件可供選擇,,互聯(lián)方式的選擇千兆以太網(wǎng)，帶寬小（理論值125MB/s),延遲大35--45 µs ；Myrinet：MPI乒乓測試帶寬：230 MB/s，MPI短消息延遲：7 µs ；Infiniban

7、d；MPI乒乓測試帶寬：850 MB/s，MPI短消息延遲：< 7 µs ；,體系結(jié)構(gòu)的選擇,共享內(nèi)存結(jié)構(gòu)內(nèi)存支持統(tǒng)一編址處理器之間通過高速總線連接OpenMP支持內(nèi)部通信能力強(qiáng)例子曙光A950 IBM P575,,集群結(jié)構(gòu)內(nèi)存無法統(tǒng)一編址計算單元通過網(wǎng)絡(luò)相連MPI支持內(nèi)部通信能力較弱例子曙光TC4000IBM 1350,SMP or 集群？,SMP服務(wù)器適用的地方基于OpenMP/多線程

8、需要大量I/O操作Nastran、Ansys、Abaqus、Sysnoise集群服務(wù)器適用的地方基于多進(jìn)程擴(kuò)展性較好需要分布式任務(wù)Fluent、CFX、 Ls-Dyna、 FEKO,SMP＋集群解決方案面臨的問題,傳統(tǒng)方式,RISC SMP服務(wù)器＋CISC X86集群,RISC SMP服務(wù)器價格較為昂貴,1,最典型的異構(gòu)平臺特征,2,無法實現(xiàn)統(tǒng)一調(diào)度,3,分立存儲方式,4,？,2.曙光CAE高性能計算平臺,完全基于x86-6

9、4處理器的平臺SMP節(jié)點和Cluster節(jié)點之間可以實現(xiàn)最大限度的軟硬件兼容性采用Infiniband網(wǎng)絡(luò)進(jìn)行所有節(jié)點之間的高速連接DCAS/DCJM可對系統(tǒng)軟硬件資源進(jìn)行完善的管理SKVM可對系統(tǒng)進(jìn)行方便的操作、管理和監(jiān)控,2.曙光CAE高性能計算平臺,方案特點1,一體化：完全基于x86-64平臺，整合SMP小型機(jī)、刀片集群、SAN存儲以及作業(yè)管理軟件,方案特點2,高性能每臺SMP服務(wù)器天闊A950提供32處理器內(nèi)核和256

10、GB以上內(nèi)存，32*4*2.0G=2560億次每臺TC2600刀片機(jī)箱提供80個處理器內(nèi)核和64*10GB以上內(nèi)存，80*4*2.0G=6400億次10/20Gbps高速Infiniband網(wǎng)絡(luò)大幅度提升并行計算性能全4Gb光纖存儲網(wǎng)絡(luò),方案特點3,高可靠管理、IO節(jié)點冗余配置網(wǎng)絡(luò)交換機(jī)和光纖交換冗余配置刀片服務(wù)器采用全冗余設(shè)計電源風(fēng)扇管理模塊交換模塊,方案特點4,易管理SMP節(jié)點和Cluster節(jié)點之間可以實現(xiàn)最

11、大限度的軟硬件兼容性，降低了管理員的工作難度DCAS/DCJM可對系統(tǒng)軟硬件資源進(jìn)行完善的管理SKVM可對系統(tǒng)進(jìn)行方便的操作,舉例:內(nèi)存帶寬比較（實測） 數(shù)據(jù)訪問率,,,,,,,,,,,,,,,,,,,,,,,,,,,內(nèi)存帶寬比較 (數(shù)據(jù)流),0,5000,10000,15000,20000,帶寬,(MB/s),,,,,,,,,,,2路至強(qiáng)處理器 5160 (4,線程),6185,6191,5760,5865,,,2路 AMD皓龍

12、處理器,Model 2220 SE (4 線程),13480,13428,13179,13296,,,4路 AMD皓龍?zhí)幚砥?Model 2220 SE (8 線程),18057,18018,18244,18271,Copy,Scale,Add,Triad,,內(nèi)存帶寬是每秒鐘處理器讀取或存入內(nèi)存子系統(tǒng)的數(shù)據(jù)量,原因在于前端總線瓶頸,越高越好,英特爾帶寬較低,AMD 集成的內(nèi)存控制器可以提供移動大量的應(yīng)用數(shù)據(jù)所需的高內(nèi)存帶寬,AMD 皓龍

13、處理器 提供的帶寬比2路處理器帶寬高 124%,計算密集型應(yīng)用基準(zhǔn)測試 --流體力學(xué)性能 Fluent性能測試,計算密集型應(yīng)用基準(zhǔn)測試 --流體力學(xué)性能 Fluent加速比測試,計算密集型應(yīng)用基準(zhǔn)測試 --LSDYNA性能,計算密集型應(yīng)用基準(zhǔn)測試 --LSDyna機(jī)群性能,高速Infiniband網(wǎng)絡(luò),InfiniBand is the only growing high speed interconnect105% grow

14、th from June 2006173% growth from Nov 2005Clusters continue to dominate with 72.2% of the Top500 list,Growth rate from June 06 to Nov 06InfiniBand: +105%Myrinet: -10%Quadrics: 0%GigE: -16%,InfiniBand Myri

15、net Quadrics GigE,,,,,1.5 to 2X Faster Run Times with InfiniBand,LS-Dyna,Small-car rigid pole (WPI rp_lsd93),,SMP小型機(jī)服務(wù)器A950,,,,16*16/1024MHz HT,,GbE,,,,GbE,,,,,,,,,,,,,,,,,,,Intel 82541PI,,,VGA,