Náročné inženýrské problémy a superpočítání

Náročné
inženýrské problémy a
superpočítání
Tomáš Brzobohatý
Úvod
Open source
- zavedené sw produkty v oblasti CFD a CSM
- výhody/nevýhody
- ukázka efektivního využití
Knihovny IT4Innovations
- FLLOP
- BEM4I
- MatSol
-…
CFD - pohyblivé sítě (AMI)
CFD - Aeroakustika
Broadband Noise Source
CFD - optimalizace
Optimalizace koeficientu
odporu prostředí
0,012
0,011
0,01
0,009
1
2
3
4
5
CFD – modelování znečištění
CFD - Modelování spalování
Plasmový hořák
Proudový hořák
Crash Testy
Bezpečnost chodců
Standardní úlohy SM
Co definuje náročnost
výpočtu
Velikost úlohy
- rozsáhlé celky, území
Fyzikální složitost
- nelineární strukturální mechanika
- proudění (spalování, AMI)
- aeroakustika
- optimalizace
- FSI
Jak využít superpočítač pro tyto úlohy?
Paralelní strategie
- více výpočtů současně
- paralelizace na úrovni algebry
- využití prostorové dekompozice
- využití prostorové
a časové dekompozice
Komerční
vs.
Open source
Komerční sw na IT4I
ANSYS, ANSYS FLUENT, CFX
LS-DYNA
COMSOL
EnSight
MATLAB
Intel compiler
….
Open source
zavedené OS sw produkty v oblasti CFD a CSM
Code Aster
Code Saturne
Elmer
2
SU
OpenFOAM
Palabos
Netgen
EnGrid
Salome
ParaView
Visit
Scilab
Octave
PETSc
Trilinos
….
Salome
Code Aster
Code Saturne
Électricité de France
58 aktivních nukleárních reaktorů (ve Francii)
Salome
Code Aster
Code Saturne
www.code-aster.org/
www.code-saturne.org/
Spolupráce na vývoji
Code Saturne
- paralelní zjemňování sítě
Mesh multiplication package
Výpočet zařízení pro chlazení reaktoru (Large-Eddy Simulation )
Velikost sítě 105 miliard buněk
Testováno na 524 288 jádrech
Spoluprace na vývoji
Code Aster
- rozhraní pro paralelní řešič FLLOP
FLLOP Library – FETI
Light Layer On top of PETSc
Počet
oblastí
Počet
neznámých
Čas
výpočtu
40 000
1.277 miliardy
218 s
Knihovna pro rozsáhlé
výpočty úloh
kvadratického
programování
Elmer
CSC - IT Center for Science
• Teplo
• Akustika
• Strukturalní
mechanika
• Kvantová mechanika
• Proudění
• Multifyzika
• Elektromagnetismus
http://www.csc.fi/english/pages/elmer
Spoluprace na vývoji
Elmer
- rozhraní pro paralelní řešič FLLOP
2
SU
2
stanford
unstructured
SU
Optimalizace koeficientu
odporu prostředí
0,012
0,011
0,01
0,009
1
2
3
4
5
OpenFOAM
OpenFOAM
• The OpenFOAM® (Open Field Operation and Manipulation) CFD Toolbox postavený na
C++.
• OpenFOAM je free and open source software, pod licencí GNU General Public License.
• OpenFOAM obsahuje více než 80 řešičů, pro simulaci specifických problémů inženýrské
mechaniky, více jak 170 utilit umožňujících pre- a post-processing, prace se sítí,
vizualizace, atd.
• jednoduchá syntaxe pro parcialni diferencialni
rovnice
• podpora nestrukturovanych sití
• Automatická paralelizace aplikací napsaných
pomocí syntaxe OpenFOAM
• Komerční podpora a školení poskytované vývojáři
OpenFOAM
• Úprava kódu
• Implementace nových řešičů
• Využití akcelerátorů
Intel Xeon PHI
Nvidia Tesla
OpenFOAM
•
SHAMPOO - Tvorba GUI možnost úprav v závislosti na
požadované funkcionalitě
OpenFOAM
Příklad rozšíření OpenFOAM
• Výpočet zdrojů akustických emisí z CFD analýzy
BEM4I
•
•
•
•
šíření tepla, šíření zvuku
umožnuje paralelní řešení
vlnová rovnice ve frekvenční oblasti
časově závislá vlnová rovnice
Další vývoj bude zaměřen
na implementací tvarové
optimalizace pomocí BEM.
open source CFD on ANSELM
BENCHMARKS
open source CFD on ANSELM
Benchmarks
Boeing 787 Dreamliner
open source CFD on ANSELM
Benchmarks
Boeing 787 Dreamliner
106.2 M Cells
637.2 M Unknowns
Mesh generated by
snappyHexMesh
simpleFoam
k-omegaSST
2000 time step iter.
solver parameters
p
U
k
omega
- GAMG
- smoothSolver
- smoothSolver
- smoothSolver
Tolerance
– 1e-7
relativeTolerance – 0.1
open source CFD on ANSELM
Benchmarks
Boeing 787 Dreamliner
open source CFD on ANSELM
Benchmarks
Lamborghini Aventador
open source CFD on ANSELM
Benchmarks
Lamborghini Aventador
225.3 M Cells
1351.8 M Unknowns
Mesh generated by
snappyHexMesh
simpleFoam
k-omegaSST
2000 time step iter.
solver parameters
p
U
k
omega
- GAMG
- smoothSolver
- smoothSolver
- smoothSolver
Tolerance
– 1e-8
relativeTolerance – 0.001
open source CFD on ANSELM
Benchmarks
Lamborghini Aventador
Hydraulický ventil
52.3 M Cells
Mesh generated by
ANSYS Workbench
simpleFoam
k-omegaSST
1000 time step iter.
open source CFD on ANSELM
Benchmarks
Hydraulický ventil
open source CFD on ANSELM
Benchmarks
Hydraulický ventil
open source CFD on ANSELM
Benchmarks
2000
Time [s]
1500
1000
32
64
256
500
0
6
14
N Cells [M]
52
Teplotní čidlo
5.3 M Cells
Mesh generated by
ANSYS Workbench
chtMultiRegionSimpleFoam
k-epsilon
1000 time step iter.
11 regions
open source CFD on ANSELM
Benchmarks
Teplotní čidlo
open source CFD on ANSELM
Benchmarks
Modelování Radiace
17.3 M Cells
Mesh generated by
ANSYS Workbench
chtMultiRegionSimpleFoam
fvDOM Radiation Model
laminar
20000 time step iter.
6 Regions
open source CFD on ANSELM
Benchmarks
open source CFD on ANSELM
Benchmarks
Modelování Radiace
open source CFD on ANSELM
Benchmarks
Lamborghini Aventador
Transient solver - pisoFoam
23 M Cells
nCorrectors 2
k-omegaSST
solver parameters
p
U
k
omega
- PCG
- PBiCG
- PBiCG
- PBiCG
open source CFD on ANSELM
Benchmarks
Lamborghini Aventador
20 000 time steps
solution time - 40 hr
256 cores
VSB Campus
open source CFD on ANSELM
Benchmarks
VSB Campus
18 M Cells
Mesh generated by
snappyHexMesh
simpleFoam
k-epsilon
2000 time step iter.
open source CFD on ANSELM
Benchmarks
VSB Campus
open source CFD on ANSELM
Benchmarks
open source CFD on ANSELM
Tvorba velkých sítí
snappyHexMesh
Tvorba velkých sítí
open source CFD on ANSELM
Benchmarks
Tvorba velkých sítí
open source CFD on ANSELM
Benchmarks
open source CFD on ANSELM
Benchmarks
snappyHexMesh
VSB Campus
1,51
1,01
0,51
0,01
0
50
100
150
open source CFD on ANSELM
Benchmarks
Boeing 787 Dreamliner
snappyHexMesh škálovatelnost
N cores
Time [h]
256
1.5
512
2
1024
1.9
open source CFD on ANSELM
Benchmarks
Lamborghini Aventador
snappyHexMesh škálovatelnost
N cores
Time [h]
128
3.7
256
2.5
512
3.1
1024
3.7
Benchmarket
open source CFD on ANSELM
Benchmarks
benchmarket.it4i.cz
open source CFD on ANSELM
Benchmarks
Palabos
Palabos
Open-source CFD založený na lattice Boltzmannově metodě
• nestlačitelné proudění
• nestlačitelné proudění s přenosem tepla
• pohybující se objekty
• multifázové proudění, volná hladina
Komerční produkty:
•
•
http://www.palabos.org/
PowerFLOW
XFlow
MatSol
•
•
•
•
•
•
•
•
•
•
•
•
•
nonlinear materials, plasticity, hyperelasticty
large deformation, rotation
Thermal analysis railway's wheels and relining
sable discretization techniques
combine FEM and BEM discretization
FETI, TFETI, FETI-DP, H-FETI
BETI, BFETI, BETI-DP, H-BETI
error estimation
robust transient algorithms
multiphysic analysis thermal – structural
nonlinear solvers, Newton-Rhapson, Line search, Arc-length
contact algorithms SMALSE, MPGP, Semi-smooth Newton
thermal analysis, convection, conduction, steady state, transient, nonlinear
with OOSol/CORBA massive parallelization is possible! OOSol/CORBA
substitute Matlab Distributed Computing Engine
• Incompressible flow
MatSol