并行计算是高性能计算 (HPC) 下的一个细分领域，它是相对于串行计算来说的，一种通过同时在多个处理器或计算机上执行多个任务，以提高计算效率的计算模式。针对不同的问题，并行计算需要专用的并行架构，架构既可以是专门设计的，含有多个处理器的单一硬件或超级计算机，也可以是以某种方式互连的若干台的独立计算机构成的集群。并没有一个统一的并行计算架构适用于每一个问题，如果使用了错误的架构，并行计算甚至会导致性能下降。

并行计算通用示例: