什么是并行计算？

什么是并行计算？

并行计算（Parallel Computing）或称平行计算是相对于串行计算来说的。它是一种一次可执行多个指令的算法，目的是提高计算速度，及通过扩大问题求解规模，解决大型而复杂的计算问题。所谓并行计算可分为时间上的并行和空间上的并行。时间上的并行就是指流水线技术，而空间上的并行则是指用多个处理器并发的执行计算。

并行计算的解读

并行计算同时使用多种计算资源解决计算问题的过程，是提高计算机系统计算速度和处理能力的一种有效手段。它的基本思想是用多个处理器来协同求解同一问题，即将被求解的问题分解成若干个部分，各部分均由一个独立的处理机来并行计算。并行计算系统既可以是专门设计的、含有多个处理器的超级计算机，也可以是以某种方式互连的若干台的独立计算机构成的集群。通过并行计算集群完成数据的处理，再将处理的结果返回给用户。

并行计算可分为时间上的并行和空间上的并行。

并行计算是相对于串行计算来说的，所谓并行计算分为时间上的并行和空间上的并行。

时间上的并行就是指流水线技术，而空间上的并行则是指用多个处理器并发的执行计算。并行计算科学中主要研究的是空间上的并行问题。空间上的并行导致了两类并行机的产生，按照Flynn的说法分为：单指令流多数据流（SIMD）和多指令流多数据流（MIMD）。我们常用的串行机也叫做单指令流单数据流（SISD）。MIMD类的机器又可分为以下常见的五类： 并行向量处理机(PVP) 对称多处理机(SMP) 大规模并行处理机(MPP) 工作站机群(COW) 分布式共享存储处理机(DSM)。[编辑]访存模型 并行计算机有以下四种访存模型： 均匀访存模型（UMA） 非均匀访存模型（NUMA） 全高速缓存访存模型（COMA） 一致性高速缓存非均匀存储访问模型（CC-NUMA）和非远程存储访问模型（NORMA）。

并行计算公式是什么？

并行计算性能的预测公式有：Amdahl定律、Gustafson-Barsis定律、Karp-Flatt度量以及等效加速比度量。以下公式中ψ ( n , p ) \psi(n,p)ψ(n,p)表示在p个处理器上解决问题为n规模问题的加速比，σ ( n ) \sigma(n)σ(n)表示计算中内在的串行部分，φ ( n ) \varphi(n)φ(n)表示可以并行执行的计算，κ ( n , p ) \kappa(n,p)κ(n,p)表示并行计算开销所需的时间。加速比的表达式为：
ψ ( n , p ) ≤ σ ( n ) + φ ( n ) σ ( n ) + φ ( n ) / p + κ ( n , p ) \psi(n,p)\le \frac{\sigma(n)+\varphi(n)}{\sigma(n)+\varphi(n)/p+\kappa(n,p)}ψ(n,p)≤σ(n)+φ(n)/p+κ(n,p)σ(n)+φ(n)
并行计算效率的定义为：
ε ( n , p ) ≤ σ ( n ) + φ ( n ) p σ ( n ) + φ ( n ) + p κ ( n , p ) \varepsilon(n,p) \le \frac{\sigma(n)+\varphi(n)}{p\sigma(n)+\varphi(n)+p\kappa(n,p)}ε(n,p)≤pσ(n)+φ(n)+pκ(n,p)σ(n)+φ(n)
由于所有项都大于或等于0，所以0 ≤ ε ( n , p ) ≤ 1 0\le\varepsilon(n,p)\le10≤ε(n,p)≤1