高性能计算如何高效进行并行操作？

高性能计算通常是指以比提供更高性能的方式聚合计算能力的实践。它可以高效进行并行操作，在计算过程中，各节点协同工作。

基于并行任务的角度对高性能计算进行分类，可以分为两类：高吞吐计算和分布式云计算。

高吞吐计算

高吞吐计算可以把一个任务分成若干可以并行的子任务，而且各个子任务彼此间没有什么关联。这种类型应用的一个共同特征是在海量数据上搜索某些特定模式。所谓的Internet计算都属于这一类。

高吞吐计算属于SIMD（Single Instruction/Multiple Data，单指令流-多数据流）的范畴。

分布式云计算

分布式云计算解决任务分发，并进行计算结果的合并，帮助应付本地业务交互的轻量化需求。

其将单个问题划分为多个部分，每个部分由不同的计算机解决，只要计算机联网，它们就可以相互通信进行大量数据交换以解决问题。如果操作正确，则计算机将像单个实体一样运行。

分布式云计算的最终目标是通过以经济高效、透明和可靠的方式连接用户和IT资源来最大化性能。它还可确保容错能力，并在其中一个组件发生故障时启用资源可访问性。

使用分布式云计算带来的优势

1）可扩展性和模块化增长

分布式系统固有的可扩展性，因为它们可以跨不同的机器工作并可以水平扩展。这意味着用户可以添加另一台计算机来处理不断增加的工作负载，而不必一次又一次地更新单个系统。

用户可扩展的范围实际上没有上限。需求量很大的系统可以在每台计算机上运行其全部容量，并在工作负载较低时使计算机脱机。

2）容错和冗余

在本质上，分布式系统比单机具有更高的容错能力。

使用跨两个数据中心运行由多台计算机组成集群的企业表示，即使一个数据中心脱机，其应用程序也可以运行。

这转化为更高的可靠性，因为在单台机器的情况下，所有故障都会随之而来。即使一个或多个节点/站点停止工作（其余节点的性能需求会上升），分布式系统仍将保持不变。

3）低延迟

由于用户可以在多个地理位置上拥有一个节点，因此分布式系统允许流量到达最接近的节点，从而降低了延迟并提高性能。

4）成本效益

与超大型集中式系统相比，分布式系统更具成本效益。它们的初始成本比独立系统要高，但只有到一定程度之后，它们才更具规模经济性。由许多小型计算机组成的分布式系统可能比大型机更具成本效益。

5）效率

分布式系统可以将复杂的问题数据分解为较小的部分，并具有多台并行处理的计算机，这有助于减少解决计算这些问题所需的时间。

网络的发展催生了分布式计算的出现，是并行计算衍生出来的新模式，为云计算打下坚固的网络技术基石。