Распределённые вычисления представляют собой способ решения трудоёмких вычислительных задач с использованием двух и более компьютеров, объединённых в сеть. Они являются частным случаем параллельных вычислений, т.е. одновременного решения различных частей одной вычислительной задачи несколькими процессорами одного или нескольких компьютеров.Параллельными вычислительными системами называют физические, компьютерные, а также программные системы, реализующие тем или иным способом синхронную обработку данных на многих вычислительных узлах. В стандарте MPI описан программный интерфейс обеспечения связи между отдельными процессами параллельной задачи.MPI предоставляет программисту единый механизм взаимодействия процессов внутри параллельно исполняемой задачи независимо от машинной архитектуры (однопроцессорные, многопроцессорные с общей или раздельной памятью), взаимного расположения процессов (на одном физическом процессоре или на нескольких) и API операционной системы.Система программирования MPI относится к классу (системы множественным потоком команд и множественным потоком данных) МКМД ЭВМ с индивидуальной памятью, то есть к многопроцессорным системам с обменом сообщениями. MPI имеет следующие особенности: В состав MPI входит библиотека программирования. Она определяет имена процедур, вызов и результаты их работы. Программы, написанные на FORTRAN, C и C++, откомпилированные обычными компиляторами и связанные с MPI-библиотекой, считаются параллельными программами. Параллельные программы - это программы, в исходном коде которых содержатся как функции, так и инструменты из библиотеки mpi или openmp.MPI соответствует модели многопроцессорной ЭВМ с передачей сообщений .MPI имеет намного более одной качественной реализации. Эти реализации обеспечивают асинхронную коммуникацию, эффективное управление буфером сообщения, эффективные группы, и богатые функциональные возможности. MPI включает большой набор коллективных операций коммуникации, виртуальных топологий и азличных способов коммуникации. Использование интерфейса MPI и его реализации MPICH позволяет эффективно организовать распределённые вычисления для локальных сетей.
Пример способа распределённых вычислений
