A. Konsep Parallel
Komputasi paralel adalah salah satu teknik melakukan komputasi secara bersamaan
dengan memanfaatkan beberapa komputer independen secara bersamaan. Ini umumnya
diperlukan saat kapasitas yang diperlukan sangat besar, baik karena harus
mengolah data dalam jumlah besar (di industri keuangan, bioinformatika, dll)
ataupun karena tuntutan proses komputasi yang banyak. Kasus kedua umum ditemui
di kalkulasi numerik untuk menyelesaikan persamaan matematis di bidang fisika
(fisika komputasi), kimia (kimia komputasi) dll.
Pemrograman
paralel adalah teknik pemrograman komputer yang memungkinkan eksekusi
perintah/operasi secara bersamaan (komputasi paralel), baik dalam komputer
dengan satu (prosesor tunggal) ataupun banyak (prosesor ganda dengan mesin
paralel) CPU. Bila komputer yang digunakan secara bersamaan tersebut dilakukan
oleh komputer-komputer terpisah yang terhubung dalam suatu jaringan komputer
lebih sering istilah yang digunakan adalah sistem terdistribusi (distributed
computing).
B.
Pemrosesan Terdistribusi
Tujuan dari komputasi terdistribusi adalah menyatukan kemampuan dari sumber daya (sumber komputasi atau sumber informasi) yang terpisah secara fisik, ke dalam suatu sistem gabungan yang terkoordinasi dengan kapasitas yang jauh melebihi dari kapasitas individual komponen-komponennya.
Tujuan
lain yang ingin dicapai dalam komputasi terdistribusi adalah transparansi.
Kenyataan bahwa sumber daya yang dipakai oleh pengguna sistem terdistribusi
berada pada lokasi fisik yang terpisah, tidak perlu diketahui oleh pengguna
tersebut. Transparansi ini memungkinkan pengguna sistem terdistribusi untuk
melihat sumber daya yang terpisah tersebut seolah-olah sebagai satu sistem
komputer tunggal, seperti yang biasa digunakannya.
Salah
satu masalah yang dihadapi dalam usaha menyatukan sumber daya yang terpisah ini
antara lain adalah skalabilitas, dapat atau tidaknya sistem tersebut
dikembangkan lebih jauh untuk mencakup sumber daya komputasi yang lebih banyak.