نظراً لتزايد الحاجة إلى القدرات الحسابية يسعى مصمّمو الحواسيب باستمرار إلى رفع أداء بُنى حواسيبهم. وتحتاج بعض التطبيقات إلى سرعة حسابية فائقة مثل المحاكاة الرقمية للمسائل العلمية والهندسية، وتتطلب تلك المسائل -غالباً- إجراء حساباتٍ تكرارية على حجم هائل من المعطيات قبل الحصول على النتائج المرجوَّة، ومن المفترض أن تنتهي تلك الحسابات خلال زمن «معقول» نسبياً. كما تطرح بعض المجالات تحدياتٍ كبيرة في مجال الحسابات مثل نمذجة التراكيب الكبيرة للأحماض النووية والتنبؤ بالأحوال الجوية. وتُعدّ مسألةٌ ما ذات تحدٍ كبيرٍ بالنسبة إلى الحسابات إذا كان إنجازها غير ممكن خلال زمن معقول باستخدام الحواسيب المتاحة. تُجري الحواسيب التقليدية العمليات المطلوبة بالبرنامج على معالج وحيد، ولزيادة القدرة الحسابية جرى استخدام -وعلى مدار سنواتٍ عديدة- حواسيب تتضمن عدة معالجات؛ أو عدة حواسيب تعمل بالتضافر لحل مسألة معرّفة، وترتبط المعالجات في الحالة الأولى أو الحواسيب في الحالة الثانية بعضها ببعض بطريقة محدّدة لتشكل المنصَّة الحسابية أو الحاسوب التفرعي الذي يسمى «نظام متعدد المعالجات». وفي كلا الحالتين تُقسم المسألة المستهدفة إلى أجزاء يجري تنفيذها تفرعياً، بحيث يُنفَّذ كلٌّ منها على معالج منفرد. تُسمّى كتابة البرامج لنظام متعدد المعالجات بـ «البرمجة التفرعية» parallel programming أو «الحوسبة التفرعية».
