Paralel Programlama

Açıklama

Paralel çalışabilen sistemler artık hemen hemen her yerde karşımıza çıkmaktadır. Günümüzde çok çekirdekli bir işlemci kullanmayan bir dizüstü bilgisayar, masaüstü veya sunucu bulmak oldukça zordur. Bununla birlikte, çoğu bilgisayar mühendisleri paralel programlama hakkında çok az tecrübeye sahip veya az deneyimli bir şekilde mezun olmaktadır. Her ne kadar, birçok üniversite son sınıflara doğru seçmeli ders olarak paralel hesaplamayı sunmakta iseler de öğrenciler zorunlu alması gereken derslere öncelik tanıdıklarından çok kanallı veya çok işlemli bir program yazma becerisinden yoksun olarak mezun olmaktadır. Bu durumun değişmesi gerektiği açıktır. Birçok program tek bir çekirdek üzerinde tatmin edici bir performans elde edebilmesine rağmen, Bilgisayar bilimcileri, paralellik ile elde edilebilecek geniş kapsamlı performans iyileştirmelerinin farkında olmalı ve ihtiyaç duyulduğunda bu potansiyelden yararlanabilmelidir.   Bu kitap kısmen bu problemi çözmek için yazılmıştır. Ayrıca, paralel programlama kavramını açıklayan ilk kitaplardan biridir. Paralel programlama için en yaygın kullanılan uygulama programlama arayüzlerinden (API) ikisi olan MPI ve OpenMP ile paralel programların yazılmasına bir giriş sağlanmaktadır. Örneklerin birçoğu günümüzde yaygın kullanıma sahip C ve Python dili ile kodlanmıştır. Hedef kitle, paralel programlar yazması beklenilen öğrenciler, araştırmacılar ve profesyonellerdir. Kitaptan en iyi bir şekilde yararlanabilmek için önkoşullar minimal düzeyde tutulmuştur. Açıkçası, lise düzeyinde bir matematik ve C dilinde temel programlar yazma becerisi bu kitabı anlayabilmek ve uygulayabilmek için yeterli gelmektedir.   Paralel hesaplama ile önceden deneyime sahip olmayan okuyucular ilk önce Bölüm 1’i okumalıdır. Burada, paralel sistemlerin neden bilgisayar mimarisine ve alanına hâkim olduğuna dair açıklama bulunmaktadır. Bu bölüm ayrıca paralel sistemlere ve paralel programlamaya kısa bir giriş sağlar. Bölüm 2, 3 ve 4 sırasıyla OpenMP, MPI ve Python ile programlamaya dairdir. 2. ve 3. Bölümde kodlanan örnekler C programlama dili ile yazılmıştır, çünkü kullanılan tüm API’lar C-dili arayüzlerine sahiptirler. Bununla birlikte, C++ ve Java programcıları C dili söz dizimine aşina olduklarından bölümlerde yazılan C kodlarını rahatlıkla anlayacaklardır. 4.Bölümdeki örnek kodlarda ise günümüzde popüler bir dil olan Python 3.7 dili kullanılmıştır.   Umuyorum ki, okuyucular OpenMP, MPI ve Python’un tam anlamıyla kodlanma tarzını ve gücünü kullanmayı öğrenirler. Bu kitap paralel programlamaya yeni başlayanlara mükemmel bir giriş özelliğini taşımaktadır. Kitapta bulunan bütün örnek kodlar ayrı ayrı özenle test edilmiş ve düzgün çalıştığı doğrulanmıştır. Yine de gözden kaçan eksiklikler olabilir. Bu nedenle, okuyucuların bulduğu sorunları ve/veya varsa önerilerini [email protected] e-posta adresine göndermelerini rica ediyorum.     Kitapta yer alan bölümler aşağıdaki gibidir.   İÇİNDEKİLER 1.Bölüm: Paralel Programlamaya Giriş 1.1 Neden Paralel Hesaplama? 1.2 Neden sürekli artan performansa ihtiyaç duyuluyor? 1.3 Neden paralel sistemler kuruyoruz? 1.4 Neden paralel programları yazmamıza gerekir? 1.5 PARALELDE SORUN GİDERME 1.5.1 Zamansal Paralellik Kavramı 1.5.2 Veri Paralelliği Kavramı 1.6 Von Neumann mimarisi 1.7 BAZI TEMEL PARALEL KAVRAMLARI 1.7.1 Program Kavramı (Program Concept) 1.7.2 Süreç / İşlem Kavramı (Process Concept) 1.7.3 İplik / İşparçacığı Kavramı (Thread Concept) 1.7.4 Eşzamanlı ve Paralel Yürütme Kavramı (Concurrent & Parallel Execution Concept) 1.7.5 Yarış Koşulları (Race Conditions) 1.7.6 Kilitlenme (Deadlocks) 1.7.7 Açlık (Starvations) 1.7.8 İplik Güvenliği (Thread Safty) 1.7.9 Granülerlik/Taneciklilik (Granularity) 1.8 VON NEUMANN MODELİNE DEĞİŞİKLİKLER 1.8.1 Caching temelleri 1.8.2 SANAL BELLEK (Virtual Memory) 1.9 PARALEL İŞLEME SEVİYELERİ 1.9.1. Komut Seviyesinde Paralellik (Instruction-level Parallelism (ILP)) 1.9.1.1 Boru hattı (Pipelining) 1.9.1.2 Komut Pipeline 1.9.1.3 Komut Buffer’i: 1.9.2. Döngü Seviyesinde Paralellik (Loop Level Parallelism) 1.9.3. Prosedür Seviyesinde Paralellik (Procedure Level Parallelism) 1.9.4. Program Seviyesinde Paralellik (Program Level Parallelism) 1.10 PARALEL BİLİSAYARLARIN SINIFLANDIRILMASI 1.10.1 Flynn’in Paralel İşleme Sınıflandırması 1.10.1.1 Tek komut ve Tek Veri akışı (Single Instruction and Single Data stream (SISD)) 1.10.1.2 Tek Komut ve Çoklu Veri Akışı (Single Instruction and Multiple Data stream (SIMD)) 1.10.1.3 Çoklu Komut ve Tek Veri akışı (Multiple Instruction and Single Data stream (MISD)) 1.10.1.4 Çoklu Komut ve Çoklu Veri akışı (Multiple Instruction and Multiple Data stream (MIMD)) 1.11 YAPISAL SINIFLANDIRMA 1.11.1 Paylaşımlı Bellek Sistemleri (Shared Memory Systems) 1.11.2 Dağıtılmış Bellek Sistemleri (Distributed Memory System) 1.12 Arabağlantı ağları (Interconnection networks) 1.12.1 Tam bağlı (Fully connected) Topoloji 1.12.2 Kol Demiri (Cross Bar) Topolojisi 1.12.3 Doğrusal Array (Linear Array) Topolojisi 1.12.4 Mesh Topolojisi 1.12.5 Halka (Ring) Topolojisi 1.12.6 Torus Topolojisi 1.12.7 Ağaç ağı (Tree) Topolojisi 1.12.8 İri ağaç (Fat Tree) Topolojisi 1.12.9. Sistolik Dizi (Systolic Array) Topolojisi 1.12.10. Küp (Cube) topolojisi 1.13 Permütasyon Ağı Kavramı 1.13.1 Mükemmel Karıştırma Permütasyonu 1.13.2 Kelebek Permütasyonu 1.13.3 Clos ağı 1.13.4 Benz ağı 1.14 Önbellek Tutarlılığı (Cache Coherence) 1.14.1 Önbellek Tutarlılığını Gözetleme (Snooping cache coherence) 1.14.2 Dizin Tabanlı Önbellek Tutarlılığı (Directory-based cache coherence) 1.15 Yanlış paylaşım konsepti (False Sharing) 1.15.1 Önbellek Hatları (Cache lines) 1.15.2 Önbellek tutarlılığı (Cache coherence) 1.15.3 Yanlış paylaşım 1.16 Tanecik Boyuna (Grain size) Göre Bilgisayar Sınıflandıması 1.16.1 Paralellik Koşulları 1.16.2 Veri Bağımlılığı (Data Dependency) 1.16.3 Paralellik tespiti için Bernstein koşulları 1.16.4 Kaynak Bağımlılığı 1.17 Paralellik potansiyeli 1.18 Paralel Hesaplama Gereksinimi 1.19 Özet Çalışma soruları   2. Bölüm: OpenMP