Kazalo:
Opredelitev - Kaj pomeni MapReduce?
MapReduce je programski model, ki ga je predstavil Google za obdelavo in generiranje velikih nizov podatkov v grozdih računalnikov.
Google je okvir najprej oblikoval tako, da je služil Googlovemu indeksiranju spletnih strani, novi okvir pa je nadomestil prejšnje algoritme indeksiranja. Začetni razvijalci menijo, da je okvir MapReduce koristen, saj se lahko rutine knjižnice uporabljajo za ustvarjanje vzporednih programov brez skrbi glede komunikacije v infra-gruči, spremljanja opravil ali postopkov ravnanja z napakami.
MapReduce deluje na velikem naboru blagovnih strojev in je zelo razširljiv. Ima več oblik izvajanja, ki jih ponuja več programskih jezikov, kot so Java, C # in C ++.
Techopedia razlaga MapReduce
Okvir MapReduce ima dva dela:
- Funkcija, imenovana "Zemljevid", ki omogoča različnim točkam porazdeljene kopice, da razdelijo svoje delo
- Funkcija imenovana "Zmanjšaj", ki je zasnovana tako, da končno obliko rezultatov grozdov zmanjša v en izhod
Glavna prednost okvira MapReduce je toleranca napak, kjer se ob zaključku dela pričakujejo redna poročila iz vsakega vozlišča v grozdu.
Naloga se prenese iz enega vozlišča v drugo. Če glavno vozlišče opazi, da je vozlišče tiho daljši interval, kot je bilo pričakovano, glavno vozlišče izvede postopek prerazporeditve v zamrznjeno / zakasnjeno nalogo.
Okvir MapReduce se zgleduje po funkcijah "Map" in "Reduce", ki se uporabljata pri funkcionalnem programiranju. Računalniška obdelava poteka na podatkih, shranjenih v datotečnem sistemu ali v bazi podatkov, ki sprejme niz vhodnih ključnih vrednosti in ustvari nabor izhodnih ključnih vrednosti.
Vsak dan se v Googlovih grozdih izvajajo številni programi MapReduce in opravila MapReduce. Programi se samodejno vzporedno vzpostavijo in izvajajo na velikem naboru blagovnih strojev. Izvajalni sistem obravnava razdelitev vhodnih podatkov, načrtovanje izvajanja programa na nabor strojev, ravnanje z okvarami stroja in upravljanje zahtevane medmrežne komunikacije. Programerji brez izkušenj z vzporednimi in porazdeljenimi sistemi zlahka uporabljajo vire velikega porazdeljenega sistema.
MapReduce se uporablja pri porazdeljeni grep, porazdeljeni sorti, razveljavitev spletnih povezav-grafov, statistika dnevnika spletnega dostopa, združevanje dokumentov, strojno učenje in statistični strojni prevod.
