Kazalo:
Opredelitev - Kaj pomeni prašič Apache?
Apache Pig je platforma, ki se uporablja za analizo velikih nizov podatkov. Sestavljen je iz jezika na visoki ravni za izražanje programov za analizo podatkov, skupaj z infrastrukturo za vrednotenje teh programov. Ena najpomembnejših lastnosti prašiča je, da se njegova struktura odziva na pomembno paralelizacijo.
Pig deluje na platformi Hadoop, piše podatke in bere podatke iz distribucijskega datotečnega sistema Hadoop (HDFS) in izvaja obdelavo z enim ali več opravili MapReduce. Apache Pig je na voljo kot odprtokodni vir.
Apache Pig je znan tudi kot programski jezik za prašiče ali Hadoop Pig.
Tehopedija razlaga Apache Pig
Apache Pig ima dva dela: Prašič latinski jezik in Prašičev motor. Latinski jezik Pig je skriptni jezik, ki uporabnikom omogoča, da ponazorijo, kako je treba prebrati podatke iz enega ali več vhodov in kako jih je treba shraniti.
Nekatere ključne lastnosti svinjske latinščine so naslednje:
- Preprosto programiranje: Zapletene naloge, sestavljene iz različnih medsebojno povezanih transformacij podatkov, so jasno kodirane kot zaporedja pretoka podatkov. To jim omogoča preprosto pisanje, razumevanje in vzdrževanje.
- Možnosti optimizacije: Način kodiranja nalog omogoča sistemu, da optimizira samodejno izvajanje. To uporabniku omogoča, da bo namesto učinkovitosti pozoren na semantiko.
- Razširljivost: Uporabniki lahko sami ustvarijo svoje funkcije za izvajanje posebne namene. Motor Pig je odgovoren za izvajanje pretoka podatkov, napisanega v latinici Pig. Apache Pig poleg operaterjev, ki izvajajo obdelavo podatkov, podobno kot standardni sistem za upravljanje relacijskih baz podatkov (RDBMS) sestavlja še razčlenjevalec, optimizacijski program in tipkovnik. Prašič ne vključuje transakcij, kataloga podatkov ali možnosti neposrednega ravnanja s shranjevanjem podatkov ali uporabo okvira izvedbe.
