V:
Katere okoliščine so privedle do porasta ekosistema velikih podatkov?
A:Številni dejavniki so prispevali k nastanku današnjega ekosistema velikih podatkov, vendar obstaja splošno soglasje, da so do velikih podatkov prihajali zaradi številnih zasnov strojne in programske opreme, ki so preprosto omogočale obstoj velikih podatkov.
| Webinar: Big Iron, Spoznajte velike podatke: Osvobajanje podatkov o mainframeu s Hadoop & Spark Registrirajte se tukaj |
Običajna definicija velikih podatkov je naslednja: Nabori podatkov so dovolj veliki in zapleteni, da kljubujejo enostavno iterativno upravljanje ali upravljanje z roko. Veliki nabori podatkov so pogosto opredeljeni kot nabori podatkov, ki se ne morejo prilegati v preprosto omrežje baz podatkov, ker njihova analiza zahteva preveč dela s strani strežnikov, ki upravljajo s podatki.
Glede na to je glavni del tega, kar je ustvaril velike podatke, ideja, ki jo poznamo kot Mooreov zakon, ali podvojitev tranzistorjev na vezju vsaki dve leti, kar ustvarja vedno manjše strojne naprave in naprave za shranjevanje podatkov (pa tudi zmogljivejše mikroprocesorje) . V povezavi z Mooreovim zakonom in verjetno tudi zaradi njega se je računalniška sposobnost dostopnih programskih sistemov nenehno povečevala, do te mere, da so celo osebni računalniki lahko obdelovali veliko večje količine podatkov, poslovni in angardni sistemi pa so začeli obvladovati velikosti podatkov nepredstavljivo le nekaj let prej. Osebni sistemi so se iz kilobajtov preselili v megabajte in nato v gigabajte, v postopku, ki je za potrošnike pregleden. Vanguardovi sistemi so se gibali od gigabajtov do terabajtov in petabajtov ter na velikosti, kot so zetabajti, na načine, ki so za povprečnega državljana precej manj pregledni.
Drug napredek, ki je omogočil velike podatke, so bile spremembe v načinih, kako so obdelovalci obdelali nabore podatkov. Namesto linearne obdelave z običajnim načrtovanjem relacijskih baz podatkov so obdelovalci začeli uporabljati orodja, kot je Apache Hadoop in z njimi povezane dele za upravljanje strojne opreme, da bi odpravili ozka grla v procesih podatkov.
Rezultat tega je svet velikih podatkov, v katerem živimo, kjer se množični nabori podatkov shranjujejo in vzdržujejo v podatkovnih centrih in vse bolj dostopajo do njih s široko paleto tehnologij za najrazličnejše načine uporabe. Od trgovine do ekologije, od javnega načrtovanja do medicine so veliki podatki vedno bolj dostopni. Medtem pa vladne agencije in druge večje organizacije še vedno premikajo meje velikih velikosti podatkov in izvajajo še naprednejše rešitve.
