Ob vsej glasnosti o ogromnih podatkovnih centrih NSA, ki imajo gazijone podatkovnih bitov o našem zasebnem življenju, obstaja ena stvar, o kateri se na CNN vsaj malo ni govorilo. Vključuje inženirski problem, ki se je pojavil skupaj z oblačno tehnologijo, velikimi podatki in impresivnimi fizičnimi centri za shranjevanje podatkov, ki se zdaj gradijo po vsem svetu. Kaj je torej? No, ne glede na to, kdo upravlja enega od mamutskih IT sistemov, ki vodi te naprave, obstajajo potrebe po programskih sistemih, ki pomagajo vsem tem podatkom hitro vstopiti in izstopiti. Ta potreba predstavlja eno najzanimivejših IT vprašanj ali ugank, s katerimi se danes srečujejo strokovnjaki.
Kot poudarjajo številni strokovnjaki, današnje izjemno povpraševanje po obdelavi podatkov presega tradicionalne pristope. Preprosto povedano, z uporabo preprostih struktur baz podatkov in orodij, kot je vmesnik za poizvedbe SQL, ne bo zagotovljena dovolj procesne moči ali funkcionalnosti za všečke lastniških sistemov, ki so se razvili v zadnjih nekaj letih. Arhivi današnjih velikih tehnoloških podjetij potrebujejo izjemno razširljivo tehnologijo. Potrebujejo orodja za obdelavo podatkov, ki lahko vnesejo in izpeljejo rezultate v veliko večji količini, kot to lahko olajša posamezen strežnik. Potrebujejo rešitve, ki jih je mogoče hitro povečati za rast, rešitve, ki vključujejo zapletene ravni umetne inteligence, in rešitve, ki so zasnovane za enostavno upravljanje s strani IT oddelka.
Vprašanje je, kako podjetja in vladne agencije osvojijo omejitve tradicionalne poti obdelave podatkov? Tukaj si bomo ogledali eno zelo obetavno možnost: Programska oprema za upravljanje velikih podatkov in upravljanje več podatkovnih centrov.