Razvoj velikih podatkov

V začetku 2000-ih je bilo jasno, da obstaja velika potreba po inovacijah v zvezi s podatki. Omejitve, kaj lahko podjetja počnejo s svojimi podatki, so razjezile vodstvene delavce in močno zmanjšale učinkovitost. Mnoga podjetja so shranila ogromno količin informacij, vendar jih preprosto niso mogla upravljati, analizirati ali manipulirati v svojo korist. Prav ta naraščajoči pritisk je popustil na meji velikih podatkov.

Leta 2003 je Google ustvaril MapReduce, podatkovno aplikacijo, ki je podjetju v kratkem času omogočila obdelavo in analizo informacij o svojih iskalnih poizvedbah na več tisoč strežnikih. Program je tako razširljiv kot prilagodljiv Googleu omogočil, da je v samo nekaj minutah opravil na tisoče podatkovnih opravil, kar je izboljšalo produktivnost in na novo opredelilo zaznane meje glede tega, kaj lahko storimo s podatki. Skoraj 10 let pozneje so veliki podatki postali osrednje načelo informacijske tehnologije. Njegov daljnosežni obseg in zmožnost je bistveno spremenila upravljanje podatkov na delovnem mestu. Toda kaj je spodbudilo ta razvoj in kako natančno bodo veliki podatki vplivali na prihodnost? Mislili smo, da je ne boste nikoli vprašali. (Če želite prebrati velike podatke o velikih podatkih, si oglejte velike podatke: Kako so ujeti, zdrobljeni in uporabljeni za sprejemanje poslovnih odločitev.)

Iskanje odgovorov na vprašanja o velikih podatkih

Lepota MapReduce je bila ta, kako je poenostavljal zelo zapletene naloge. Komunikacijo bi lahko vodili prek strojev, odpravljali bi lahko okvare sistema in samodejno organizirali vhodne podatke, postopek, ki bi ga lahko nadzirali posamezniki, ki ne potrebujejo več visoko tehničnih znanj. S tem ko je obdelava podatkov postala ne le mogoča, ampak tudi dostopna, je Google spodbudil kulturni premik v upravljanju podatkov. Pred kratkim je na tisoče večjih podjetij uporabljalo MapReduce za svoje podatke.

Vendar je obstajala ena težava: MapReduce je bil preprosto programski model. Čeprav je olajšal osnove obdelave podatkov, sam ni bil odgovor na obstoječe pomanjkljivosti podatkov; bil je le prepotreben korak v pravo smer. Korporacije so še vedno potrebovale sistem, ki bi lahko reševal njihove edinstvene potrebe po podatkih in presegel gole bistvenega upravljanja podatkov. Skratka, tehnologija, potrebna za razvoj.

Vstopite v Hadoop

Vnesite Hadoop, odprtokodno programsko opremo, ki jo je ustvarilo več programerjev, vključno z Dougom Cuttingom. Kadar je bil MapReduce osnovni in širok, je Hadoop zagotavljal osvežujočo specifičnost. Podjetja bi lahko oblikovala svoje prilagojene aplikacije, ki bi obravnavale potrebe po podatkih tako, da jih nobena druga programska oprema ne bi mogla, in je bila na splošno združljiva z drugimi datotečnimi sistemi. Podjetje z nadarjenimi programerji bi lahko oblikovalo datotečni sistem, ki bi dosegel edinstvene naloge s podatki, ki so se jim prej zdeli nedosegljivi. Morda je najboljši del tega, da so razvijalci medsebojno delili aplikacije in programe, ki bi jih lahko pojasnili in izpopolnili.

Z demokratizacijo tako pomembnega vira je Hadoop postal trend. Konec koncev so številne velike korporacije, zlasti podjetja iskalnikov, menile, da jih potrebujejo desetletja! Nedolgo tega so velikani iskalnikov, kot je Yahoo, napovedali izvajanje velikih Hadoop aplikacij, ki so ustvarile podatke, uporabljene v spletnih iskalnih poizvedbah. Kar se je zdelo kot val, je več vidnih podjetij napovedalo sprejetje te tehnologije za svoje množične baze podatkov, med njimi Facebook, Amazon, Fox, Apple, eBay in FourSquare. Hadoop je postavil nov standard za obdelavo podatkov.

Veliki podatki, velike težave

Medtem ko je napredek v podatkovni tehnologiji preoblikoval način ravnanja s podatki, mnogi vodilni delavci še vedno niso opremljeni za celoten obseg potrebnih nalog. Julija 2012 je Oracle objavil anketo o več kot 300 vodstvenih delavcev na ravni C, ki je razkrila, da se 36 odstotkov podjetij za upravljanje in analizo podatkov zanaša na IT, vendar jih 29 odstotkov meni, da njihovi sistemi nimajo dovolj sposobnosti za izpolnitev svojih podjetij. potrebe. Verjetno najbolj presenetljiva ugotovitev študije je bila, da je 93 odstotkov anketirancev menilo, da njihovo podjetje izgubi do 14 odstotkov prihodkov, ker ne more uporabljati zbranih podatkov. To je prihodek, ki bi ga lahko porabili za izboljšanje izdelkov in zaposlovanje več delavcev. V času, ko se podjetja borijo, da bi ostajale dobičkonosne, je izboljšanje podatkov, da bi podjetja lahko postala bolj donosna, nujna. Raziskava kaže, da kljub tistim, ki menijo, da je vpliv velikih podatkov na trgovino že prešel, priložnosti za rast in napredek, ki jih ima, še niso v celoti uresničene.

Kaj ima prihodnost za velike podatke

Dobra novica je, da sta Hadoop in MapReduce navdihnila številna druga orodja za upravljanje podatkov. Številna nova podjetja ustvarjajo obsežne podatkovne platforme, ki delujejo na Hadoopu, vendar ponujajo široko paleto analitičnih funkcij in lažjo integracijo sistema. Zdi se, da so korporacije vložile veliko sredstev za reševanje pomislekov v zvezi s podatki in finančni uspeh podatkovnih podjetij je bil dokaz tega. Leta 2010 so podatkovna podjetja približno 3, 2 milijarde USD prodala na drobno. Številni strokovnjaki so ocenili, da se bo ta številka do leta 2015 povečala na neverjetnih 17 milijard dolarjev. To je dejstvo, ki se pri nekaterih največjih tehnoloških podjetjih še ni izgubilo. Tako IBM kot Oracle sta v zadnjih nekaj mesecih porabila milijarde za pridobitev podatkovnih podjetij. Številna druga podjetja bodo v prihodnjih letih naredila podobne korake, saj se še naprej zavzemajo za konkurenčni tržni delež.

Meja velikih podatkov

Količina zbranih podatkov še naprej narašča eksponentno, kar je nekatere vznemirilo, druge pa navdušilo. Navzlic je, da bodo ljudje še naprej postajali bolj produktivni in prilagodljivi, ko bomo z analizo podatkov spoznavali nove stvari o našem svetu. Slaba stran je, da obstaja tako velika količina podatkov, da se mnogi bojijo, da nismo sposobni pravilno vsega shraniti, še manj pa pravilno upravljati, da bi ga lahko uporabljali vsi, ki ga potrebujejo.

Kljub temu lahko napredek pri velikih podatkih zagotavlja brez primere priložnosti za rešitev nujnih vprašanj v zvezi s podatki. Strokovnjaki so na primer predlagali, da če bi se veliki podatki pravilno izvajali s poudarkom na učinkovitosti in kakovosti, bi lahko prihranili približno 300 milijard dolarjev letno samo za izdatke za zdravstvo; trgovci na drobno bi lahko izboljšali operativne marže, javni sektor bi lahko zagotavljal boljše storitve, velika podjetja pa bi prihranila milijarde. In tako se zdi, da reševanje naših vprašanj s podatki ni potrebno le v upravnih prostorih podjetja, ampak povsod. Kar pove dobre stvari o prihodnosti velikih podatkov - in morda tudi naši.