Kaj je točno hadoop? cinična teorija

Ponavadi je vse, kar je videti preveč dobro, da bi bilo resnično. Takšen je lahko primer z Apache Hadoop, projektom z zelo odprto kodo, o katerem vsi govorijo. Torej, kaj točno je to stvar? Dobro vprašanje!

Strokovnjaki dvomljivi

Analitik Mark Madsen iz Tretje narave ga je na InsideAnalysis.com nekaj časa nazaj pribil v steno v hudomušnem kosu: "Kaj je Hadoop. Kaj Hadoop ni." Ker nekdo, ki ve, kako zasnovati rešitve v resničnem svetu in jih potem dejansko implementirati, njegovih nasvetov ne bi smel prezreti.

Toda tu teče globlji tok in čas je, da odkrijemo korenine te očarljive flore, da vidimo, ali ne moremo dobiti neke perspektive o dogajanju na več makro ravni. Konec koncev, prodajalci trdijo, da je to veliko, udeležencev pa je toliko.

Zaposlujte zaveznike! (?)

Tri podjetja so trenutno v lasti večine novih trgov Hadoopa: Cloudera, Hortonworks in MapR. Jim Walker iz Hortonworks je na nedavnem, dokaj spornem poročanju prek Boulder BI Brain Trust (#BBBT) podal ta zanimiv komentar:

"Tehnologije ne moreš napredovati, če ne zaposluješ zaveznikov!"

Pridi spet?

Se ne sliši, kot bi lahko rekel Senator Palpatine v filmu Vojne zvezd?

Senator Palpatine: "Zaposlite zaveznike!"

Bližnji Minion: "Ampak, gospod! Pomislite na otroke!"

Za laike, ki samo poskušajo uresničiti stvari, so zagovorniki ljudje, ki so predani določenemu odprtokodnemu projektu. Fundacija Apache ima stroge protokole, po katerih se njihovi projekti premikajo naprej, kar je pogosto dobra stvar.

V tem primeru je Walkerjev komentar upravičen do pregleda. Eno poudarjeno vprašanje (s tveganjem, da bi bili pričakovani dnevi na igrišču) bi bilo: Ali je to obljuba ali grožnja? Ali pravi, da bi Hortonworks morda vzel žogo in odšel domov?

Sodelovanje ali konkurenca?

Pri tem je zanimivo, če je paradoksalno gledano, da je večina poročevalcev ekipe Hadoop (približno 30 ali približno vseh) iz Hortonworks in Cloudera - ki so tekmeci. To je zelo radoveden primer konkurence.

Kakšen dogovor je torej? Tukaj je izobraženo ugibanje: Hadoop je v veliki meri dolžan svoji pameti načrtu, ki ga je zasnovala skupina tveganih kapitalistov in inženirjev iz Silicijeve doline, ki se v bistvu trudijo zavarovati svoje stave pred Oracle.

Splošna ideja je, da trg zasadimo s temelje kode, ki jo lahko izboljša in okrepi flota razvijalcev, ki bodo sčasoma ustvarili vsa orodja za upravljanje podatkov, vključno z izdelki baz podatkov. VC lahko nekega dne investirajo in izplačajo denar. Vendar je v igri nekaj resnih izzivov.

Kot vsa monolitna podjetja se tudi Oracle pogosto znajde v prekrižju številnih manjših igralcev. In kdo si ne bi želel le delčka njihovega omamljenega prihodka? Samo v zadnjem četrtletju je Oracle rezerviral približno 9 milijard dolarjev. Toda izziv Big Reda in njihovo premagovanje sta dve zelo različni resničnosti.

Brezplačna spletna oddaja: Kaj je Hadoop in kam gre? Pridružite se Ericu Kavanaghu, Robinu Bloorju in Techopedia za razpravo o tem, kako se Hadoop močno razlikuje od Linuxa ali SOA in zakaj njegova prihodnost ostaja v glavnem nenapisana.

Težave s pakiranjem

Kar zadeva Hadoop, sam po sebi je, da to nikakor ni pakirana rešitev. Namesto, da gre za zapleteno zbirko modulov, ki visokokakovostnim programerjem omogočajo, da uporabljajo ogromne algoritme vzporedne obdelave, da delajo zelo specifične stvari. Vendar ni uporabniškega vmesnika in priročniki so brutalni.

K temu izzivu dodajte to kritično oviro: potrebujete tudi poslovneže, ki imajo vsaj splošno razumevanje, kaj lahko stori. Ti ljudje morajo biti sposobni pričarati ideje, kako jih je mogoče uporabiti, nato pa sporočajo razvijalcem, ki morajo pozneje izdelati, preizkusiti, izvajati in podpirati aplikacije.

Orkestriranje tega plesa je način, kako Cloudera in Hortonworks zaslužijo večino svojega denarja. Težava je v tem, da je večina rešitev, ustvarjenih s to metodo, edinstvenih in se običajno osredotočajo na operativne sisteme v nasprotju z analitičnimi. Prevod? Takšne stvari se v resnici ne izpostavljajo pakiranim programskim izdelkom.

Donosnost embalaže!

Kar nas vrača v Oracle. Larry Ellison in fantje izdelujejo seno, ki prodaja tehnologijo, strojno opremo, storitve in (počakajte …) paketno programsko opremo. Cloudera je to očitno ugotovil, od tod tudi njihova osredotočenost na Impala. Toda Hortonworks?

Zdi se, da njihov model bolj podobno deluje kot RedHat, ljudje, ki so na operacijskem sistemu Linux zgradili milijardo dolarjev. Nary, največji prodajalec v podjetniški programski opremi, ne piše za Linux, OS, ki ga je IBM vodil od Microsofta ob prehodu. Toda Hadoop ni Linux, niti z dolgim ​​strelom.

Dr. Geoffrey Malafsky, nekdanji nanotehnolog ameriške mornarice, ki je zdaj znanstvenik s podjetjem Phasic Systems in inštituta PSIKORS, destilira predlogo o vrednosti Hadoop takole:

"Hadoop je odličen za iskanje, zelo obsežna analiza trendov za stohastične rezultate in verjetno neka zelo poceni pametna vzporedna obdelava stvari, kot jo je delala moja bivša žena: kvantno mehansko valovanje funkcij izračuna trdnih in kemijskih reakcij. Ta resnična znanost se opira na superračunalnikih in nekoliko prešel v vzporedno obdelavo, vendar gre za močno spremembo programskega pristopa. Mladi, pametni, energični podiplomski študentje bodo to storili. Sumim, da štipendije za raziskave začnejo v tej smeri za nekatere močne računalniške aplikacij. "

Opazili boste, da ne zveni nič, kot so skladiščenje podatkov, poslovna inteligenca, integracija podatkov ali celo veliki podatki. Sliši se kot super računalništvo. In iz nekega zanimivega razloga se svet visokozmogljivega računalništva in poslovne inteligence nikoli v resnici ni spopadel ali združil na noben smiseln način.

Dolga pot pred Hortonworks in Cloudero

In tu so res slabe novice za Hortonworks in morda za Cloudero. Veliki prodajalci, kot so IBM in SAP ter Oracle in Teradata, naj rečem milo, in citiram Dire Straits: "Ti fantje niso neumni!" Pred tremi in več leti so vsi uveljavili resne Hadoop strategije.

Pri teh načrtih so osrednje stvari, ki jih poslovni uporabniki pričakujejo: grafični uporabniški vmesniki, funkcionalnost povleci in spusti, orodja za modeliranje in odkrivanje, delovni tok, upravljanje, varnost; skratka, vsi deli in deli, zaradi katerih je programska oprema podjetja uporabna. In seveda, ti veliki prodajalci imajo množične baze za namestitev.

Zagotovo sta oba Cloudera in Hortonworks dobro poslovala, vendar le majhen del tistega, kar dobijo ti glavni igralci vsako leto. Naredite matematiko o tem, koliko izzivalci zaračunajo svojim strankam, v primerjavi s tem, koliko je verjetno njihov režijski strošek, in slika ni tako rožnata. Seveda, to je seveda za tečaj s programsko opremo v zgodnji fazi, vendar še vedno …

Prihodnost Hadoopa?

Bi morda videli klasični val pridobitev, kakršen smo imeli že v avnetih, ko je IBM kupil Cognos, Oracle dobil Hyperion in SAP nabil BusinessObjects? Mogoče, toda novi otroci tega bloka nimajo Hadoopa; samo si ga izposodijo. In kot je obetavno, kot sta YARN in Tez, se zdi, da cikli sproščanja zaostajajo za tistimi, ki jih proizvajajo težki napadalci.

Še drugi dan je notranji strokovnjak komentiral, da je politika v Apaču lahko resno ozko grlo. To ni presenetljivo, še posebej, če upoštevate vpletene dolarje - inovatorji so zelo motivirani, da bi si ga prizadevali za bogato. In je že kdo opazil, kako je videti, da je Chrome v zadnjem času presegel Firefox po funkcionalnosti in operativnosti? Kdo je zaprt,

Eno je gotovo: ta igra se bo igrala na zanimive načine. Da, sesalci (beri: mali prodajalci) lahko pogosto prehitijo dinozavre; vendar še vedno obstajajo aligatorji in krokodili po vsem svetu; in če se nenadoma spotaknete, lahko preprosto odkrijete, kako ostri so lahko ti zobje. Nekaj ​​krokusov skupaj bi lahko celo odgnalo slona ali dva.