Avtor osebja Techopedia, 24. februarja 2016
Odvzem: Voditeljica Rebecca Jozwiak razpravlja o analitičnem pretoku z vrhunskimi strokovnjaki v industriji.
Trenutno niste prijavljeni. Če si želite ogledati video, se prijavite ali prijavite.
Rebecca Jozwiak: Dame in gospodje, pozdravljeni in dobrodošli v Hot Technologies 2016! Današnji naslov je "izkoriščanje ognjenih: pridobivanje poslovne vrednosti od pretočnega analitika." To je Rebecca Jozwiak. Jaz sem drugi za voditelja spletnega prenosa, kadar naš dragi Eric Kavanagh ne more biti tukaj, zato je danes lepo videti toliko vas.
Ta epizoda se nekoliko razlikuje od drugih. Nekako smo se pogovarjali o tem, kaj je vroče in seveda letos vroče. Zadnjih nekaj let je bilo vroče. Vedno izhajajo nove stvari. Danes govorimo o pretočni analitiki. Pretočna analitika je nekako nova. Seveda pretakanje, sredinski podatki, RFID podatki niso nujno novi. Toda v okviru podatkovnih arhitektur smo že desetletja tako osredotočeni na podatke v mirovanju. Baze podatkov, datotečni sistemi, shrambe podatkov - vse v večini namenov paketne obdelave. Toda zdaj s premikom za ustvarjanje vrednosti iz pretoka podatkov, podatkovnih čustev, nekateri to imenujejo živi tokovi, resnično potrebujejo strukturo, ki temelji na toku, ne pa podatke v mirovanju arhitektur, ki smo jih bili vajeni in ki bi jih morali imeti sposobni ravnanje s hitro zaužitjem, sprotno obdelavo ali skoraj v realnem času. Mora biti sposobna poskrbeti ne le za Internet stvari, ampak za internet vsega.
Seveda bi bilo v najboljšem primeru lepo, če bi dve arhitekturi živeli drug ob drugem, ena roka umivala, tako rekoč. Medtem ko so podatki o dneh, podatki v tednih, podatki o letih še vedno pomembni, zgodovinska analitika, analiza trendov, so podatki v živo tisti, ki te dni poganjajo inteligenco v živo, zato je pretakanje analitike postalo tako pomembno.
Danes govorim več o tem. Dez Blanchfield se je oglasil iz Avstralije. Zdaj je zgodaj zjutraj zanj. Imamo našega glavnega analitika, dr. Robina Bloorja. Pridružuje se nam Anand Venugopal, vodja izdelka za podjetje StreamAnalytix v podjetju Impetus Technologies. Resnično so osredotočeni na vidik analitike v tem prostoru.
S tem bom šel naprej in ga prenesel Dezu.
Dez Blanchfield: Hvala. Tu moram prijeti nadzor nad zaslonom in se pomakniti naprej.
Rebecca Jozwiak: Tukaj.
Dez Blanchfield: Medtem ko se lotevamo diapozitivov, naj samo predstavim osrednjo temo.
Ohranil bom dokaj visok nivo in držal bom približno 10 minut. To je zelo velika tema. Sodeloval sem v dogodku, ko smo se dva do tri dni potapljali v podrobnosti o tem, kaj je obdelava tokov in trenutni okviri, ki jih razvijamo, in kaj naj bi pomenilo izvajanje analitike v teh velikih količinah.
Pojasnili bomo, kaj mislimo s pretakanjem analitike, nato pa se bomo poglobili v to, ali je mogoče pridobiti poslovno vrednost, ker to podjetja resnično iščejo. Iščejo, da bi jim ljudje zelo hitro in kratko razložili, kje lahko pridobim vrednost z uporabo neke oblike analitike za naše tokovne podatke?
Kaj je pretočna analitika?
Pretočna analitika organizacijam omogoča pridobivanje vrednosti iz podatkov velikega obsega in hitrosti, ki jih skozi podjetje prihajajo v različnih oblikah v gibanju. Bistvena razlika je v tem, da smo že dolgo razvijali analitiko in objektiv ter poglede na podatke, ki smo jih v mirovanju obdelovali desetletja, odkar je bil izumljen mainframe. Ogromen premik paradigme, ki smo ga videli v zadnjih treh do petih letih pri tem, čemur pravimo "spletna lestvica", je vpiranje v tokove podatkov, ki prihajajo v nas v realnem času ali skoraj v realnem času, in ne samo obdelava in iskanje korelacije dogodkov oz. sprožilec dogodkov, vendar izvaja resnično natančno in poglobljeno analitiko v teh tokovih. To je pomemben premik k tistemu, kar smo delali prej, in sicer bodisi zbiranje podatkov, dajanje v nekakšno shrambo, zdaj že tradicionalno velike baze podatkov, veliki veliki okviri podatkov, kot je platforma Hadoop, in izvajanje tega paketnega načina obdelave ter pridobivanje nekakšen vpogled.
Zelo dobro smo to naredili zelo hitro in poskušali veliko težkega železa pri stvari, vendar še vedno resnično zajemamo podatke, jih hranimo in nato pogledamo ter na njih dobimo kakšen vpogled ali analitiko. Premik k izvajanju teh analitičnih podatkov, ko se podatki pretakajo, je bil zelo novo in vznemirljivo območje rasti za vrste stvari, ki se dogajajo okoli velikih podatkov. Za zajem, shranjevanje in obdelavo ter izvajanje analitike je potreben popolnoma drugačen pristop.
Eden ključnih dejavnikov premika in osredotočenosti na izvajanje analitike v toku je, da lahko pridobite pomembne poslovne vrednosti, če hitreje in hitreje pridobivate te vpoglede, ko podatki prihajajo k vam, saj so informacije na voljo podjetju. Zamisel o končni obdelavi danes v nekaterih panogah ni več pomembna. Želimo biti sposobni narediti analitiko v hipu. Do konca dneva že vemo, kaj se je zgodilo, kot se je zgodilo, namesto da bi prišli do konca dneva in opravili 24-urno paketno delo ter dobili ta vpogled.
Pretočna analitika pomeni, da se pretaknemo v ta tok, medtem ko so tokovi podatkov ponavadi več tokov zelo velikih količin podatkov in podatkov, ki pridejo k nam v gibanje zelo, zelo hitro in dobivamo vpogled ali analitiko v te tokove, če pridejo do nas. dovoliti, da to pride v mirovanju in izvaja analitiko na njih.
Kot sem že omenil, smo že desetletja in desetletja izvajali tako imenovano paketno analitiko. Tu sem dal res kul sliko. To je slika gospoda, ki stoji pred zasmešenim računalnikom, ki ga je družba RAND Corporation ustvarila pred življenjem in tako so si ogledali računalnik v hiši. Zanimivo je, da so že takrat imeli ta koncept vseh teh majhnih številk in ti klicarji so predstavljali informacije, ki prihajajo iz hiše in se obdelujejo v realnem času in vam povedo, kaj se dogaja. Preprost primer je niz barometričnega tlaka in temperature, ki lahko vidimo, kje vidimo, kaj se dogaja v realnem času. Vendar si predstavljam, da so že takrat, ko je korporacija RAND zbrala ta mali model, pravzaprav razmišljali že o obdelavi podatkov in izvajanju analitike, ko prihaja v obliki pretoka. Nisem povsem prepričan, zakaj so v računalnik postavili volanski obroč, vendar je to precej kul.
Od izuma tiskalnika smo si ogledali zajem podatkov in izvajanje paketne analize. Kot sem že povedal z velikim premikom in smo to videli že od všečkov igralcev spletnih lestvic, za katere vsi vemo, da so vse blagovne znamke gospodinjstev, kot so Twitter, Facebook in LinkedIn, interaktivno vedenje, ki ga imamo s tistimi socialnimi platforme ne zahtevajo samo zajema, shranjevanja in obdelave v paketnem načinu, ampak dejansko zajemajo in poganjajo analitiko med uporabo iz tokov podatkov, ki prihajajo skozi. Ko nekaj objavim, ne samo, da jih potrebujejo za kasnejšo zajemanje in shranjevanje in naredijo, ampak morajo biti sposobni, da to takoj postavijo nazaj na moj tok in jih delijo z drugimi, ki mi sledijo. To je model serijske obdelave.
Zakaj bi se spustili po tej poti? Zakaj bi organizacije vlagale čas, trud in denar, če sploh razmišljajo o izzivu, kako si prizadevati po poti tokovne analitike? Organizacije imajo to veliko željo po doseganju uspeha nad svojimi konkurenti v panogah, v katerih se nahajajo, in da je mogoče izboljšanje uspešnosti hitro implementirati s preprosto analitiko toka, začeti pa se lahko s preprostim sledenjem podatkov v realnem času, ki smo jih že seznanjeni z. Tam imam malo posnetka zaslona Google Analytics. Verjetno je to eden prvih primerov, ko smo resnično dobili analitiko potrošnikov. Ko so ljudje obiskovali vaše spletno mesto in prejemali štetje zadetkov, so z majhnim koščkom JavaScript na dnu vaše spletne strani v HTML, vgrajenim na vašem spletnem mestu, te majhne kode nastajale v Googlu v realnem času in so bile izvaja analitiko na tistih tokih podatkov, ki prihajajo z vsake strani na vašem spletnem mestu, vsakega predmeta na vašem spletnem mestu v realnem času in vam ga pošljejo nazaj na tej res luštni mali spletni strani na nadzorni plošči grafov v realnem času, luštnih malih histogramov in linijski graf, ki prikazuje X število ljudi, ki so zgodovinsko posegli po vaši strani, ampak tukaj jih je trenutno veliko.
Kot lahko vidite na posnetku zaslona, trenutno piše 25. Trenutno je bilo 25 ljudi, ko je bil posnetek zaslona na tej strani. To je prva resnična priložnost, ki smo jo igrali na orodju za analizo potrošnikov. Mislim, da ga je veliko ljudi res dobilo. Pravkar so razumeli moč vedeti, kaj se dogaja in kako se lahko odzovejo na to. Ko pomislimo na lestvico letalskih letal, ki letijo naokoli, je samo v ZDA 18.700 domačih letov na dan. Pred časom sem prebral članek - približno šest ali sedem let -, da je bila količina starega inženirskega modela približno 200 do 300 megabajtov v starem inženirskem modelu. V današnjih modelih zrakoplovov ta letala proizvedejo približno 500 gigabajtov podatkov ali približno pol terabajta podatkov na let.
Ko matematično opravite zelo hitro z vrha glave, je 18.700 domačih letov vsakih 24 ur samo v ameriškem zračnem prostoru, če vsa sodobna letala proizvedejo približno pol terabajta, to je 43 do 44 petabajtov podatkov, ki prihajajo skozi oz. dogaja se, medtem ko so letala v zraku. To se dogaja, ko pristanejo in odlagajo podatke. Takrat grejo v trgovino in od inženirskih skupin preberejo polne podatke, da si ogledajo, kaj se dogaja v ležajih, kolesih in v motorjih. Nekatere od teh podatkov je treba obdelati v realnem času, da se bodo lahko odločali, če je resnično težava, medtem ko je bilo letalo v zraku ali ko je na tleh. Tega preprosto ne morete storiti v paketnem načinu. V drugih panogah, ki jih vidimo zunaj financ, zdravstva, proizvodnje in inženiringa, si ogledujejo tudi, kako lahko dobijo ta nov vpogled v dogajanje v realnem času, v nasprotju s tistim, kar se samo shranjuje v bazah podatkov na izraz.
Obstaja tudi ta koncept ravnanja s podatki, kot sem poimenovanje pokvarljivega blaga ali pokvarljivega blaga - da veliko podatkov sčasoma izgubi vrednost. Vse pogosteje je to pri aplikacijah za mobilnost in orodjih za družabne medije, kajti tisto, na kar se želijo odzvati, in kaj je zdaj v trendu. Ko razmišljate o drugih delih našega življenja z logistiko in pošiljanjem hrane naokoli, razumemo koncept pokvarljivega blaga v tem smislu. Pomislite pa na podatke, ki potekajo skozi vašo organizacijo, in na vrednost, ki jo ima. Če nekdo zdaj z vami posluje in z njimi lahko komunicirate v realnem času, ne želite čakati eno uro, da se podatki lahko zajamejo in dajo v sistem, kot je Hadoop, in nato pritisnete ta gumb, se zdaj ne bo mogel spoprijeti z njim in želite, da to takoj storite na zahtevo stranke. Zdaj se bo pojavil izraz, ki se bo pojavil veliko, ko ljudje govorijo o tem, da ima ta tok podatkov v realnem času, ki vam lahko daje personalizacijo, in o prilagoditvi v sistemu, ki ga uporabljate, glede na vaše osebne izkušnje. Če na primer zadete orodje, kot je orodje Google Search, če poizvem in storite isto poizvedbo, nenehno ne dobimo popolnoma enakih podatkov. V bistvu dobimo tisto, kar navajam kot izkušnjo slavnih. Zdravim se enkratno. Svojo osebno različico tega, kar se dogaja v teh sistemih, dobim na podlagi profilov in podatkov, ki so jih zbrali o meni, in analitiko sem lahko naredil v realnem času v toku.
Ta ideja, da so podatki hitro pokvarljivo blago, je za zdaj resnična stvar, vrednost podatkov, ki se sčasoma zmanjšujejo, pa je nekaj, s čimer se moramo ukvarjati danes. To ni stvar včeraj. Všeč mi je ta slika medveda, ki lovi lososa, ki skače iz reke, ker res slika točno tisto, kar vidim v analitiki. Ta množična reka podatkov prihaja k nam, ognjenik, če hočete, medved pa sedi sredi potoka. Opravljal bo analitiko v realnem času na tem, kar se dogaja okoli njega, tako da bo dejansko lahko zajel svojo sposobnost zajema te ribe v zraku. Ni tako, da bi se potopili v tok in ga zgrabili. Ta stvar skače v zraku in mora biti ob pravem času na pravem mestu, da ujameš to ribo. V nasprotnem primeru ne dobi zajtrka ali kosila.
Organizacija želi enako storiti s svojimi podatki. Želijo pridobiti vrednost iz zdaj že ogromnih količin podatkov v gibanju. Na teh podatkih želijo opraviti analitiko in podatke o visoki hitrosti, tako da pri nas ne prihaja le količina podatkov, ampak hitrost, s katero prihajajo. Na primer pri varnosti so vsi vaši usmerjevalniki, stikala, strežniki, požarni zidovi in vsi dogodki, ki prihajajo iz teh in več deset tisoč, če ne več sto tisoč naprav, v nekaterih primerih pa so pokvarljivi podatki. Ko o tem razmišljamo v internetu stvari in industrijskem internetu, govorimo o milijonih, če ne celo milijardah senzorjev, in ko podatki prihajajo skozi, ki izvaja analitiko, zdaj preučujemo kompleksne obdelave dogodkov z ukazom velikosti in hitrosti, kakršne še nikoli nismo videli in se moramo danes spoprijeti s tem. Okrog tega moramo izdelati orodja in sisteme. To je pravi izziv za organizacije, saj imamo po eni strani zelo velike blagovne znamke, ki delajo naredi sam, pečejo jih same, ko imajo zmogljivosti za to in nabora spretnosti in inženiringa. Toda za povprečno organizacijo to ne drži. Nimajo nabora spretnosti. Nimajo niti zmogljivosti niti časa ali celo denarja, da bi ga vložili v to. Vsi so usmerjeni v ta koncept odločanja skoraj v realnem času.
Uporabite primere, ki sem jih zasledila, in so v vsem širokem spektru vsakega sektorja, ki si ga lahko predstavljate, ljudje sedijo in pozorni in pravijo, kako uporabimo nekaj analitike za naše podatke o toku? Govorimo o spletnih storitvah na spletu. Obstajajo tradicionalne platforme za socialne medije ter spletna e-sporočila in trgovina na drobno - na primer aplikacije. Vsi nam poskušajo omogočiti to izkušnjo slavnih v realnem času. Ko pa se lotimo več storitev zlaganja tehnologij, telefonskih storitev, govornega in videoposnetka, vidim ljudi, ki se sprehajajo po telefonu FaceTime. Samo eksplodira. Zdi se mi, da ljudje držijo telefon pred seboj in se pogovarjajo s video tokom prijatelja, namesto da bi ga več držal za uho. A vedo, da to zmorejo, in prilagodili so se in všeč jim je bila ta izkušnja. Razvoj teh aplikacij in platform, ki jih ponujajo, je treba opraviti analitiko v realnem času na tem prometu in na profilih prometa, tako da lahko naredijo preproste stvari, kot je popoln usmerjanje tega videoposnetka, tako da kakovost glasu v video, ki ga dobite, je primeren za dobro izkušnjo. Ne morete paketno obdelati takšnih podatkov. S tem v realnem času video tok ne bi postal funkcionalna storitev.
V finančnih transakcijah je izziv upravljanja. Ni v redu, da pridete do konca dneva in ugotovite, da ste kršili zakon, ki se zasebni podatki premikajo po kraju. V Avstraliji imamo zelo zanimiv izziv, pri katerem ne gre za premikanje podatkov, povezanih z zasebnostjo, na morje. PID-a, mojih osebnih osebnih identifikacijskih podatkov ne morete vzeti v morje. V Avstraliji obstajajo zakoni, ki preprečujejo, da bi se to dogajalo. Ponudniki finančnih storitev, še posebej, vladne službe in agencije, morajo z njimi delati analitiko v realnem času, da se prepričajo, da tisto, kar mi nudijo, ne zapusti obale. Vse stvari morajo ostati lokalno. To morajo storiti v realnem času. Ne morejo prekršiti zakona in pozneje prositi za odpuščanje. Odkrivanje goljufij - je precej očiten, o katerem slišimo pri transakcijah s kreditnimi karticami. Ker pa se vrste transakcij, ki jih opravljamo v finančnih storitvah, spreminjajo zelo, zelo hitro, obstajajo različne stvari, ki jih PayPal počne najprej pri odkrivanju goljufij v realnem času, ko se denar ne premika iz ene stvari v drugo, ampak je finančna transakcija med sistemi. Platforme za zbiranje ponudb na eBayu in odkrivanje prevar je treba izvajati v realnem času v pretočni pisarni.
Zdaj se pojavlja trend izvajanja pridobivanja in preoblikovanja obremenitvenih tokov v potokih, zato ne želimo zajeti ničesar, kar gre v tok. Tega res ne moremo storiti. Ljudje so se naučili, da se podatki radi zelo hitro lomijo, če zajamemo vse. Trik je zdaj v tem toku izvajati analitiko in izvajati ETL in samo zajemati tisto, kar potrebujete, potencialno metapodatke, in nato voziti prediktivno analitiko, kjer lahko dejansko povemo, kaj se bo zgodilo malo naprej po poteh tega, kar V toku smo pravkar videli na podlagi analitike, ki smo jo opravili na tem področju.
Ponudniki energije in komunalnih storitev doživljajo to množično željo potrošnikov po ceni povpraševanja. Mogoče bi se odločil, da želim kupiti zeleno moč ob določenem času dneva, ker sem samo doma in ne uporabljam veliko naprav. Če pa imam večerjo, bi morda želel imeti vse svoje naprave in ne želim, da kupujem poceni električno energijo in čakam, da jo dostavijo, vendar sem pripravljen plačati za več stroškov, da dobim to moč. Taka cena povpraševanja, zlasti v komunalnih in energetskih prostorih, se je že zgodila. Uber je na primer klasičen primer stvari, ki jih lahko počnete vsak dan, vse pa poganja cena povpraševanja. Nekaj klasičnih primerov je, da ljudje v Avstraliji zaradi velikega povpraševanja na silvestrski večer dobijo 10.000 ameriških vozovnic. Prepričan sem, da so se tega vprašanja lotili, toda analitika pretoka se izvaja v realnem času, medtem ko v avtu povem, koliko bi moral plačati.
Internet stvari in senzorski tokovi - na tem mestu smo samo opraskali površino in v resnici smo imeli samo osnovni pogovor o tem, vendar bomo videli zanimiv premik, kako se tehnologija ukvarja s tem, ker ko ne govorite približno tisoč ali deset tisoč, toda na stotine tisoč in potencialno več milijard naprav, ki se pretakajo do vas, skoraj nobena tehnološka zbirka, ki jo imamo zdaj, ni zasnovana za to.
Obstaja nekaj resnično vročih tem, ki jih bomo videli okoli, kot so varnost in kibernetsko tveganje. Za nas so resnični izzivi. Na spletu obstaja resnično lepo orodje, imenovano Sever, kjer lahko v realnem času sedite in gledate na spletni strani različne kibernetske napade. Ko pogledate to, si mislite, "oh, lepa luštna spletna stran", vendar po približno petih minutah tam zaznate količino podatkov, ki jih sistem izvaja analitično v vseh različnih tokovih vseh različnih naprav po vsem svetu. ki se hranijo vanje. Začeli ste si zamišljati, kako to izvajajo na robu tega posnetka in vam ponuja preprost mali zaslon, ki vam pove, kaj ali kaj drugega napada v realnem času in katere vrste napadov. Vendar je resnično majhen način, da samo dobite okus, kaj lahko analitika pretokov v resničnem času naredi za vas, tako da samo gledate to stran in dobite občutek le obsega in izziva, da boste pretočno pretočili, obdelali analitične poizvedbe njih in predstavljajo to v realnem času.
Mislim, da bo pogovor, ki ga imam do konca seje, obravnaval vse te stvari z enim zanimivim pogledom, in to je izziv podjetja "Naredi si sam", izpiši ga, ustreza nekaj klasični samorogi, ki si lahko privoščijo zgraditi te vrste stvari. Dobili so več milijard dolarjev za gradnjo teh inženirskih skupin in za gradnjo njihovih podatkovnih centrov. Toda za 99, 9% tamkajšnjih organizacij, ki želijo doseči vrednost pri svojem poslovanju z analitiko pretoka, morajo dobiti brezplačno storitev. Nakup izdelka morajo kupiti na novo in običajno potrebujejo nekaj svetovalnih in strokovnih storitev, ki jim bodo pomagale pri izvajanju, to vrednost pa dobijo nazaj v poslu in ga prodajo podjetju kot delovno rešitev.
S tem se bom vrnil, Rebecca, ker verjamem, da bomo to zdaj podrobno zajeli.
Rebecca Jozwiak: Odlično. Najlepša hvala, Dez. To je odlična predstavitev.
Zdaj bom žogo poslal Robinu. Vzemi stran.
Robin Bloor: V redu. Ker je Dez šel v dušično trdoto predelave tokov, se mi ni zdelo smiselno, da bi ga spet zajemal. Torej grem povsem strateško. Če pogledam skoraj z zelo visoke ravni navzdol na to, kaj hudiča se dogaja, in to postavim, ker mislim, da bi lahko pomagal ljudem, še posebej nam ljudem, ki že pred tem niso ujeti v tokove, ki obdelujejo velike globine.
Obdelava tokov poteka že dolgo. Včasih smo ga imenovali CEP. Pred tem so obstajali sistemi v realnem času. Prvotni sistemi za nadzor procesov so dejansko obdelovali tokove informacij - seveda nič ne gre tako daleč kot danes. Ta grafika, ki jo vidite na diapozitivu; pravzaprav kaže na marsikaj, vendar poudarja zgoraj in zunaj česa drugega - dejstvo, da je tu dolg spekter zamud, ki se pojavljajo v različnih barvah. Od izuma računalništva ali komercialnega računalništva, ki je prišel prav okoli leta 1960, se je dejansko zgodilo, da je vse postalo hitreje in hitreje. Včasih smo bili odvisni od tega, kako se to dejansko izkaže, če vam je všeč v valovih, ker tako izgleda. To je dejansko odvisno od tega. Ker ga je vse poganjal Mooreov zakon in bi Moorejev zakon v obdobju približno šestih let dal faktor približno desetkratne hitrosti. Potem, ko smo dejansko prišli do leta 2013, se je vse pokvarilo in kar naenkrat smo začeli pospeševati s hitrostjo, kakršne še nikoli nismo, kar je nenavadno brez primere. Povečanje hitrosti in s tem zmanjšanje zamude približno vsakih šest let smo dobili približno deset. V šestih letih od približno leta 2010 jih imamo več kot tisoč. Tri zaporedja namesto enega.
To se dogaja in zato se zdi, da se industrija tako ali drugače giblje s fantastičnimi hitrostmi - ker je. Samo skozi pomen te posebne grafike so odzivni časi pravzaprav mimogrede v algoritmičnem merilu navpično. Realni čas je računalniška hitrost, hitrejša od človeka. Interaktivni časi so oranžni. Tam, ko komunicirate z računalnikom, tam resnično želite od ene desetine do približno ene sekunde zamude. Zgoraj je transakcija, kjer dejansko razmišljamo o tem, kaj počnete v računalniku, vendar če to izzveni v približno petnajstih sekundah, postane nevzdržno. Ljudje dejansko ne bodo čakali na računalnik. Vse je potekalo v šarži. Veliko stvari, ki smo jih naredili v paketu, se zdaj spušča desno v transakcijski prostor, desno v interaktivni prostor ali celo v vesolje v realnem času. Medtem ko smo valovito z zelo majhnimi količinami podatkov, ki bi jih lahko naredili nekaj tega, lahko zdaj storimo z zelo velikimi količinami podatkov z uporabo zelo povečanega okolja.
Torej, v bistvu vse to pravi, da so res časi transakcij in interaktivnega človekovega odziva. Zelo veliko tega, kar se trenutno počne s potoki, je informiranje ljudi o stvareh. Nekateri se dogajajo hitreje od tega in stvari dobro obveščajo, tako da je v realnem času. Potem si vzamemo dovoljenje, da le tako pademo kot kamen, zaradi česar je takojšnja analitika izvedljiva in mimogrede precej dostopna. Ni samo hitrost padla, vrh pa se je prav tako sesul. Verjetno največji vpliv na vse te med vsemi različnimi aplikacijami lahko opravite z vsemi temi napovednimi analitikami. Povedal vam bom, zakaj čez minuto.
To je samo trgovina strojne opreme. Imate vzporedno programsko opremo. Govorimo o letu 2004. Razširjena arhitektura, večjedrni čipi, povečanje pomnilnika, nastavljiv CPU. SSD diski zdaj gredo toliko hitreje kot predenje diska. Precej valov se lahko poslovite od diska. SSD diski so tudi v več jedrih, zato spet hitreje in hitreje. Kmalu se bo pojavil memorial od HP-ja. 3D XPoint smo dobili pri Intelu in Micronu. Obljuba teh je, da bo vseeno vse hitreje in hitreje. Ko dejansko razmišljate o dveh novih pomnilniških tehnologijah, ki bosta obe temeljni delček, bo posamezno vezje šlo hitreje, tega še nismo videli.
Tehnologija pretokov, ki je naslednje sporočilo res je tu, da ostane. Morala bo nova arhitektura. Mislim, Dez je to v svoji predstavitvi nekako omenil v več točkah. Desetletja smo na arhitekturo gledali kot na kombinacijo kopic podatkov in podatkovnih cevi. Težili smo k obdelavi skupin in podatke smo pošiljali med skupine. Zdaj gremo v bistvu k temu, čemur pravimo arhitektura podatkov Lambda, ki združuje obdelavo podatkovnih tokov s kopico podatkov. Ko v resnici obdelujete tok dogodkov, ki prihajajo proti zgodovinskim podatkom, kot tok podatkov ali kopica podatkov, to mislim pri Lambda arhitekturi. To je v povojih. To je le del slike. Če menite, da je nekaj tako zapletenega kot Internet vsega, kar je omenil tudi Dez, boste dejansko ugotovili, da obstajajo vse vrste težav z lokacijo podatkov - odločitve o tem, kaj morate obdelati v toku.
Tu resnično pravim, da smo ob obdelavi v šarži dejansko predelali tokove. Tega preprosto nismo mogli narediti. Počakamo samo, da pride do velikega števila stvari in nato vse naenkrat predelamo. Prehajamo v situacijo, ko lahko dejansko predelamo stvari v toku. Če lahko obdelujemo stvari v toku, potem bodo kopice podatkov, ki jih imamo, statični podatki, ki jih moramo navesti za obdelavo podatkov v toku.
To nas vodi do te posebne stvari. To sem že omenil v neki predstavitvi z biološko analogijo. Način, o katerem bi rad razmišljal, je v tem trenutku, ko smo ljudje. Imamo tri različne mreže za sprotno prediktivno obdelavo. Imenujejo jih somatski, avtonomni in enterični. Začetek je tvoj želodec. Avtonomni živčni sistem skrbi za boj in polete. Pravzaprav skrbi za hitre reakcije okolja. Somatično, ki skrbi za premikanje telesa. To so sistemi v realnem času. Zanimivost pri tem - ali mislim, da je nekako zanimiva - je veliko bolj napovednega, kot bi si sploh predstavljali. Kot da dejansko gledate zaslon približno 18 centimetrov od obraza. Vse, kar lahko jasno vidite, vse kar je vaše telo sposobno jasno videti, je pravzaprav približno pravokotnik velikosti 8 × 10. Vse, kar je zunaj tega, je dejansko zamegljeno, kar zadeva vaše telo, toda vaš um se dejansko zapolni v vrzeli in ne postane zamegljen. Sploh ne vidite zamegljenosti. To jasno vidite. Vaš um dejansko dela prediktivno metodo pretoka podatkov, da bi videli to jasnost. To je nekaj radovednega, toda dejansko si lahko ogledate način delovanja živčnega sistema in način, kako nam uspe obiti in se obnašati razumno - vsaj nekateri od nas - razumno zdravo in se ne srečujemo s stvarmi ves čas.
Vse to naredi serija lestvice nevronske analitike. Zgodilo se bo, da bodo organizacije imele isto vrsto stvari in bodo zgradile isto vrsto stvari in bo to obdelava tokov, vključno z notranjimi tokovi organizacije - stvari, ki se dogajajo znotraj stvari, ki se dogajajo zunaj nje, trenutni odzivi, ki jih je dejansko treba sprejeti, so seveda hranjenje človeka za sprejemanje odločitev, da se vse to zgodi. Tja gremo, kolikor vidim.
Posledica tega je, da raven aplikacije za pretakanje poteka dobro. Zgodilo se bo veliko več kot zdaj. Trenutno beremo sadje, ki je nizko vešč, da bomo počeli očitne stvari.
Tako ali tako je tukaj zaključek. Pretočna analitika je nekoč niša, vendar postaja mainstream in bo kmalu na splošno sprejeta.
S tem ga bom poslal nazaj Rebeki.
Rebecca Jozwiak: Najlepša hvala, Robin. Odlična predstavitev kot običajno.
Anand, ti si naslednji. Tla so tvoja.
Anand Venugopal: Fantastično. Hvala vam.
Moje ime je Anand Venugopal in sem vodja izdelka za StreamAnalytix. Gre za izdelek, ki ga ponuja Impetus Technologies, iz mesta Los Gatos v Kaliforniji.
Impetus je imel v resnici veliko zgodovino, saj je bil velik ponudnik podatkovnih rešitev za velika podjetja. Tako smo dejansko storili številne izvedbe pretočne analitike kot storitveno podjetje in izvedeli smo veliko lekcij. V zadnjih nekaj letih smo se tudi spremenili v proizvodno podjetje in podjetje, ki temelji na rešitvah, analitika pretoka pa je usmerjena v preoblikovanje Impetusa v podjetje, ki je v veliki meri usmerjeno na izdelke. Obstaja nekaj kritičnih, zelo, zelo ključnih sredstev, ki jih je Impetus odstranil zaradi naše izpostavljenosti do podjetij in StreamAnalytix je eno izmed njih.
Delamo že 20 let in velika kombinacija izdelkov in storitev je velika prednost. In StreamAnalytix se je rodil iz vseh lekcij, pridobljenih iz prvih petih ali šestih implementacij pretakanja.
Dotaknil se bom nekaj stvari, toda analitiki, Dez in Robin, so fantastično opravili na splošno pokrivanje vesolja, zato bom preskočil veliko vsebine, ki se prekriva. Verjetno bom šel hitro. Poleg resničnih pretočnih primerov vidimo veliko samo pospeševanja šarže, kjer v podjetjih obstajajo dobesedno zelo, zelo pomembni šaržni procesi. Kot lahko vidite, bi lahko celoten cikel zaznavanja dogodka in njegove analize ter delovanja nanje dejansko trajal tedne v velikih podjetjih, ki jih vsi poskušajo skrčiti na nekaj minut, včasih pa na sekunde in milisekunde. Torej, kaj hitreje kot vsi ti šaržni postopki so kandidati za pridobitev podjetij, in to je zelo dobro, saj se vrednost podatkov s starostjo dramatično zmanjša, zato je večja vrednost v začetnem delu v nekaj sekundah, ko se je pravkar zgodilo. V idealnem primeru, če bi lahko napovedali, kaj se bo zgodilo, je to največja vrednost. To je odvisno od natančnosti. Naslednja najvišja vrednost je, ko je tam, ko se dogaja, pa jo lahko analizirate in odgovorite. Seveda se vrednost dramatično zmanjša po tem, glavnem restriktivnem BI-ju, v katerem smo.
Zanimivo je. Morda boste pričakovali dramatično znanstven odgovor na to, zakaj se pretaka analitika. Pri mnogih primerih je to, ker je to zdaj mogoče in ker vsi vedo, da je šarža stara, je serija dolgočasna in serija ni kul. Vsakdo ima dovolj izobrazbe o dejstvu, da je možno pretakanje in da imajo zdaj vsi Hadoop. Zdaj je v distribucijah Hadoop vgrajena tehnologija pretakanja, ne glede na to, ali gre za Storm ali Spark streaming in seveda čakalne vrste sporočil, kot je Kafka itd.
Podjetja, ki jih vidimo, skačejo vanjo in začnejo eksperimentirati s temi primeri in vidimo dve široki kategoriji. Ena ima nekaj opravka z analitiko in izkušnjami strank, druga operativna inteligenca. Nekaj podrobnosti o tem bom prejel nekoliko kasneje. Celotna služba za stranke in izkušnje s strankami in mi v podjetju Impetus StreamAnalytix smo to storili na več različnih načinov, je res vse v resnici, resnično zajamejo večkanalno sodelovanje potrošnikov v realnem času in jim omogočimo zelo, zelo kontekstno občutljive izkušnje ki danes niso pogoste. Če brskate po spletu, na spletnem mestu Bank of America in ste raziskovali nekatere izdelke in preprosto pokličete klicni center. Bi rekli: "Hej Joe, vem, da ste raziskovali nekatere bančne izdelke, ali bi želeli, da vas izpolnim?" Tega danes ne pričakujete, toda to je takšna izkušnja, ki je resnično mogoča s pretakanjem analitike. V mnogih primerih je to zelo pomembno, še posebej, če je stranka začela raziskati načine, kako izstopiti iz pogodbe s tabo, tako da na svojem spletnem mestu pogleda klavzule o predčasnem odpovedi ali pogoje predčasne odpovedi, nato pa se oglasite in ne morete neposredno se soočiti z njimi, vendar samo posredno dajte ponudbo o kakšni prvi promociji, ker sistem ve, da ta oseba išče predčasno odpoved in vi to ponudbo v tistem trenutku zelo dobro zaščitite, če bi kupca ohranili in zaščitili to sredstvo .
To bi bil en primer, poleg tega pa je veliko storitev za stranke zelo dober primer. Danes uvajamo stroške v klicnem centru in zagotavlja dramatične prijetne izkušnje strank. Dez je opravil veliko delo pri povzetju nekaterih primerov uporabe. Nekaj minut lahko buljite v ta grafikon. Uvrstil sem ga med vertikale, vodoravnike in kombinirana območja, IoT, mobilne aplikacije in klicni center. Vse so navpične in vodoravne. Odvisno je, kako gledate na to. V nadaljevanju vidimo veliko horizontalnih načinov uporabe, ki so dokaj pogosti v vertikali industrije in obstajajo primeri vertikalne posebne uporabe, vključno s finančnimi storitvami, zdravstvom, telekomunikacijami, proizvodnjo itd. da, "o, ne vem, kakšni primeri uporabe so. Nisem prepričan, ali resnično obstaja kakšna poslovna vrednost pri pretakanju analitike za moje podjetje ali za naše podjetje, «dobro premislite, premislite dvakrat. Pogovorite se z več ljudmi, ker obstajajo primeri uporabe, ki so v vašem podjetju danes pomembni. Preučil se bom o vrednosti podjetja, kako natančno izhaja vrednost podjetja.
Na dnu piramide imate napovedno vzdrževanje, varnost, zaščito pred rokovanjem itd. Te vrste uporabe pomenijo zaščito prihodkov in premoženja. Če bi Target zaščitil njihovo kršitev varnosti, ki se je zgodila več ur in tednov, bi mu CIO lahko rešil službo. Prihranili bi lahko več deset ali sto milijonov dolarjev itd. Analitika v realnem času resnično pomaga pri zaščiti teh sredstev in zaščiti izgub. To je direktna dodana vrednost podjetja.
Naslednja kategorija postaja vse bolj donosna, znižuje stroške in prinaša več prihodkov iz tekočega poslovanja. To je učinkovitost trenutnega podjetja. Vse to so primeri uporabe, ki jih imenujemo operativna obveščanje v realnem času, kjer dobite globok vpogled v to, kako se omrežje obnaša, kako se vedejo vaše stranke, kako se obnaša vaš poslovni proces in ste sposobni spremeniti vse to v realnem času, ker dobiš povratne informacije, dobiš opozorila. V realnem času dobite odstopanja, odstopanja in lahko hitro ukrepate in ločite postopek, ki gre zunaj meja.
Lahko bi prihranili tudi veliko denarja pri dragih kapitalskih posodobitvah in stvareh, za katere menite, da so potrebne, kar morda ne bi bilo potrebno, če bi optimizirali omrežno storitev. Slišali smo za primer, ko je glavni telco odložil 40 milijonov dolarjev nadgradnjo svoje omrežne infrastrukture, ker so ugotovili, da imajo dovolj zmogljivosti za upravljanje svojega trenutnega prometa, kar je z optimizacijo in boljšim izvajanjem inteligentnega usmerjanja prometa in podobnih stvari. Vse to je mogoče le z nekaj analitičnega in akcijskega mehanizma v realnem času, ki deluje na ta vpogled v realnem času.
Naslednja raven dodane vrednosti je up-sell, cross-sell, kjer obstajajo možnosti za večji prihodek in dobiček iz trenutne ponudbe. To je klasičen primer, za katerega mnogi od nas vedo, da so tam izkusili, o čemer razmišljate v svojem življenju, kjer ste danes pripravljeni dejansko kupiti izdelek, ki vam ga ne ponujajo. V mnogih, mnogih primerih se to dejansko zgodi. V mislih imate stvari, ki jih radi kupujete, za katere veste, da želite kupiti, da imate seznam opravkov ali kaj podobnega, kar vam je povedala žena ali če nimate žene, vendar ste si res želeli kupiti in greš bodisi v nakupovanje na spletnem mestu bodisi v trgovino s prodajalno, samo trgovina nima konteksta, nima inteligence za izračun tega, kar bi morda potrebovala. Zato poslovanja ne bodo varni. Če bi se lahko pretočna analitika uporabila za resnično natančno napovedovanje in so resnično možne glede tega, kaj bi najbolj ustrezalo temu določenemu kontekstu, je ta stranka trenutno na tej lokaciji, je veliko prodaj in navzkrižne prodaje, kar spet prihaja iz pretočna analitika - možnost odločitve o nagnjenosti k temu, kar bo ta stranka verjetno kupila ali se odzvala v resničnem trenutku, ko obstaja priložnost. Zato imam rad tisto sliko, ki jo je Dez pokazal z medvedom, ki je ravno pojedel to ribo. To je precej.
Prav tako menimo, da obstaja velika kategorija dramatičnih, transformacijskih sprememb v podjetju, ki ponujajo popolnoma nove izdelke in storitve, ki preprosto temeljijo na opazovanju vedenja kupcev, vse pa temelji na opazovanju vedenja drugega podjetja. Če recimo telco ali kabelsko podjetje res opazuje vzorce uporabe kupcev v katerem segmentu trga si ga ogleda, kakšen program ob katerem času itd., Dejansko ustvarijo izdelke in storitve, ki jih skoraj prosijo na nek način. Torej je celoten koncept vedenja na več zaslonih zdaj, ko ga zdaj skorajda razumemo, da lahko v naših mobilnih aplikacijah gledamo TV ali kabelsko vsebino. Nekaj teh primerov izvira iz novih izdelkov in storitev, ki se nam ponujajo.
Poizkusil se bom, "Kakšni so arhitekturni vidiki pretočne analitike?" Poskusimo storiti na koncu. To je Lambda arhitektura, kjer mešate zgodovinske podatke in vpogled v realnem času in si jih hkrati ogledate. To omogoča Sigma. Vsi danes imamo serijsko arhitekturo in sliko podjetja. Zgledujemo se v nekakšen sklad z BI in uporabo in dodana je Lambda arhitektura. Ker je hitrostna plast ali potreba in Lambda namenjena združevanju teh dveh vpogledov in gledanju tega na kombiniran način, na bogat način, ki združuje oba vpogleda.
Obstaja še ena paradigma, imenovana arhitektura Kappa, ki je predlagana, če predvidevamo, da je hitrostna plast edini vhodni mehanizem, ki bo dolgotrajno obstojen. Vse bo prišlo skozi to hitrostno plast. Mehanizma ETL brez povezave sploh ne bo. Vse ETL se bodo zgodile. Čiščenje, čiščenje podatkov, kakovostni ETL - vse to se bo dogajalo na žici, ker ne pozabite, da so vsi podatki rojeni v realnem času. V nekem trenutku je bil pravi čas. To smo navadili, da to postavljamo na jezera, na reke in oceane, nato pa na statične analize, da smo pozabili, da so se podatki rodili v nekem trenutku v realnem času. Vsi podatki so pravzaprav rojeni kot dogodek v realnem času, ki se je zgodil v trenutku in večina podatkov je danes na jezeru pravkar dana v bazo podatkov za kasnejšo analizo in zdaj imamo v Lambda in Kappa arhitekturi prednost v resnici videl, analiziral, predobdelal in reagiral nanj, ko prispe. To omogočajo te tehnologije. Ko na to gledate kot na celotno sliko, je videti nekako tako, kjer je Hadoop znotraj, tam so MPP-ji in skladišča podatkov, ki jih že imate.
To smo postavili, ker je pomembno, da na otoku ne govorimo samo o novih tehnologijah. Vključiti se morajo. V trenutnem podjetju morajo imeti smisel in kot ponudniki rešitev, ki strežejo podjetjem, smo do tega zelo občutljivi. Podjetjem pomagamo nekako vključiti celotno stvar. Na levi strani so viri podatkov, ki se napajajo tako v plasteh Hadoop kot v skladišču podatkov, kot tudi v realnem času na zgornji strani in vsaka od njih je računalnik z zalogami, kot lahko vidite, in plast porabe podatkov je na desni strani. Nenehno si prizadevamo za premik večine skladnosti, upravljanja, varnosti, upravljanja življenjskega cikla itd., Ki so danes na voljo, vsi so bili zbrani v to novo tehnologijo.
Ena od stvari, ki jo poskuša storiti analitika pretoka, če danes pogledate na pokrajino, se v pokrajini tehnologije pretakanja in z vidika podjetniškega kupca dogaja veliko stvari, ki jih lahko razumemo. Obstaja toliko, da bi lahko sledili. Na levi strani so mehanizmi za zbiranje podatkov - NiFi, Logstash, Flume, Sqoop. Očitno sem dal izjavo, da ni izčrpen. V čakalne vrste sporočil in nato v odprtokodne pretočne motorje - Storm, Spark Streaming, Samza, Flink, Apex, Heron. Menda še ni verjetno odprta koda. Nisem prepričan, če je, s Tvitera. Ti pretočni motorji nato vodijo ali podpirajo namestitveno analitično aplikacijsko komponento, kot so kompleksna obdelava dogodkov, strojno učenje, napovedna analitika, opozorilni modul, pretakanje ETL-ja, filtri za statistiko obogatitve. To so vse, čemur pravimo operaterji. Nabor teh operaterjev, če so povezani v niz, bi lahko bil tudi nekaj po meri sklenjenega, če je potrebno, postane aplikacija za pretakanje, ki deluje na pretočnem motorju.
Kot del te verige komponent morate podatke shraniti in indeksirati tudi v svojo najljubšo bazo podatkov, svoj najljubši indeks. Morda boste morali tudi spet razporediti predpomnilnik, ki vodi v plast za vizualizacijo podatkov na desni strani na zgornjem delu do komercialnih izdelkov ali izdelkov z odprtokodno kodo, na koncu pa potrebujete nekakšen izdelek, da te podatke v realnem času vizualizirate. Prav tako morate včasih prikazati druge aplikacije. Vsi smo videli, da bodo vrednosti, pridobljene samo z dejanjem, ki ga izvedete v vpogled, da bo to dejanje sprožilo analitični sklad v drug niz aplikacij, ki se morda spremeni, to je nekaj na strani IVR ali sproži klicni center odhodni klic ali kaj podobnega. Te sisteme moramo imeti integrirane in nekaj mehanizma, da bo vaš grozdni grozd sprožil druge aplikacije za pošiljanje podatkov navzdol.
To je skupni premik od leve proti desni. Nato imate na voljo storitvene plasti, srednji nadzor, splošni varnostni sloj itd. Prihajate do izdelkov, ki so tam v podjetniškem prostoru, ki jih kupci vidijo, kot so distribucije Hadoop, ki vse pretakajo, kot sem rekel, in obstajajo komercialne ali enotne -vendor rešitve, ki so očitno pri naših tekmecih. V pokrajini jih je še veliko, ki jih tukaj morda nismo omenili.
Tisto, kar tam vidite, na splošno vidi uporabnik podjetja. Kot vidite, je zapletena in hitro razvijajoča se tehnološka pokrajina za obdelavo tokov. Morali smo poenostaviti izbiro in njihovo uporabniško izkušnjo. Mislimo, da podjetja resnično potrebujejo funkcionalno odvzemanje vsega tega v enostavnem vmesniku, ki je enostaven za uporabo, ki združuje vse te tehnologije, ki omogočajo preprosto uporabo in ne izpostavljajo vseh premikajočih se delov in vprašanja degradacije in uspešnosti ter vprašanja vzdrževanja življenjskega cikla podjetju.
Odvzem funkcionalnosti je eden. Drugi del je odvzem tekočega motorja. Motorji za pretakanje in odprtokodne domene se pojavljajo enkrat na tri, štiri ali šest mesecev. Dolgo je bila nevihta. Prišel je Samza in zdaj je to Spark Streaming. Flink dviga glavo in začne pridobivati pozornost. Celo časovni načrt Spark Streaming lahko ustvarijo način, da potencialno uporabljajo drugačen motor za čisto obdelavo dogodkov, saj se zavedajo, da je Spark zasnovan tudi za serijo, in v svoji viziji arhitekture in načrtu lahko uvedejo pot do potencialno drugačnih motor za predelavo toka poleg trenutnega vzorca mikrobartov v Spark Streaming.
To je resničnost, s katero se morate spoprijeti, da se bo dogajalo veliko evolucije. Resnično se morate zaščititi pred tem tehnološkim tokom. Kajti privzeto boste morali izbrati enega in nato živeti z njim, kar ni optimalno. Če gledate na drug način, se prepirate med: "v redu, moram kupiti lastniško platformo, kjer ni zaklepanja, ni vzvodov odprtega vira, bi lahko bili zelo visoki stroški in omejeni fleksibilnost v primerjavi z vsemi temi odprtokodnih paketov, kjer morate to storiti sami. "Kot rečeno, spet je to veliko stroškov in zamud pri prodaji. StreamAnalytix je primer odlične platforme, ki združuje podjetniški razred, zanesljiv, en sam prodajalec, podprta strokovna storitev - vse to, kar resnično potrebujete kot podjetje, in moč fleksibilnosti odprtokodnega ekosistema kjer jih združuje ena sama platforma - zaužije, CEP, analitika, vizualizacija in vse to.
Naredi tudi zelo, zelo edinstveno stvar, ki združuje veliko različnih tehnoloških motorjev pod eno samo uporabniško izkušnjo. Resnično mislimo, da je prihodnost v tem, da bomo lahko uporabljali več pretočnih motorjev, ker različni primeri uporabe resnično zahtevajo različne arhitekture pretakanja. Kot je rekel Robin, obstaja celoten spekter zamud. Če resnično govorite o milisekundni latenci, na desetine ali celo na stotine milisekund, v tem trenutku resnično potrebujete nevihto, dokler ne pride še en enako zrel izdelek za manj prizanesljivosti ali prizanesljiv časovni okvir in zamude morda v nekaj sekundah, treh, štiri, pet sekund, to območje, potem lahko uporabite iskrivo pretakanje. Potencialno obstajajo drugi motorji, ki bi zmogli oboje. Bottom line, v velikem podjetju, se bodo uporabljali primeri vseh vrst. Resnično želite, da imata dostop in splošnost več motorjev z eno uporabniško izkušnjo in to poskušamo graditi v StreamAnalytixu.
Samo hiter ogled arhitekture. To bomo malo predelali, v bistvu pa na levi strani prihaja več virov podatkov - Kafka, RabbitMQ, Kinesis, ActiveMQ, vsi ti viri podatkov in čakalne vrste sporočil prihajajo na platformo za obdelavo tokov, kjer dobite, da sestavite aplikacijo, kamor lahko povlečete in spustite od operaterjev, kot so ETL-ji, vse stvari, o katerih smo govorili. Spodaj je več motorjev. Trenutno imamo Storm in Spark Streaming kot edino panogo in prvo podjetniško pretočno platformo za pretakanje, ki ima več motorjev. To je zelo edinstvena prilagodljivost, ki jo ponujamo poleg vse druge prilagodljivosti nadzornih plošč v realnem času. Vgrajen motor CET. Imamo brezhibno integracijo z indeksi Hadoop in NoSQL, indeksi Solr in Apache. Pristanete lahko v svojo najljubšo bazo podatkov, ne glede na to, kaj je, in zelo hitro gradite aplikacije in se zelo hitro odpravite na trg ter ostanete v prihodnosti. To je naša celotna mantra v StreamAnalytixu.
S tem mislim, da bom zaključil svoje pripombe. Prosto nas obiščite za več vprašanj. Rad bi ohranil besedo odprto za vprašanja in vprašanja ter razpravo na plošči.
Rebecca, do vas.
Rebecca Jozwiak: Super, v redu. Najlepša hvala. Dez in Robin, imaš nekaj vprašanj, preden ga bomo predstavili Q&A občinstvu?
Robin Bloor: Imam vprašanje. Nazaj bom nataknil slušalke, da me boste slišali. Ena zanimivih stvari, če bi mi to lahko prijazno povedali, je veliko tega, kar sem videl v odprtokodnem prostoru, videti tisto, kar bi mi reklo nezrelo. V nekem smislu, da, lahko počnete različne stvari. Videti je, da gledamo programsko opremo v njeni prvi ali drugi izdaji v resnici in pravkar sem se spraševal z vašimi izkušnjami kot organizacije, koliko se vam zdi nezrelost okolja Hadoop problematična ali je to nekaj, kar ne ne bi ustvarili preveč težav?
Anand Venugopal: To je resničnost, Robin. Popolnoma prav imaš. Nezrelost ni nujno na področju samo funkcionalne stabilnosti in stvari, ampak morda so tudi nekateri primeri tega. Toda nezrelost je bolj v pripravljenosti za uporabo. Izdelki z odprto kodo, ko se pojavijo, in čeprav jih ponuja distribucija Hadoop, so vsi številni različni sposobni izdelki, sestavni deli so samo zdrobljeni. Ne delujejo brez težav in niso zasnovani za nemoteno uporabniško izkušnjo, ki jo bomo, kot je Bank of America ali Verizon ali AT&T, razvili za uporabo aplikacije za analitiko za pretakanje v nekaj tednih. Za to zagotovo niso zasnovani. To je razlog, zakaj prihajamo vanj. Zbližamo ga in olajšamo razumevanje, uvajanje itd.
Funkcionalna zrelost le-tega, mislim, da je v veliki meri tam, obstaja. Mnoga velika podjetja danes uporabljajo na primer Storm. Veliko velikih podjetij se danes igra s Spark Streaming. Vsak od teh motorjev ima svoje omejitve v tem, kaj lahko počnejo, zato je pomembno vedeti, kaj zmorete in česa ne morete storiti z vsakim motorjem, in nima smisla, da bi se z glavo lomili ob steno in si rekli: izbrali smo Spark Streaming in zame ne deluje v tej panogi. "Ne bo šlo. Uporabljali se bodo primeri, ko bo iskrivo pretakanje najboljša možnost, uporabljeni pa bodo primeri, ko iskrenje morda za vas sploh ne bo delovalo. Zato resnično potrebujete več možnosti.
Robin Bloor: No, za večino tega morate imeti na krovu strokovne ekipe. Mislim, niti ne vem, kje naj se lotim tega. Smiselno sodelovanje usposobljenih posameznikov. Zanima me, kako se angažiraš, v katerega se vključiš in kako se to zgodi. Ali je to zato, ker je določeno podjetje po določeni prijavi ali vidite kakšno, kar bi poimenoval strateško sprejemanje, če želijo, da celotna platforma naredi veliko stvari.
Anand Venugopal: Vidimo primere obeh, Robin. Nekatere izmed desetih najboljših blagovnih znamk, za katere vsi vedo, se o tem ukvarjajo na zelo strateški način. Vedo, da bodo imeli različne primere uporabe, zato ocenjujejo platforme, ki bodo ustrezale potrebam, to je več različnih primerov uporabe na več najemniških načinov, ki jih bodo namenili v podjetje. Začnejo se tudi zgodbe za enkratno uporabo. V hipotekarnem podjetju, ki ga delamo, obstaja poseben primer spremljanja poslovne dejavnosti, ki ga ne bi predstavljali kot primer prve uporabe, vendar je to poslovna rešitev ali primer uporabe, s katerim so nastali, nato pa smo pike povezali s pretakanjem . Rekli smo: »Veste kaj? To je odličen primer za pretakanje analitike in tako lahko to izvajamo. "Tako se je začelo. Nato se v tem procesu izobražujejo in rečejo: "O, vau, če to lahko storimo in če je to generična platforma, potem lahko ločimo aplikacijo, jih plastimo v platformo in na tem zgradimo veliko različnih aplikacij platforma. "
Robin Bloor: Dez, imaš kakšno vprašanje?
Anand Venugopal: Dez je verjetno na tihem.
Dez Blanchfield: Opravičevanje, nem. Tudi sam sem imel dober pogovor. Če samo sledite prvotnemu opazovanju Robina, ste popolnoma pravi. Mislim, da je zdaj izziv, da imajo podjetja ekosistem in kulturno in vedenjsko okolje, kjer je brezplačna in odprtokodna programska oprema nekaj, kar jim je znano, in lahko orodja, kot je Firefox, uporabljajo kot brskalnik in imajo dostojno življenjsko dobo, dokler ne postane stabilna in varna. Toda nekatere od teh zelo velikih platform, ki jih uporabljajo, so lastniške platforme podjetja. Torej sprejetje odprtokodnih platform ni vedno nekaj, kar bi jih lahko kulturno ali čustveno prenesli. To sem videl že samo po sprejetju majhnih programov, ki so bili lokalni projekti, ki se igrajo z velikimi podatki in analitiko kot temeljnim konceptom. Mislim, da je eden ključnih izzivov, prepričan sem, da ste jih videli že po organizacijah, njihova želja po izidu, obenem pa imajo eno nogo obtičano v stari konzervi, kamor bi jo lahko kupili le od tega "Vstavite veliko blagovno znamko" Oracle, IBM in Microsoft. Te nove in znane blagovne znamke prihajajo skozi platforme Hadoop in še več. Prihajajo bolj vznemirljive blagovne znamke, ki imajo vrhunsko tehnologijo, kot je stream.
Kakšne vrste pogovorov ste takšno vodili ali prerezali skozi to? Vem, da se danes zjutraj množično udeležujemo in ena stvar, za katero sem prepričan, da si vsi mislijo, je: "Kako prerežem celoten zahteven sloj od deske navzdol do ravni vodenja, oh je preveč odprt izvor in preveč krvav rob? "Kako potekajo pogovori s strankami in kako se prerežete do te točke, ko nekako ublažite te vrste strahov, da bi razmislili o sprejemanju všečkov StreamAnalytix?
Anand Venugopal: Pravzaprav se nam zdi precej enostavno prodati ponudbo o vrednosti, saj se kupci seveda premikajo proti odprtemu izvoru kot prednostni možnosti. Ni jim enostavno, če samo obupajo in rečejo: "V redu, zdaj grem na odprto kodo." Dejansko gre skozi zelo zavzeto ocenjevanje glavnega izdelka, recimo, da je to IBM ali tipičen izdelek, ker imajo ti odnosi med prodajalci. Ne bi nas obravnavali niti nasproti tega izdelka. Preučili bodo šest do osem do dvanajst tednov ocenjevanja. Prepričali se bodo, da je tu potrebna stopnja učinkovitosti in stabilnosti, nato pa si premislijo z besedami: "Vau, saj veste, kaj lahko dejansko naredim."
Danes imamo na primer glavno enoto telco, ki ima analitične tokove, ki se izvajajo v proizvodnji, na večjem delu sklada in to ocenjujejo proti drugemu zelo, zelo znanemu prodajalcu in prepričali so se šele, ko smo dokazali vse uspešnost, stabilnost in vse to. Ne jemljejo ga za samoumevno. Ugotovili so, da je odprtokodni sistem kompetenten s svojimi ocenami in zavedajo se, da je v najslabšem primeru: "Mogoče obstajata dva primera uporabe, ki jih morda ne morem storiti, vendar je večina primerov uporabe pospeševanja mojih podjetij danes izjemno mogoča z odprtokodno kodo sklad. "In omogočimo njegovo uporabo. Torej, to je tista velika sladka točka. Želeli so odprto kodo. Resnično si želijo izstopiti iz razmere prodajalca, ki so jo bili vajeni že vrsto let. Potem pa pridemo in rečemo: "Veste kaj, naredili bomo open source veliko, veliko lažjo in prijaznejšo za vas."
Dez Blanchfield: Mislim, da je drugi izziv, s katerim se podjetja znajdejo, ko pripeljejo tradicionalno sodelujočo družbo, pogosto generacija za nekaterimi krvavitimi robovi vznemirljivih stvari, o katerih govorimo tukaj, in to ne mislim kot negativna rahla. V resnici je, da imajo generacijo in pot, s katero bodo izdali tisto, za kar menijo, da so stabilne platforme, ki jih potrebujejo, razvojne cikle in razvojne cikle UATN ter testiranje in dokumentacijo ter trženje in prodajo. Medtem ko v tistem tipu, ki ga počnete, mislim, da je stvar, o kateri me zanima, to, da si ob pregledu nekaterih zadnjih izdaj sinoči, ki opravljajo nekakšno raziskovalno delo, zdaj to kombinacijo najdete tam, kjer imate usposobljenost z vnaprejšnjega svetovalnega vidika in izvedbe, vendar ste dobili tudi sveženj, v katerega se lahko prijavite. Mislim, da se bodo tu morali boriti že nekaj časa. Veliko smo jih videli na trgu. Pogosto so v tem, čemur pravim dohodna vozlišča, medtem ko iz tega, kar nam govorite, ko vodite te pogovore in tam izvajate.
Nam lahko predstavite nekaj primerov nekaterih mejnih vertikal, ki ste jih videli posvojitve? Na primer, obstaja resnično nišno okolje, kot je raketna znanost in postavljanje satelitov v vesolje ter zbiranje podatkov z Marsa. Na planetu to počne le nekaj ljudi. Vendar obstajajo velike vertikale, na primer zdravje, na področju letalstva, ladijskega prometa in logistike, proizvodnje in inženiringa, nekaj primerov večjih in širših industrijskih sektorjev, ki ste jih doslej videli, da ste videli res dobro posvojitev v?
Anand Venugopal: Telco je velik primer.
Tukaj bom hitro popravil diapozitive. Ali si lahko ogledate diapozitiv tukaj, študija primera 4?
To je primer z velikimi telco, ki zaužijejo set-top box in z njimi počnete več stvari. Gledajo, kaj kupci v resnici počnejo v realnem času. V sprejemnikih gledajo, kje se v realnem času dogajajo napake. Poskušajo obvestiti klicni center vklopljeno, če ta stranka takoj pokliče, informacije o povezavi s kodo s sprejemnika te stranke, informacije o vozovnicah za vzdrževanje hitro korelirajo, ali ima ta določeni kupec sprejemnik težave ali ne še prej kupec izgovori besedo. Vsako kabelsko podjetje, vsak večji telco to poskuša. Zaužijejo podatke s sprejemnika, analizirajo v realnem času, opravijo analitiko oglaševalskih akcij, tako da lahko oddajo svoje oglase. Obstaja ogromen primer uporabe.
Kot sem rekel, obstaja hipotekarna družba, ki je spet splošen vzorec, pri katerem veliki procesi sodelujejo pri obdelavi podatkov. Podatki, ki tečejo skozi sistem A v sistem B v sistem C in so to regulirana podjetja, ki morajo biti vse dosledna. Pogosto se sistemi med seboj sinhronizirajo, en sistem pravi: "Obdelam sto posojil v skupni vrednosti 10 milijonov dolarjev." Sistem pravi: "Ne, obdelujem 110 posojil nekaterih drugih drugačno število. "To morajo resnično hitro rešiti, ker dejansko obdelujejo iste podatke in delajo različne razlage.
Ne glede na to, ali gre za kreditno kartico, obdelavo posojila, poslovni postopek ali za hipotekarni poslovni postopek ali kaj drugega, jim pomagamo, da v realnem času vzpostavijo povezavo in usklajevanje, da ti poslovni procesi ostanejo sinhronizirani. To je še en zanimiv primer uporabe. Obstaja glavni ameriški vladni pogodbenik, ki je na DNS-prometu namenjen odkrivanju anomalij. Izdelali so model za usposabljanje brez povezave in na podlagi tega modela ocenjujejo promet v realnem času. Nekaj teh zanimivih primerov uporabe. Obstaja glavna letalska družba, ki pregleduje varnostne čakalne vrste in ti poskušajo dati informacije, ki pravijo: "Hej, vaša vrata so za vaše letalo. Današnja čakalna vrsta TSA je približno 45 minut v primerjavi z dvema urama. "To posodobitev dobite vnaprej. Še vedno delajo na tem. Zanimiv primer uporabe IoT, vendar odličen primer pretočne analitike, ki vodi k uporabnikom.
Rebecca Jozwiak: To je Rebecca. Medtem ko se ukvarjate s primeri uporabe, se postavlja vprašanje občinstva, ki se sprašuje: "Ali so to študije primerov, ali se te pobude vodijo z analitične strani informacijskega sistema ali jih bolj vodijo? podjetje, ki ima v mislih posebna vprašanja ali potrebe? "
Anand Venugopal: Mislim, da vidimo približno 60 odstotkov, od 50 do 55 odstotkov, večinoma zelo proaktivne, navdušene tehnološke pobude, ki se poznajo, ki so dokaj pametne in razumejo določene poslovne zahteve in verjetno imajo enega sponzorja, ki ga identificirani, vendar so to tehnološke ekipe, ki se pripravljajo na napad primerov poslovne uporabe, ki se pojavijo in potem, ko razvijejo sposobnost, vedo, da lahko to storijo, nato pa se lotijo poslovanja in to agresivno prodajo. V 30 do 40 odstotkih primerov vidimo, da ima podjetje že določen primer uporabe, ki prosi za zmogljivo analitiko.
Rebecca Jozwiak: To je smiselno. Od občinstva imam še eno nekoliko bolj tehnično vprašanje. Sprašuje se, ali ti sistemi podpirajo tako strukturirane kot nestrukturirane tokove podatkov, kot so usedline tokov Twitter ali Facebook objave v realnem času ali ga je treba sprva filtrirati?
Anand Venugopal: Izdelki in tehnologije, o katerih govorimo, zelo hitro podpirajo strukturirane in nestrukturirane podatke. Konfigurirajo se lahko. Vsi podatki imajo nekakšno strukturo, naj bo to besedilo ali XML ali sploh kaj. Glede na to, da obstaja časovni žig, obstaja nekaj strukture. Mogoče je še en blob, ki ga je treba razčleniti, tako da lahko v tok vstavite razčlenje, da razčlenite podatkovne strukture. Če je strukturiran, potem sistemu preprosto povemo: "V redu, če obstajajo vrednosti, ločene z vejicami, in prva je niz, druga je datum." Torej lahko to inteligenco razčlenimo v zgornje plasti zaslona in brez težav obdelamo tako strukturirane kot nestrukturirane podatke.
Rebecca Jozwiak: Imam še eno vprašanje občinstva. Vem, da smo malo tekali mimo vrha ure. Ta udeleženec želi vedeti, zdi se, da se morda v realnem času pretočne aplikacije razvijajo tako kot potreba kot priložnost za vključitev nazaj v transakcijske sisteme, na primer sisteme za preprečevanje goljufij. Ali je treba v tem primeru prilagoditi transakcijske sisteme, da se nekako ujemajo s tem?
Anand Venugopal: To je združitev, kajne? Gre za združitev transakcijskih sistemov. Včasih postanejo vir podatkov, kjer analiziramo transakcije v realnem času in v mnogih primerih, ko recimo, da obstaja pretok aplikacij in tukaj poskušam prikazati statično spletno mesto za iskanje podatkov in nato v našem primeru, kjer nekakšno pretakanje in iščete statično bazo podatkov, kot je HBase ali RDBMS, da bi obogatili pretočne podatke in statične podatke skupaj, da bi sprejeli odločitev ali analitični vpogled.
Tu je še en velik industrijski trend - konvergenca OLAP in OLTP - in zato imate baze podatkov, kot sta Kudu in zbirke podatkov v pomnilniku, ki podpirajo hkrati transakcije in analitično obdelavo. Plast obdelave tokov bi bil v celoti v spominu in si bomo ogledali ali povezali nekatere od teh transakcijskih baz podatkov.
Rebecca Jozwiak: Mešana delovna obremenitev je bila ena zadnjih ovir pri skoku. Dez, Robin, imata še dva vprašanja?
Dez Blanchfield: Skočil bom na zadnje vprašanje in zaključil, če se ne motiš. Prvi izziv, s katerim se organizacije, s katerimi se ukvarjam zadnje desetletje ali tako, vodijo v ta vznemirljiv izziv pretočne analitike, je prva stvar, ki jo ponavadi postavijo na mizo, ko smo začeli pogovor o tem celotnem izzivu, je to, kje dobimo nabor spretnosti? Kako izpopolnimo nabor spretnosti in kako to sposobnost pridobimo interno? Če se zapeljemo in nas prevzame spodbuda skozi pot in nato izvedite kot odličen prvi korak, je to zelo smiselno.
Toda za srednje do velike organizacije, kakšne stvari vidite v tem trenutku, da se na to pripravite, da zgradite to sposobnost znotraj, da dobite karkoli iz le osnovnega besedišča okoli njega in kakšno sporočilo lahko počnejo organizacija okoli prehoda na tovrstno ogrodje in preoblikovanje njihovega obstoječega tehničnega osebja od IT od generalnega direktorja, da lahko to sami izvajajo, ko ga zgradite in izvedete? Na kratko, kakšne izzive in kako jih rešujejo, stranke, s katerimi se spopadate, vrste izzivov, ki so jih našli, in kako se lotijo reševanja te preusposabljanja in pridobivanja izkušenj in znanja, da se na to pripravijo in lahko operativno obidete?
Anand Venugopal: Pogosto je majhen nabor ljudi, ki se trudijo iti ven in kupiti platformo za pretočno analitiko, že razumno pameten, saj se zavedajo Hadoopa, že so pridobili svoje veščine Hadoop MapReduce in ker tesno sodelujejo s Hadoopom prodajalec distribucije, sta bodisi znana. Vse dobi na primer Kafka. Nekaj delajo s tem in bodisi Storm ali Spark sta v svoji odprtokodni domeni. Definitivno ga ljudje poznajo ali gradijo veščine okoli njega. A začne se z majhnim naborom ljudi, ki so dovolj usposobljeni in dovolj pametni. Obiskujejo konference. Učijo in prodajalcem postavljajo inteligentna vprašanja, v nekaterih primerih pa se učijo tudi pri prodajalcih. Ko prodajalci prihajajo in se predstavljajo na prvem sestanku, morda ne bodo vedeli stvari, vendar jih preberejo in nato začnejo igrati z njo.
Ta majhna skupina ljudi je jedro in potem začne rasti in vsi zdaj spoznajo, da se prvi primeri poslovne uporabe operacionalizirajo. Začne se val in prejšnji teden smo videli na vrhu Spark, kjer je bilo veliko podjetje, kot je Capital One, zunaj in v polni moči. Odločili so se za Spark. Govorili so o tem. V Sparku izobražujejo veliko svojih ljudi, saj k temu veliko prispevajo tudi kot uporabniki. Enako vidimo pri številnih, veliko velikih podjetjih. Začne se z nekaj majhnimi množicami zelo pametnih ljudi, nato pa se začne val splošne izobrazbe in ljudje vedo, da se enkrat višji podpredsednik ali enkrat višji direktor uskladi in želijo staviti na to stvar in beseda se naokoli oz. vsi začnejo nabirati te veščine.
Dez Blanchfield: Prepričan sem, da si fantastično ustvaril tudi te prvake.
Anand Venugopal: Da. Veliko delamo z izobraževanjem, ko sodelujemo z začetnimi prvaki in imamo izobraževalne tečaje in veliko, veliko za naše velike stranke smo se vrnili nazaj in imeli valove in valove treninga, da bi veliko uporabnikov pripeljali v fazo običajne uporabe, še posebej na spletnem mestu Hadoop MapReduce. Ugotovili smo, da smo v velikem podjetju za kreditne kartice, ki je naš kupec, dobavili vsaj morda pet do osem različnih programov usposabljanja. Imamo tudi brezplačne izdaje skupnosti vseh teh izdelkov, vključno z našimi, peskovniki, ki jih lahko ljudje naložijo, se navadijo in se tako tudi izobrazijo.
Dez Blanchfield: To je vse, kar imam danes zjutraj zate. Najlepša hvala. Neverjetno zanimivo se mi zdi vrste modelov in primerov uporabe, ki jih imate danes za nas. Hvala vam.
Anand Venugopal: Super. Najlepša hvala ljudem.
Rebecca Jozwiak: Hvala vsem, ker ste se nam pridružili v teh oddajah Hot Technologies. Bilo je fascinantno slišati od Deza Blanchfielda, dr. Robina Bloorja in Ananda Venugopala iz Impetus Technologies. Hvala predstaviteljem. Hvala govorcem in hvala občinstvu. Naslednji mesec imamo še eno novo tehnologijo, zato poiščite to. Našo vsebino lahko vedno najdete v arhivu na spletnem mestu Insideanalysis.com. Veliko vsebine objavimo tudi na SlideShare in nekaj zanimivih bitov tudi na YouTubu.
To so vsi ljudje. Še enkrat hvala in lep dan. Adijo.
