[vpsFree.cz: community-list] Vedel by mi tu niekto pomoct s Hadoopom?

[Michal Novovesky]

Ahoj Rene,

V case, ked sme hladali vhodnu in-memory DB neexistovala ziadna alternativa, ktora by dokazala vypocitat “funnel” (kolko ludi urobi event E1 potom E2 potom E3 …) nad 1mld eventov za 1 sekundu. Navyse tie eventy a ich properties si vyklika user pri kazdej analyze uplne inak - nemozes pouzit predpocitane data ani ElasticSearch.
Zaroven sme potrebovali document-oriented DB (skrtnes napr. Redis), s podporou Map-Reduce,  distribuovanu, skalovatelnu, ktora na maximum vyuzije HW vykon, ktory jej poskytnes.

Dnes vo svete existuju Lamba a Kappa architektury pre real-time stream processing. http://strataconf.com/big-data-conference-ca-2015/public/schedule/detail/38774 <http://strataconf.com/big-data-conference-ca-2015/public/schedule/detail/38774> a http://www.slideshare.net/jozokovac/realtime-streaming-architecture-in-infinario <http://www.slideshare.net/jozokovac/realtime-streaming-architecture-in-infinario>
Teoriu k tomu v zasade pozname, teraz potrebujeme navyse sikovne ruky co nam to pomozu zrealizovat.

Bonus: Tu su skusenosti s NoSQL a SQL databazami, ktore sme testovali: https://infinario.com/speedtest <https://infinario.com/speedtest>

Miso

> On 06 Aug 2015, at 10:14, René Klačan <rene.klacan at gmail.com> wrote:
> 
> Ahoj,
> 
> len zo zaujimavosti by som sa rad spytal. Aky ste mali motivaciu si naimplementovat vlastnu DB? A ake boli argumenty proti existujucim rieseniam ako RethingDB[1] alebo VoltDB[2]. Ak ste nahodou nic z toho nezvazili, tak sa odporucam pozriet prave na tieto dve DB.
> 
> Rene
> 
> [1] http://rethinkdb.com/ <http://rethinkdb.com/>
> [2] http://voltdb.com/ <http://voltdb.com/>
> 
> 
> 2015-08-06 9:53 GMT+02:00 Michal Novovesky <michal.novovesky at infinario.com <mailto:michal.novovesky at infinario.com>>:
> Ahojte,
> 
> Snajpa ma odkazal na community-list, ze by som tu mohol najst niekoho co by mi vedel pomoct s problemom, ktory riesime u nas vo firme (https://infinario.com/ <https://infinario.com/>).
> 
> Vytvorili sme analyticku platformu, ktora dokaze real-time spracovavat data, vdaka tomu, ze ich uklada do nami vyrobenej db do RAM serverov. Toto riesenie sice funguje super, ale na ukladanie velkeho mnozstva historickych dat je prilis drahe, a preto by sme potrebovali vyriesit variant, kedy sa data okrem RAMky ukladaju aj do normalneho storagu a uzivatel ma moznost si vyberat data, s ktorymi chce pracovat real-time, a s ktorymi nie.
> 
> Nasiel by sa tu niekto, kto by bol schopny a ochotny nam pomoct pri najdeni a implementacii spravnej technologie(napr. Hadoop) na ukladanie stoviek TB historickych dat a vedel by implementovat proces pre prenos dat zo storagu (firma X si zvoli data eventov A,B za obdobie M-N) do real-time databazy v RAMke? S tym by suvisela aj priprava rozhrania pre load dat medzi roznymi systemami, vratane procesov pre citanie a zapis do pripojenych databaz a APIciek.
> 
> Samozrejme takuto pomoc sme ochotni stedro zaplatit :) Napisete mi prosim na michal.novovesky at infinario.com <mailto:michal.novovesky at infinario.com> ak by ste mali zaujem nam pomoct?
> 
> Vdaka,
> Miso
> 
> _______________________________________________
> Community-list mailing list
> Community-list at lists.vpsfree.cz <mailto:Community-list at lists.vpsfree.cz>
> http://lists.vpsfree.cz/listinfo/community-list <http://lists.vpsfree.cz/listinfo/community-list>
> 
> 
> _______________________________________________
> Community-list mailing list
> Community-list at lists.vpsfree.cz
> http://lists.vpsfree.cz/listinfo/community-list

-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://lists.vpsfree.cz/pipermail/community-list/attachments/20150806/68943774/attachment-0002.html>