V case, ked sme hladali vhodnu in-memory DB neexistovala ziadna alternativa, ktora by dokazala vypocitat “funnel” (kolko ludi urobi event E1 potom E2 potom E3 …) nad 1mld eventov za 1 sekundu. Navyse tie eventy a ich properties si vyklika user pri kazdej analyze uplne inak - nemozes pouzit predpocitane data ani ElasticSearch.

Zaroven sme potrebovali document-oriented DB (skrtnes napr. Redis), s podporou Map-Reduce, distribuovanu, skalovatelnu, ktora na maximum vyuzije HW vykon, ktory jej poskytnes.

Dnes vo svete existuju Lamba a Kappa architektury pre real-time stream processing. http://strataconf.com/big-data-conference-ca-2015/public/schedule/detail/38774 a http://www.slideshare.net/jozokovac/realtime-streaming-architecture-in-infinario

Teoriu k tomu v zasade pozname, teraz potrebujeme navyse sikovne ruky co nam to pomozu zrealizovat.

Bonus: Tu su skusenosti s NoSQL a SQL databazami, ktore sme testovali: https://infinario.com/speedtest

Miso

On 06 Aug 2015, at 10:14, René Klačan <rene.klacan@gmail.com> wrote:

Ahoj,

len zo zaujimavosti by som sa rad spytal. Aky ste mali motivaciu si naimplementovat vlastnu DB? A ake boli argumenty proti existujucim rieseniam ako RethingDB[1] alebo VoltDB[2]. Ak ste nahodou nic z toho nezvazili, tak sa odporucam pozriet prave na tieto dve DB.

Rene

[1] http://rethinkdb.com/
[2] http://voltdb.com/

2015-08-06 9:53 GMT+02:00 Michal Novovesky <michal.novovesky@infinario.com>:
Ahojte,

Snajpa ma odkazal na community-list, ze by som tu mohol najst niekoho co by mi vedel pomoct s problemom, ktory riesime u nas vo firme (https://infinario.com/).

Vytvorili sme analyticku platformu, ktora dokaze real-time spracovavat data, vdaka tomu, ze ich uklada do nami vyrobenej db do RAM serverov. Toto riesenie sice funguje super, ale na ukladanie velkeho mnozstva historickych dat je prilis drahe, a preto by sme potrebovali vyriesit variant, kedy sa data okrem RAMky ukladaju aj do normalneho storagu a uzivatel ma moznost si vyberat data, s ktorymi chce pracovat real-time, a s ktorymi nie.

Nasiel by sa tu niekto, kto by bol schopny a ochotny nam pomoct pri najdeni a implementacii spravnej technologie(napr. Hadoop) na ukladanie stoviek TB historickych dat a vedel by implementovat proces pre prenos dat zo storagu (firma X si zvoli data eventov A,B za obdobie M-N) do real-time databazy v RAMke? S tym by suvisela aj priprava rozhrania pre load dat medzi roznymi systemami, vratane procesov pre citanie a zapis do pripojenych databaz a APIciek.

Samozrejme takuto pomoc sme ochotni stedro zaplatit :) Napisete mi prosim na michal.novovesky@infinario.com ak by ste mali zaujem nam pomoct?

Vdaka,
Miso

_______________________________________________
Community-list mailing list
Community-list@lists.vpsfree.cz
http://lists.vpsfree.cz/listinfo/community-list

_______________________________________________
Community-list mailing list
Community-list@lists.vpsfree.cz
http://lists.vpsfree.cz/listinfo/community-list