Ahoj Rene,
V case, ked sme hladali vhodnu in-memory DB neexistovala ziadna alternativa, ktora by
dokazala vypocitat “funnel” (kolko ludi urobi event E1 potom E2 potom E3 …) nad 1mld
eventov za 1 sekundu. Navyse tie eventy a ich properties si vyklika user pri kazdej
analyze uplne inak - nemozes pouzit predpocitane data ani ElasticSearch.
Zaroven sme potrebovali document-oriented DB (skrtnes napr. Redis), s podporou Map-Reduce,
distribuovanu, skalovatelnu, ktora na maximum vyuzije HW vykon, ktory jej poskytnes.
Dnes vo svete existuju Lamba a Kappa architektury pre real-time stream processing.
http://strataconf.com/big-data-conference-ca-2015/public/schedule/detail/38…
<http://strataconf.com/big-data-conference-ca-2015/public/schedule/detail/38774> a
http://www.slideshare.net/jozokovac/realtime-streaming-architecture-in-infi…
<http://www.slideshare.net/jozokovac/realtime-streaming-architecture-in-infinario>
Teoriu k tomu v zasade pozname, teraz potrebujeme navyse sikovne ruky co nam to pomozu
zrealizovat.
Bonus: Tu su skusenosti s NoSQL a SQL databazami, ktore sme testovali:
https://infinario.com/speedtest <https://infinario.com/speedtest>
Miso
On 06 Aug 2015, at 10:14, René Klačan
<rene.klacan(a)gmail.com> wrote:
Ahoj,
len zo zaujimavosti by som sa rad spytal. Aky ste mali motivaciu si naimplementovat
vlastnu DB? A ake boli argumenty proti existujucim rieseniam ako RethingDB[1] alebo
VoltDB[2]. Ak ste nahodou nic z toho nezvazili, tak sa odporucam pozriet prave na tieto
dve DB.
Rene
[1]
http://rethinkdb.com/ <http://rethinkdb.com/>
[2]
http://voltdb.com/ <http://voltdb.com/>
2015-08-06 9:53 GMT+02:00 Michal Novovesky <michal.novovesky(a)infinario.com
<mailto:michal.novovesky@infinario.com>>:
Ahojte,
Snajpa ma odkazal na community-list, ze by som tu mohol najst niekoho co by mi vedel
pomoct s problemom, ktory riesime u nas vo firme (
https://infinario.com/
<https://infinario.com/>).
Vytvorili sme analyticku platformu, ktora dokaze real-time spracovavat data, vdaka tomu,
ze ich uklada do nami vyrobenej db do RAM serverov. Toto riesenie sice funguje super, ale
na ukladanie velkeho mnozstva historickych dat je prilis drahe, a preto by sme potrebovali
vyriesit variant, kedy sa data okrem RAMky ukladaju aj do normalneho storagu a uzivatel ma
moznost si vyberat data, s ktorymi chce pracovat real-time, a s ktorymi nie.
Nasiel by sa tu niekto, kto by bol schopny a ochotny nam pomoct pri najdeni a
implementacii spravnej technologie(napr. Hadoop) na ukladanie stoviek TB historickych dat
a vedel by implementovat proces pre prenos dat zo storagu (firma X si zvoli data eventov
A,B za obdobie M-N) do real-time databazy v RAMke? S tym by suvisela aj priprava rozhrania
pre load dat medzi roznymi systemami, vratane procesov pre citanie a zapis do pripojenych
databaz a APIciek.
Samozrejme takuto pomoc sme ochotni stedro zaplatit :) Napisete mi prosim na
michal.novovesky(a)infinario.com <mailto:michal.novovesky@infinario.com> ak by ste
mali zaujem nam pomoct?
Vdaka,
Miso
_______________________________________________
Community-list mailing list
Community-list(a)lists.vpsfree.cz <mailto:Community-list@lists.vpsfree.cz>
http://lists.vpsfree.cz/listinfo/community-list
<http://lists.vpsfree.cz/listinfo/community-list>
_______________________________________________
Community-list mailing list
Community-list(a)lists.vpsfree.cz
http://lists.vpsfree.cz/listinfo/community-list