Ahojte,
Snajpa ma odkazal na community-list, ze by som tu mohol najst niekoho co by mi vedel pomoct s problemom, ktory riesime u nas vo firme (https://infinario.com/ https://infinario.com/).
Vytvorili sme analyticku platformu, ktora dokaze real-time spracovavat data, vdaka tomu, ze ich uklada do nami vyrobenej db do RAM serverov. Toto riesenie sice funguje super, ale na ukladanie velkeho mnozstva historickych dat je prilis drahe, a preto by sme potrebovali vyriesit variant, kedy sa data okrem RAMky ukladaju aj do normalneho storagu a uzivatel ma moznost si vyberat data, s ktorymi chce pracovat real-time, a s ktorymi nie.
Nasiel by sa tu niekto, kto by bol schopny a ochotny nam pomoct pri najdeni a implementacii spravnej technologie(napr. Hadoop) na ukladanie stoviek TB historickych dat a vedel by implementovat proces pre prenos dat zo storagu (firma X si zvoli data eventov A,B za obdobie M-N) do real-time databazy v RAMke? S tym by suvisela aj priprava rozhrania pre load dat medzi roznymi systemami, vratane procesov pre citanie a zapis do pripojenych databaz a APIciek.
Samozrejme takuto pomoc sme ochotni stedro zaplatit :) Napisete mi prosim na michal.novovesky@infinario.com mailto:michal.novovesky@infinario.com ak by ste mali zaujem nam pomoct?
Vdaka, Miso
Ahoj,
len zo zaujimavosti by som sa rad spytal. Aky ste mali motivaciu si naimplementovat vlastnu DB? A ake boli argumenty proti existujucim rieseniam ako RethingDB[1] alebo VoltDB[2]. Ak ste nahodou nic z toho nezvazili, tak sa odporucam pozriet prave na tieto dve DB.
Rene
[1] http://rethinkdb.com/ [2] http://voltdb.com/
2015-08-06 9:53 GMT+02:00 Michal Novovesky michal.novovesky@infinario.com:
Ahojte,
Snajpa ma odkazal na community-list, ze by som tu mohol najst niekoho co by mi vedel pomoct s problemom, ktory riesime u nas vo firme ( https://infinario.com/).
Vytvorili sme analyticku platformu, ktora dokaze real-time spracovavat data, vdaka tomu, ze ich uklada do nami vyrobenej db do RAM serverov. Toto riesenie sice funguje super, ale na ukladanie velkeho mnozstva historickych dat je prilis drahe, a preto by sme potrebovali vyriesit variant, kedy sa data okrem RAMky ukladaju aj do normalneho storagu a uzivatel ma moznost si vyberat data, s ktorymi chce pracovat real-time, a s ktorymi nie.
Nasiel by sa tu niekto, kto by bol schopny a ochotny nam pomoct pri najdeni a implementacii spravnej technologie(napr. Hadoop) na ukladanie stoviek TB historickych dat a vedel by implementovat proces pre prenos dat zo storagu (firma X si zvoli data eventov A,B za obdobie M-N) do real-time databazy v RAMke? S tym by suvisela aj priprava rozhrania pre load dat medzi roznymi systemami, vratane procesov pre citanie a zapis do pripojenych databaz a APIciek.
Samozrejme takuto pomoc sme ochotni stedro zaplatit :) Napisete mi prosim na michal.novovesky@infinario.com ak by ste mali zaujem nam pomoct?
Vdaka, Miso
Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
Ahoj Rene,
V case, ked sme hladali vhodnu in-memory DB neexistovala ziadna alternativa, ktora by dokazala vypocitat “funnel” (kolko ludi urobi event E1 potom E2 potom E3 …) nad 1mld eventov za 1 sekundu. Navyse tie eventy a ich properties si vyklika user pri kazdej analyze uplne inak - nemozes pouzit predpocitane data ani ElasticSearch. Zaroven sme potrebovali document-oriented DB (skrtnes napr. Redis), s podporou Map-Reduce, distribuovanu, skalovatelnu, ktora na maximum vyuzije HW vykon, ktory jej poskytnes.
Dnes vo svete existuju Lamba a Kappa architektury pre real-time stream processing. http://strataconf.com/big-data-conference-ca-2015/public/schedule/detail/387... http://strataconf.com/big-data-conference-ca-2015/public/schedule/detail/38774 a http://www.slideshare.net/jozokovac/realtime-streaming-architecture-in-infin... http://www.slideshare.net/jozokovac/realtime-streaming-architecture-in-infinario Teoriu k tomu v zasade pozname, teraz potrebujeme navyse sikovne ruky co nam to pomozu zrealizovat.
Bonus: Tu su skusenosti s NoSQL a SQL databazami, ktore sme testovali: https://infinario.com/speedtest https://infinario.com/speedtest
Miso
On 06 Aug 2015, at 10:14, René Klačan rene.klacan@gmail.com wrote:
Ahoj,
len zo zaujimavosti by som sa rad spytal. Aky ste mali motivaciu si naimplementovat vlastnu DB? A ake boli argumenty proti existujucim rieseniam ako RethingDB[1] alebo VoltDB[2]. Ak ste nahodou nic z toho nezvazili, tak sa odporucam pozriet prave na tieto dve DB.
Rene
[1] http://rethinkdb.com/ http://rethinkdb.com/ [2] http://voltdb.com/ http://voltdb.com/
2015-08-06 9:53 GMT+02:00 Michal Novovesky <michal.novovesky@infinario.com mailto:michal.novovesky@infinario.com>: Ahojte,
Snajpa ma odkazal na community-list, ze by som tu mohol najst niekoho co by mi vedel pomoct s problemom, ktory riesime u nas vo firme (https://infinario.com/ https://infinario.com/).
Vytvorili sme analyticku platformu, ktora dokaze real-time spracovavat data, vdaka tomu, ze ich uklada do nami vyrobenej db do RAM serverov. Toto riesenie sice funguje super, ale na ukladanie velkeho mnozstva historickych dat je prilis drahe, a preto by sme potrebovali vyriesit variant, kedy sa data okrem RAMky ukladaju aj do normalneho storagu a uzivatel ma moznost si vyberat data, s ktorymi chce pracovat real-time, a s ktorymi nie.
Nasiel by sa tu niekto, kto by bol schopny a ochotny nam pomoct pri najdeni a implementacii spravnej technologie(napr. Hadoop) na ukladanie stoviek TB historickych dat a vedel by implementovat proces pre prenos dat zo storagu (firma X si zvoli data eventov A,B za obdobie M-N) do real-time databazy v RAMke? S tym by suvisela aj priprava rozhrania pre load dat medzi roznymi systemami, vratane procesov pre citanie a zapis do pripojenych databaz a APIciek.
Samozrejme takuto pomoc sme ochotni stedro zaplatit :) Napisete mi prosim na michal.novovesky@infinario.com mailto:michal.novovesky@infinario.com ak by ste mali zaujem nam pomoct?
Vdaka, Miso
Community-list mailing list Community-list@lists.vpsfree.cz mailto:Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list http://lists.vpsfree.cz/listinfo/community-list
Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
community-list@lists.vpsfree.cz
-
Michal Novovesky -
René Klačan