Vedel by mi tu niekto pomoct s Hadoopom?
Ahojte, Snajpa ma odkazal na community-list, ze by som tu mohol najst niekoho co by mi vedel pomoct s problemom, ktory riesime u nas vo firme (https://infinario.com/ <https://infinario.com/>). Vytvorili sme analyticku platformu, ktora dokaze real-time spracovavat data, vdaka tomu, ze ich uklada do nami vyrobenej db do RAM serverov. Toto riesenie sice funguje super, ale na ukladanie velkeho mnozstva historickych dat je prilis drahe, a preto by sme potrebovali vyriesit variant, kedy sa data okrem RAMky ukladaju aj do normalneho storagu a uzivatel ma moznost si vyberat data, s ktorymi chce pracovat real-time, a s ktorymi nie. Nasiel by sa tu niekto, kto by bol schopny a ochotny nam pomoct pri najdeni a implementacii spravnej technologie(napr. Hadoop) na ukladanie stoviek TB historickych dat a vedel by implementovat proces pre prenos dat zo storagu (firma X si zvoli data eventov A,B za obdobie M-N) do real-time databazy v RAMke? S tym by suvisela aj priprava rozhrania pre load dat medzi roznymi systemami, vratane procesov pre citanie a zapis do pripojenych databaz a APIciek. Samozrejme takuto pomoc sme ochotni stedro zaplatit :) Napisete mi prosim na michal.novovesky@infinario.com <mailto:michal.novovesky@infinario.com> ak by ste mali zaujem nam pomoct? Vdaka, Miso
Ahoj, len zo zaujimavosti by som sa rad spytal. Aky ste mali motivaciu si naimplementovat vlastnu DB? A ake boli argumenty proti existujucim rieseniam ako RethingDB[1] alebo VoltDB[2]. Ak ste nahodou nic z toho nezvazili, tak sa odporucam pozriet prave na tieto dve DB. Rene [1] http://rethinkdb.com/ [2] http://voltdb.com/ 2015-08-06 9:53 GMT+02:00 Michal Novovesky <michal.novovesky@infinario.com>:
Ahojte,
Snajpa ma odkazal na community-list, ze by som tu mohol najst niekoho co by mi vedel pomoct s problemom, ktory riesime u nas vo firme ( https://infinario.com/).
Vytvorili sme analyticku platformu, ktora dokaze real-time spracovavat data, vdaka tomu, ze ich uklada do nami vyrobenej db do RAM serverov. Toto riesenie sice funguje super, ale na ukladanie velkeho mnozstva historickych dat je prilis drahe, a preto by sme potrebovali vyriesit variant, kedy sa data okrem RAMky ukladaju aj do normalneho storagu a uzivatel ma moznost si vyberat data, s ktorymi chce pracovat real-time, a s ktorymi nie.
Nasiel by sa tu niekto, kto by bol schopny a ochotny nam pomoct pri najdeni a implementacii spravnej technologie(napr. Hadoop) na ukladanie stoviek TB historickych dat a vedel by implementovat proces pre prenos dat zo storagu (firma X si zvoli data eventov A,B za obdobie M-N) do real-time databazy v RAMke? S tym by suvisela aj priprava rozhrania pre load dat medzi roznymi systemami, vratane procesov pre citanie a zapis do pripojenych databaz a APIciek.
Samozrejme takuto pomoc sme ochotni stedro zaplatit :) Napisete mi prosim na michal.novovesky@infinario.com ak by ste mali zaujem nam pomoct?
Vdaka, Miso
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
Ahoj Rene, V case, ked sme hladali vhodnu in-memory DB neexistovala ziadna alternativa, ktora by dokazala vypocitat “funnel” (kolko ludi urobi event E1 potom E2 potom E3 …) nad 1mld eventov za 1 sekundu. Navyse tie eventy a ich properties si vyklika user pri kazdej analyze uplne inak - nemozes pouzit predpocitane data ani ElasticSearch. Zaroven sme potrebovali document-oriented DB (skrtnes napr. Redis), s podporou Map-Reduce, distribuovanu, skalovatelnu, ktora na maximum vyuzije HW vykon, ktory jej poskytnes. Dnes vo svete existuju Lamba a Kappa architektury pre real-time stream processing. http://strataconf.com/big-data-conference-ca-2015/public/schedule/detail/387... <http://strataconf.com/big-data-conference-ca-2015/public/schedule/detail/38774> a http://www.slideshare.net/jozokovac/realtime-streaming-architecture-in-infin... <http://www.slideshare.net/jozokovac/realtime-streaming-architecture-in-infinario> Teoriu k tomu v zasade pozname, teraz potrebujeme navyse sikovne ruky co nam to pomozu zrealizovat. Bonus: Tu su skusenosti s NoSQL a SQL databazami, ktore sme testovali: https://infinario.com/speedtest <https://infinario.com/speedtest> Miso
On 06 Aug 2015, at 10:14, René Klačan <rene.klacan@gmail.com> wrote:
Ahoj,
len zo zaujimavosti by som sa rad spytal. Aky ste mali motivaciu si naimplementovat vlastnu DB? A ake boli argumenty proti existujucim rieseniam ako RethingDB[1] alebo VoltDB[2]. Ak ste nahodou nic z toho nezvazili, tak sa odporucam pozriet prave na tieto dve DB.
Rene
[1] http://rethinkdb.com/ <http://rethinkdb.com/> [2] http://voltdb.com/ <http://voltdb.com/>
2015-08-06 9:53 GMT+02:00 Michal Novovesky <michal.novovesky@infinario.com <mailto:michal.novovesky@infinario.com>>: Ahojte,
Snajpa ma odkazal na community-list, ze by som tu mohol najst niekoho co by mi vedel pomoct s problemom, ktory riesime u nas vo firme (https://infinario.com/ <https://infinario.com/>).
Vytvorili sme analyticku platformu, ktora dokaze real-time spracovavat data, vdaka tomu, ze ich uklada do nami vyrobenej db do RAM serverov. Toto riesenie sice funguje super, ale na ukladanie velkeho mnozstva historickych dat je prilis drahe, a preto by sme potrebovali vyriesit variant, kedy sa data okrem RAMky ukladaju aj do normalneho storagu a uzivatel ma moznost si vyberat data, s ktorymi chce pracovat real-time, a s ktorymi nie.
Nasiel by sa tu niekto, kto by bol schopny a ochotny nam pomoct pri najdeni a implementacii spravnej technologie(napr. Hadoop) na ukladanie stoviek TB historickych dat a vedel by implementovat proces pre prenos dat zo storagu (firma X si zvoli data eventov A,B za obdobie M-N) do real-time databazy v RAMke? S tym by suvisela aj priprava rozhrania pre load dat medzi roznymi systemami, vratane procesov pre citanie a zapis do pripojenych databaz a APIciek.
Samozrejme takuto pomoc sme ochotni stedro zaplatit :) Napisete mi prosim na michal.novovesky@infinario.com <mailto:michal.novovesky@infinario.com> ak by ste mali zaujem nam pomoct?
Vdaka, Miso
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz <mailto:Community-list@lists.vpsfree.cz> http://lists.vpsfree.cz/listinfo/community-list <http://lists.vpsfree.cz/listinfo/community-list>
_______________________________________________ Community-list mailing list Community-list@lists.vpsfree.cz http://lists.vpsfree.cz/listinfo/community-list
participants (2)
-
Michal Novovesky -
René Klačan