Big Data

[bywalec.hoteli]

Zbieracie w pracy Big Data? Korzystacie z Big Data?

[bywalec.hoteli]

Ktos cos ?

[princesswhitewolf]

Tu sa osoby pracujace dla agory wiec zapewne oni zbieraja. U nas to malo bo kilkanascie tysiecy danych istotnych dla naszego przemyslu i wszystko z consent bo GDPR. Zazwyczaj firmy zajmujace sie research zbieraja itd.

Czasami korzystam z zakupu danych przed events

[bywalec.hoteli]

Mam wrazenie, ze wszędzie się dużo gada o tym, ale mało gdzie się rzeczywiście korzysta - poza googlem Facebookiem i innym firmami wyspecjalizowanymi w informacji i pracującym dla amerykańskiego rzadu

[brenya78]

Bo niewiele firm obraca big data. A nawet jak obraca to często nie ma specjalistów, systemów, dane leżą. Na ostatniej Big Data Conference był gościu z Ubera i mówił, że większość danych leży u nich, a tych w których są dane osobowe to nawet nie dotykają i nawet nie myślą co z nimi zrobic - zbyt wiele problemów z GDPR. Za dużo roboty. Za dużo to kosztuje.
Z tej samej konferencji wiem że BP obraca dużymi danymi np. przy pobieraniu danych o sile wiatru i innych meteorologicznych. Wykorzystują to do algorytmów optymalizacji pracy wiatraków - jak je obrócić, kiedy włączyć itp. Plus podobne projekty, mają ich ponoć 500 na short liście do machine learning. Nie we wszystkich wykorzystują big data though.
No i banki. Mają big data bo muszą (prawo wymaga) ale duży ból głowy z regulacjami finansowymi.
Big Data wypuściło video's z ostatniej konferencji, można je chyba obejrzeć online.

[bywalec.hoteli]

Gdzie była ta Big Data Conference ?

[brenya78]

W Londynie, w październiku.
bigdataldn.com
Srednia, bo to darmowy event.

[grru]

A takich korporacjach jak Agora zajmuje się tym konkretny zespół, a nie wszyscy ludzie, którzy pracują.

[princesswhitewolf]

No pewno

[panpaniscus]

Tak.
Np. informację o ekspresjii 30 000 transkryptów w 1000 komórek i takie coś z 20 próbek (czyli razy 20).
Sekwencje receptorów limfocytów T, z kilkuset tysięcy komórek, to razy 88 próbek.
Informację o ekspresji kilkunastu białek na powierzchni mln limfocytów, to razy kilkanaście tysięcy próbek.
Jeszcze?

[princesswhitewolf]

Ale 30 tys to nie jest jeszcze Big Data...to ilosc danych ktore ma wiekszosc firm

[bywalec.hoteli]

To może być Big data , myśle, ze nie ma takiej dolnej wielkości tylko chodzi o gromadzenie i przetwarzanie i analizowanie i odkrywanie informacji.

[brenya78]

Parę lat temu za big data przyjmowało się powyżej 20 terabytow. Teraz za big data uznaje się właściwie exobyte, bo terabyty często mozna obronić jeszcze systemami on premise. Wiec Toni czym pisze koleżanka to nawet Excel obrabia.

[princesswhitewolf]

Jak nie ma? Jest. Link ponizej. Big Data to BIGGGG data liczona w milionach

[princesswhitewolf]

"An example of big data might be petabytes (1,024 terabytes) or exabytes (1,024 petabytes) of data consisting of billions to trillions of records of millions of people—all from different sources (e.g. Web, sales, customer contact center, social media, mobile data and so on). The data is typically loosely structured data that is often incomplete and inaccessible.

Twitter produces over 90 million tweets per day.
eBay uses two data warehouses at 7.5 petabytes and 40PB as well as a 40PB Hadoop cluster for search, consumer recommendations, and merchandising.
Walmart handles more than 1 million customer transactions every hour, which are imported into databases estimated to contain more than 2.5 petabytes (2560 terabytes) of data – the equivalent of 167 times the information contained in all the books in the US Library of Congress...."

Za www.quora.com/How-much-data-is-Big-Data-Is-there-classification-for-various-levels-of-Big-Data-by-amount-of-data-processed-or-other-constraints-like-for-example-throughput-What%E2%80%99s-the-minimum-data-size-which-still-qualifies-as-a-Big-Data%E2%80%9D

[brenya78]

Przecież to nie jest nawet small data

Sprobuj exabyte to będziemy gadać...

[princesswhitewolf]

To sa Big Data companies - link do zdjecia powyzej

[zazou1980]

Przez 10 lat tyralam w takiej firmie. Zbieralismy, oczyszczalismy, matchowalismy, uzdatnialismy, a potem sprzedawalismy z tym ze nie na polski rynek. Ilosc i rodzaj zbieranych danych oraz stopien dopasowania i rozpoznania byl imponujacy...

[bywalec.hoteli]

Fajne to? Czemu tyrałas ?

[brenya78]

Pewnie bo data engineering to cholernie dupna robota.

[bywalec.hoteli]

Ale chyba dobrze płatna ?

[brenya78]

Niekoniecznie. Zależy co robisz. Obrabianie danych, czyli data engineering, nawet jeśli tych danych jest dużo, może robić stażysta albo temp. Za minimalną krajową. Płaci się dopiero ludziom którzy wiedzą co z tymi danymi zrobić, znają się na systemach je przetwarzających, piszą algorytmy analizujące - czyli wszelkiej maści data scientists.

[bywalec.hoteli]

O to mi chodzi, o data scientist, kogoś kto bedzie to obrabiał w R i innych narzędziach.

[princesswhitewolf]

W duzych korporacjach zatrudniaja ludzi od R i SAS. W srednich wystarczy CRM i Excel

[brenya78]

Nie, nie wystarczy. CRM ani Excel to nie narzędzia do obrabiania big data.

[princesswhitewolf]

W srednich firmach nie ma czegos takiego jak Big Data lol. Ty w ogole rozumiesz znaczenie slowa Big Data? Mowimy o milionach danych. Wkleilam linka. Srednia firma to juz 100 osob. Oni nie operuja milionami danych lol

[brenya78]

Mówimy o big data, a nie średnich firmach z milionem danych. Więc po pierwsze średnie firmy zazwyczaj nie dysponują big data, a po drugie big data nie obrabia się Excelem, nie mówiąc już o tym, że chyba nie bardzo wiesz co to CRM, a bynajmniej nie są to systemy do obrabiania danych.

I miliony czego, by the way? Chyba nie za bardzo rozumiesz co to jest big data i jak się mierzy ilość danych (nie w milionach).

[princesswhitewolf]

Princesswhitewolf wyraznie wyzej napisala

> W srednich wystarczy CRM i Excel


A brenya78 farmazoli ze ja chce w Excelu big data processowac.
Czy ty rozumiesz co to Big Data? Tym sie nie zajmuja male i srednie firmy. Nigdzie nie napisalam ze tetrabajtami danych masz sie zajmowac w Excel. Nie tworz. Czytaj uwaznie.

Princesswolf rowniez wyraznie napisala:
>W duzych korporacjach zatrudniaja ludzi od R i SAS.

Taaak bo tylko tam jest prawdopodobienstwo processingu Big Dat. A liste firm zajmujacych sie BIG Data wkleilam ponizej. Wiec niech ci sie nie zdaje ze to kazda firma majaca pare tysiecy pracownikow - NIE

[princesswhitewolf]

Wkleilam powyzej link co to jest Big Data i o jakich rozmiarach danych mowimy. Moj zawod to Head of Marketing,ale dla ciebie moze byc zmywak i wrozby z fusow. Spedzam wiele godzin nad decyzjami i na sporkaniach dotyczacych Oracle CRM i API do Sage systemu. Nie, nie pracuje w kilkunastu firmach swiata ( lista ponizej) procesujacujacych BigData. Tych jest naprawde niewiele. Milion entries to NIE to co sie rozumie pod Big Data

[brenya78]

Ale to ty piszesz o jakimś Excelu i CRM. Kompletnie nie na temat. Co mnie obchodzą srednie firmy z "milionem" danych?? W jakim celu o nich piszesz? I przestań pisać o "milion entries" bo mnie zęby bolą!!!! Właśnie po takich wyrażeniach można poznać kogoś kto nie wie o czym mówi, bo nawet zajmując się byle SQLem wiedziałbyś że "milion entries" albo "milion danych" nic nie znaczy - jest bez sensu.
Lista firm zajmujących się big data? Z księżyca spadlas? Nie istnieje taka lista, bo big data zajmują się tysiące firm, ale tez pojedynczych ludzi, startupow, zbiera te dane oczywiście mniej firm ale na Boga nie kilkanaście z jakiejś listy. Ty nie masz pojęcia o czym piszesz.
Kotku, Twoje head of marketing i CRMy i Sage (ha ha ha, padlam) nie robią na mnie absolutnie żadnego wrażenia, i nawet nie wiesz jak sie osmieszasz. Wrzucilas dane klienta do CRMu i myślisz że jesteś big data specialist? Żebyś chociaż jakimś SAP HANA rzuciła, albo jakims Hadoopem, Sparkiem

[brenya78]

Ale koleżanka chyba nie taką pracę miała.

[zazou1980]

Ciekawe skad i jakie dane mozna pozyskac, co ludzie sa w stanie udostepnic...

[princesswhitewolf]

Subskrypcje? Itd

[zazou1980]

Subskrypcje, ankiety ale przede wszystkim dane od klientow, dostarczane w przeroznych formach, tylko trzeba bylo je wyciagnac i dopasowac. Po naszej stronie byly przetwarzane, a przy okazji kazdy rekord rozpoznawany i matchowany z juz istniejacym lub dodawany. Taka globalna (choc ograniczona do krajow zainteresowania) baza do ktorej kazdy klient wrzuca swoj pakiecik, a dostaje obrobiony i dopasowany do zalozen rekord lub co tam sobie zamowil. Czasami robilismy cale serwisy lub aplikacje, ktorych glownym zadaniem bylo zbieranie danych od wyselekcjonowanych grup w zamian za dostep do czegos lub naprawde drobne upominki (serwis obrandowany przez rozne znane firmy, ale dane trafiaja do jednego woreczka z ktorego inni moga pobierac)...

[bywalec.hoteli]

a czemu tyrałaś ?

[al_sahra]

Ja korzystam/analizuję. Moja firma ma kontrakty od amerykańskiego rządu i dane, z których korzystamy, są rządowe.

[bywalec.hoteli]

al_sahra napisał(a):

> Ja korzystam/analizuję. Moja firma ma kontrakty od amerykańskiego rządu i dane,
> z których korzystamy, są rządowe.

A z jakich narzędzi korzystacie? Cloudera, Hortonworks?

[al_sahra]

Mój dział nie zajmuje się zarządzaniem ani dystrybucją danych, tylko analizą wybranych data subsets dla bardzo specyficznych projektów, których ostatecznym produktem są ”policy recommendations”. Programiści, którym zlecamy wyciąganie danych z baz rządowych, pracują głównie w SAS, a analiza końcowego (najczęściej już niezbyt dużego) dataset jest robiona różnymi narzędziami, zależnie od konkretnego problemu, np. Stata. Wizualizacje, które idą do klienta są oparte na MicroStrategy.

Przepraszam za łamany język, ale nie znam polskiego słownictwa, a kiedy staram się sama tłumaczyć na polski, to pewnie dziwy wychodzą.

[bywalec.hoteli]

Mniej więcej zrozumiałem Fajną masz robotę. Czy jest to ciekawa i dobrze płatna robota czy wręcz przeciwnie?

[al_sahra]

Praca jest ciekawa, bo oprócz samej analizy pozwala zaznajomić się z kontekstem, poznać mechanizmy sterowania państwem. I można też zaobserwować wiele pożytecznych i skutecznych rzeczy, które robi rząd amerykański, o których media rzadko piszą, a społeczeństwo nic nie wie (bo ludzi interesują sensacje, a nie normalne funkcjonowanie państwa).

Jeśli chodzi o zarobki, to pozostaną moją tajemnicą .

[bywalec.hoteli]

Ciekawe. A co takiego pożytecznego robi rząd amerykański o czym społeczeństwo nie wie?

[bigzaganiacz]

A z jakich narzędzi korzystacie? Cloudera, Hortonworks?

Teraz jest splunk, zajebisty na marginesie

[princesswhitewolf]

Jeszcze raz link do Big Data Landscape bo niektorym sie wydaje ze kilkaset tys danych to Big Data
bigdata.black/infrastructure/platforms/2017-big-data-landscape/

en.m.wikipedia.org/wiki/Big_data

Mowimu zetta data juz w kontekscie tych firm

[bywalec.hoteli]

Princess, pewnie masz rację, nie jestem informatykiem, ale u nas w(e) firmie mamy big data z dużo mniejszą ilością danych, tylko narzędzia big data, dlatego postrzegam to jako big data.

[brenya78]

Umówmy się, że R wymyślono na długo zanim ktokolwiek myślał o big data, wiec to akurat nic dziwnego że używasz takich narzędzi do mniejszej ilości danych.

[bywalec.hoteli]

Hadoopa i Sparka tez mamy. Nie jestem informatykiem. Myśle, ze danych będą gigabajty (chyba tak się nazywa ta wielkość). Czy to jest Big data czy raczej small data ?

[brenya78]

Gigabajty to np. wszystkie zdjęcia na twoim komputerze, wiec zdecydowanie small data.
Ale Tu naprawdę nie o wyścigi chodzi możecie robić cuda wianki i na mniejszej ilości danych. Powodzenia i gratuluję fajnej roboty

[brenya78]

Jezu, dziewczyno, nie podniecaj się tak. Linkujesz rzeczy, ktorych nie rozumiesz. Landscape, ktory zalinkowalas nie mówi akurat nic o ilości danych które obrabia - nic z tego nie rozumiesz. Nie rozumiesz co to w ogóle landscape I wydaje ci się że to coś konkretnego o nazwie " big data landscape" i oto znalazłaś do tego "linka". Mogę ci dziesięć takich landscapow rozpisać, każdy inny i data lake in the middle.
Jak jeszcze raz przeczytam "kilkaset tysięcy danych" to mnie szlag trafi. Doucz się w jakich jednostkach liczy się dane!

[matacznik]

bywalec.hoteli napisał:

> Zbieracie w pracy Big Data?
>
W pracy nie. Popierdółki.

> Korzystacie z Big Data?
>
W prywatnym projekcie badawczym może do tego dojść. Na razie skromnie, ale potencjał jest nieskończony, więc czeka mnie nauka o skalowaniu narzędzi.

[matacznik]

Nie napisałem najważniejszego: nie spodziewałem się, że ten wątek tak szybko zmieni się w dyskusję o tym, kto ma większego.

[brenya78]

Niestety, ale nie lubię jak wypowiadają się osoby które coś przeczytały na wiki I nic z tego nie zrozumiały.

[matacznik]

brenya78 napisał(a):

> I nic z tego nie zrozumiały.
>
Mam świadomość, że hasło stało się buzzwordem i używa go każdy, komu Excel choć raz powiedział "to za dużo". Po prostu zaskoczyło mnie, że większość dyskusji jest właśnie o tym.

[kura17]

no w "mojej dzialce" (eksperymentalna fizyka wysokich energii) to na codzien mamy do czynienia z "big data". nie wiem, czy formalnie spelniamy definicje, ale w zasadzie non stop zapisujemy informacje z tysiecy zderzen czastek, wszystkie odczyty wszystkich detektorow itp ...

na przyklad moj stary eksperyment (juz nie dziala) zderzal elektrony z protonami 96 razy na sekunde, w kazdym zderzeniu produkowaly sie czastki (czasem duuzo), ktore byly rejestrowane w kilkunastu roznych detektorach - i to bylo zapisywane na dyski/tasmy do pozniejszej analizy. przez ok 15 lat dzialania zebralismy pentabajty ... eksperymenty byly 4.

w cernie dzieja sie teraz podobne rzeczy.
dawniej obrabialo sie to "wlasnymi programami", teraz zdaje sie jest bardziej profesjonalnie, bo temat na czasie.
wiem, ze sporo moich kolegow fizykow odchodzi z zawodu pracowac w roznych firmach z big data wlasnie.

[bywalec.hoteli]

Wow, a Kura oprócz zbierania potraficie te dane sensownie analizować ?

[kura17]

> Wow, a Kura oprócz zbierania potraficie te dane sensownie analizować ?

no przeciez analiza tych danych to nasze glowne zajecie
popatrz na jakiekolwiek publikacje z LHC: grupy CMS, ATLAS, LHCb, albo HERA: ZEUS, H1, HERMES.

ja na przyklad analizuje obecnie dane, ktore nam cos mowia na temat struktury protonu oraz (osobno) na temat bozonu oddzialywan slabych (bozon W).

[bywalec.hoteli]

Fajnie I macie sensowne wnioski, z których skorzystaliście ?

[bywalec.hoteli]

ciekawy wątek

[simply_z]

ciekawszy od spamu na temat domku w lesie. daj sobie spokoj z promowaniem tego gownobloga.

[bywalec.hoteli]

Ja nim jestem szczerze zainteresowany - choć ostatnio też rozczarowany.