O co chodzi z Big Data?
W skrócie – o analizę danych. Dzięki erze technologii i informacji jesteśmy w stanie gromadzić ogromne ilości danych. Do 2020 roku tworzonych będzie 1,7 megabajtów informacji na sekundę na każdego człowieka na Ziemi – w tym czasie zgromadzone będą już 44 petabajty danych. Królowa nauk – statystyka (która kłamie, ale przekonująco) – jest w stanie te dane przetwarzać i szukać między nimi połączeń i zależności. Po co? Po to, by redukować koszty, lepiej i pełniej docierać do informacji, precyzyjniej raportować, lepiej zarządzać, optymalizować, przewidywać i tworzyć nowe potencjały (np. w postaci rynków zbytu czy nowych produktów).
Big Data to nie tylko statystyka
Praca w Big Data nie oznacza, że trzeba być statystykiem i miłośnikiem korelacji (choć to pomaga). Nie jest to już zwykła praca analityka polegająca na łączeniu tabelek w Excelu. Aby przetworzyć taką ilość danych, potrzebne są przestrzenie dyskowe, odpowiedni sposób gromadzenia danych i ich agregowania, odpowiednie oprogramowanie, które je przetworzy, narzędzia, które te dane zwizualizują. Trzeba też osób, które wiedzą, co badać, jak badać
i są na tyle kreatywne, że potrafią przełamać standardy i wpaść na pomysł badawczy.
W jakich branżach będą potrzebni specjaliści Big Data?
Z analizy Deutsche Bank przeprowadzonej w 2012 roku wynika, że Big Data będzie wykorzystywane w księgowości, IT, handlu, marketingu, zdrowiu, HR, edukacji – innymi słowy: wszędzie. Analiza i przetwarzanie danych w ogromnych ilościach to przyszłość każdej branży i każdego obszaru działalności. Ostatnie lata były erą informacji i technologii – przyszłość ma być erą danych i ich przetwarzania. Według danych serwisu Wanted Analytics, popyt na pracowników z doświadczeniem w Big Data wzrósł w ciągu ubiegłego roku o kilkadziesiąt procent, np. administrator systemów – o 76%, Project Manager Big Data – o 123%.
Najwięcej pracowników z takim doświadczeniem poszukuje się w obszarach:
technologii i nauki: 27% ofert, przetwarzania informacji: 19% ofert, produkcji: 12% ofert, handlu: 9% ofert.
Dlaczego praca w Big Data jest sexy?
Mówi się o tym, że praca w Big Data jest najbardziej sexy karierą w XXI wieku. Dlaczego? Bo w Big Data jest i władza, i pieniądze. Jednak nie każdy jednak specjalista Big Data będzie zarządzał wielomilionowym wolumenem danych
i kreował obszary badawcze.
W przeważającej większości praca w Big Data to następujące stanowiska:
Data Scientist: osoba odpowiedzialna za analizę i interpretację danych (nie wystarczy wiedzieć, że związek istnieje, ale warto też zadać odpowiednie pytania: „dlaczego?”, postawić i zbadać hipotezy).
Technical Architect: osoba odpowiedzialna za projektowanie infrastruktury sprzętowej i oprogramowania do analizy i przetwarzania danych – to administratorzy, programiści, projektanci webowi.
Inżynier Hadoop: Hadoop to projekt open source, tworzący szkielet oprogramowania umożliwiającego pracę z dużymi danymi – trzeba umieć na nim pracować, integrować go z innym oprogramowaniem, wdrażać, usprawniać itd.
Jakich osób poszukuje się w Big Data?
Praca w Big Data to różne obszary stanowisk – nie ma tu zatem jednego kompletu twardych umiejętności, które powinien mieć specjalista. Inne są wymagania wobec twórcy oprogramowania do analizy (inżyniera czy architekta), inne wobec administratora Hadoop, a jeszcze inne dla menedżera czuwającego nad stworzeniem określonego projektu.
Od każdego wymaga się jednak: analitycznego myślenia (zarówno w zakresie analizy, jak i interpretacji danych), kreatywności (by umieć szukać połączeń między pozornie niezwiązanymi danymi i szukać obszarów badawczych i porównawczych), elastyczności (głównie w zakresie umiejętności adaptacji do nowych projektów), szybkiego uczenia się (by móc łatwo wdrażać się w nowe procedury, oprogramowanie), pasji (bez śledzenia rynku i nowości, trudno zostać specjalistą).
Bycie specjalistą od Big Data oznacza zarówno duże pieniądze, bezpieczeństwo pracy, jak i pełne wyzwań zadania. Chcesz mieć pracę, która zmienia ludzkie myślenie i życie? Zatem zainteresuj się Big Data.
znajomości języków (głównie angielskiego – bez tego nie można się rozwijać).
Ile można zarobić w Big Data?
W Polsce rynek specjalistów Big Data jest jak na razie na tyle świeży, że zarobki mają bardzo szerokie spektrum i są
w większej mierze uzależnione od obszaru specjalizacji. W USA mediana wynagrodzenia wynosi już 103 tys. dolarów rocznie i nadal rośnie.
Z danych raportów płacowych (za Dziennikiem Polskim) wynika, że w Polsce specjalista Big Data zarabia około 10-12 tys. zł miesięcznie.
Jak zostać specjalistą Big Data?
Studia w tym zakresie już zostały w Polsce uruchomione. Wydział Matematyki i Informatyki Uniwersytetu Łódzkiego oferuje 3,5-letnie interdyscyplinarne studia inżynierskie z zakresu analizy danych. SGH oferuje podyplomowe studia o nazwie: inżynieria danych Big Data. Pojawia się też coraz więcej konferencji, seminariów i szkoleń. Oprócz studiów to staże i praktyki w korporacjach często otwierają drzwi tym, którzy chcą się uczyć i specjalizować w tym modnym obszarze.
Pracownicy z doświadczeniem (developerzy, administratorzy baz danych, project managerowie) mogą szukać pracy w zespołach pracujących przy Big Data i w ten sposób – już w trakcie pracy – nabierać nowych umiejętności. To idealny czas na tego typu przekwalifikowanie się – jak na razie zaledwie 2-3 lata doświadczenia w tej branży wystarczają, by można było nazywać się ekspertem.
W zakresie technologii IT największe szanse na pracę w Big Data mają osoby znające takie języki programowania jak: Java, Scala, Python, R. Do tego przydaje się znajomość odpowiednich frameworków (np. Hadoop) i oprogramowania do pośredniczenia między źródłami i miejscami przechowywania danych (tzw. message broker). Jeśli chcesz pracować w Big Data, zainteresuj się zatem takimi pojęciami jak: Kafka, Flume, Hive, Impala, Spark, Storm, HBase.
3 nietypowe analizy Big Data
Praca w Big Data to nie tylko statystyka – to również jej wykorzystanie do niekiedy bardzo niezwykłych zastosowań:
Dobór biustonosza za pomocą Big Data – aplikacja stworzona przez programistów pozwala agregować dane podawane przez klientki sklepu z bielizną True&Co i dzięki temu tworzone są modele dopasowane kroju krojem i do rozmiaru biustonosza.
Big Data w służbie reklamy outdoorowej – to, że można analizować kliknięcia na stronach internetowych, wiemy nie od dziś, ale by śledzić to, ile i jakich osób zauważy billboard? Dzięki GPS, oprogramowaniu do eye-tracking i analizie ruchu ulicznego specjaliści Big Data są w stanie przewidzieć, ile osób rzeczywiście spojrzy na billboard!
Big Data pomaga zjeść świeże owoce – projekt Falling Fruit to interaktywna mapa, która gromadzi 615 typów drzew i krzewów owocowych w ponad 570 tys. lokalizacji. Analizując dane pogodowe klimatycznie, zmiane mieszkańców i kilka innych zmiennych, mapa sygnalizuje, gdzie w okolicy można znaleźć gotowe do spożycia owoce rosnące na „publicznym” drzewie.
5 ciekawostek o wykorzystaniu Big Data
Pilotażowy projekt realizowany w Kalifornii pozwolił przewidzieć obszary, w których zostanie dokonana zbrodnia 3 razy efektywniej niż standardowe metody („Raport mniejszości” to praktycznie teraźniejszość).
Dzięki analizie danych w zakresie profili zakupowych klientów typowa sieć handlowa może zwiększyć swój zysk o 60%.
Jedne z analiz wykazały, że jeśli pracownik niedawno dostał awans, a do tego zaczął rzadziej wychodzić na lunch z kolegami z pracy, to oznacza, że najprawdopodobniej szuka nowej pracy.
Z metaanaliz firmy Kaggle Inc. wynika, że najlepiej kupić używane auto w kolorze pomarańczowym – właściciele aut w takim kolorze dbają o nie bardziej niż właściciele aut czerwonych czy czarnych.
Dla typowej firmy z listy Fortune 100, poprawa zarządzania danymi zaledwie o 10% dałaby dodatkowy zysk 65 mln dolarów.
