Czym się zajmuje Data Engineer? [WYWIAD]
Marek Zoellner · 03.02.2021
Jakie kompetencje muszą mieć Data Engineer i Data Scientist i jak je zdobywać? Kim jest tech lead? Jak wygląda praca na co dzień Data Engineera? Czy Python jest potrzebny na każdym etapie pracy z Big Data? Na te i parę innych pytań odpowiada Bartłomiej Poniecki-Klotz z PGS Software.
Co robi Data Engineer? Co to jest Data Engineering?
- Jeszcze kilka lat temu było to bardzo proste. Mieliśmy niedużą ilość danych, nie były one zbierane ze wszystkich źródeł, więc można to było zrobić nawet ręcznie. Aktualnie danych jest bardzo dużo - tłumaczy Bartek, który przywołuje bardzo popularne powiedzenie "Data is the new oil.
Koncepcja polega na tym, że zbierane dane są surowe i podobnie jak wydobywana spod ziemi ropa naftowa nabierają wartości dopiero po ich przetworzeniu czy połączeniu z innymi danymi. To paliwo nabrało zaś jeszcze większego znaczenia w czasie pandemii, a rola takich stanowisk jak Data Engineer i Data Scientist stała się jeszcze ważniejsza. Ten pierwszy przygotowuje dane po to, żeby Data Scientist mógł je wykorzystać i dostarczyć ważne wskazówki dla właścicieli biznesów.
Kiedyś robiło się takie analizy na przykład raz w roku. Aktualnie, za rok, Twojego biznesu już może nie być - mówi Bartek.
Jeśli interesujesz się analizą danych z Pythonem, chcesz się nauczyć podstaw Big Data, sprawdź nasze szkolenia PRO: