Big Data Engineer

  • Warszawa

Opis

Opis roli:

  • Członek zespołu centrum kompetencji Big Data (technology agnostic).
  • Współprojektowanie i implementacja środowiska Data Lake w oparciu o infrastrukturę Cloud lub On-Permise.
  • Projektowanie i implementacja przepływów danych od źródła do końcowego konsumenta danych.
  • Projektowanie i implementacja algorytmów/rozwiązań typu Predictive Analytics.
  • Kreowanie procesu zarządzania danymi (elementy Data Governance/Meta-data Management).
  • Współpraca z Analitykami Danych oraz Analitykami Biznesowymi.

 

Szerokie wymagania:

  • Bardzo dobra znajomość języka Java 8 oraz/lub Python
  • Znajomość platformy Hadoop w dowolnej dystrybucji
  • Znajomość Apache Spark i/lub Apache NiFi i/lub Airflow
  • Znajomości bazy danych SQL i NoSQL (HBase/Cassandra)
  • Praktyczna znajomość narzędzi ETL oraz zasad przetwarzania danych
  • Wiedza na temat serializacji danych (JSON,XML,Avro)
  • Wiedza na temat podstawowych wzorców architektonicznych Big Data (Lambda/Kappa)
  • Biegła znajomość języka angielskiego w mowie i piśmie

 

Mile widziane:

  • Praktyczna znajomość Apache Kafka i przetwarzania strumieniowego (np. Apache Flink/Spark Streaming)
  • Znajomość zagadnień administracji ww. technologiami (Hadoop/Airflow/Kafka/Nifi)
  • Doświadczenie z technologiami z zakresu DevOps
  • Doświadczenie w pracy z AWS (S3, Glue, EMR, Redshift)

 

Oferujemy:

  • Realizację własnych inicjatyw. Jesteśmy firmą, gdzie główny nacisk stawiamy na ludzi – to oni tworzą naszą siłę. Doceniamy inicjatywę, jesteśmy otwarci na realizację własnych pomysłów.
  • Gwarantujemy indywidualną ścieżkę rozwoju zawodowego oraz osobistego. Nie mamy odgórnie i szablonowo wyznaczonej drogi rozwoju dla każdego pracownika. Wszystko w Twoich rękach!
  • Stabilność zatrudnienia. Stawiamy na długofalową współpracę. Po zakończonym projekcie rozmawiamy, słuchamy i zapewniamy kolejne wyzwania.
  • Coś jeszcze? Pewnie! Zapewniamy współfinansowanie nauki j. angielskiego oraz benefity (karta MultiSport, prywatne ubezpieczenie medyczne), uczestnictwo w firmowych eventach (rejsy na STS F.Chopin, cykliczne wyjazdy integracyjne).
  • Czy jest fajnie? Jest luźno i przyjaźnie, pracujemy zespołowo, dzielimy się wiedzą.

BlueSoft czytaj więcej

Big Data Engineer

  • Warszawa
  • Java
  • B2B
  • Dodano miesiąc temu
Aplikuj teraz

Wymagania

  • Big Data
  • Java
  • Python
  • Apache
  • Hadoop
  • ETL
  • NoSQL
  • SQL

Opis

Opis roli:

  • Członek zespołu centrum kompetencji Big Data (technology agnostic).
  • Współprojektowanie i implementacja środowiska Data Lake w oparciu o infrastrukturę Cloud lub On-Permise.
  • Projektowanie i implementacja przepływów danych od źródła do końcowego konsumenta danych.
  • Projektowanie i implementacja algorytmów/rozwiązań typu Predictive Analytics.
  • Kreowanie procesu zarządzania danymi (elementy Data Governance/Meta-data Management).
  • Współpraca z Analitykami Danych oraz Analitykami Biznesowymi.

 

Szerokie wymagania:

  • Bardzo dobra znajomość języka Java 8 oraz/lub Python
  • Znajomość platformy Hadoop w dowolnej dystrybucji
  • Znajomość Apache Spark i/lub Apache NiFi i/lub Airflow
  • Znajomości bazy danych SQL i NoSQL (HBase/Cassandra)
  • Praktyczna znajomość narzędzi ETL oraz zasad przetwarzania danych
  • Wiedza na temat serializacji danych (JSON,XML,Avro)
  • Wiedza na temat podstawowych wzorców architektonicznych Big Data (Lambda/Kappa)
  • Biegła znajomość języka angielskiego w mowie i piśmie

 

Mile widziane:

  • Praktyczna znajomość Apache Kafka i przetwarzania strumieniowego (np. Apache Flink/Spark Streaming)
  • Znajomość zagadnień administracji ww. technologiami (Hadoop/Airflow/Kafka/Nifi)
  • Doświadczenie z technologiami z zakresu DevOps
  • Doświadczenie w pracy z AWS (S3, Glue, EMR, Redshift)

 

Oferujemy:

  • Realizację własnych inicjatyw. Jesteśmy firmą, gdzie główny nacisk stawiamy na ludzi – to oni tworzą naszą siłę. Doceniamy inicjatywę, jesteśmy otwarci na realizację własnych pomysłów.
  • Gwarantujemy indywidualną ścieżkę rozwoju zawodowego oraz osobistego. Nie mamy odgórnie i szablonowo wyznaczonej drogi rozwoju dla każdego pracownika. Wszystko w Twoich rękach!
  • Stabilność zatrudnienia. Stawiamy na długofalową współpracę. Po zakończonym projekcie rozmawiamy, słuchamy i zapewniamy kolejne wyzwania.
  • Coś jeszcze? Pewnie! Zapewniamy współfinansowanie nauki j. angielskiego oraz benefity (karta MultiSport, prywatne ubezpieczenie medyczne), uczestnictwo w firmowych eventach (rejsy na STS F.Chopin, cykliczne wyjazdy integracyjne).
  • Czy jest fajnie? Jest luźno i przyjaźnie, pracujemy zespołowo, dzielimy się wiedzą.