Zagadnienia IT
Zagadnienia IT
BigData w praktyce
Kiedy mówimy o Big Data, mamy na myśli bardzo duże zbiory danych. Generujemy je, wykonując wiele codziennych rutynowych działań, korzystając z aplikacji czy odwiedzając strony WWW. Tak duża ilość danych jest niemożliwa do przetworzenia dla pojedynczej osoby lub klasycznego narzędzia analitycznego.
Aby zautomatyzować proces gromadzenia i przetwarzania ogromnych zbiorów danych, firmy prywatne, organy administracji publicznej, sieci społecznościowe oraz instytuty badawcze wdrażają projekty Big Data.
Najważniejsze cechy BigData:
- Volume – duża objętość
- Velocity – szybkość przetwarzania
- Variety – różnorodność formatów i typów danych
- Veracity – wiarygodność i dokładność
- Value – wartość dla procesów podejmowania decyzji
BigData w praktyce
Kiedy mówimy o Big Data, mamy na myśli bardzo duże zbiory danych. Generujemy je, wykonując wiele codziennych rutynowych działań, korzystając z aplikacji czy odwiedzając strony WWW. Tak duża ilość danych jest niemożliwa do przetworzenia dla pojedynczej osoby lub klasycznego narzędzia analitycznego.
Aby zautomatyzować proces gromadzenia i przetwarzania ogromnych zbiorów danych, firmy prywatne, organy administracji publicznej, sieci społecznościowe, aplikacje mobilne oraz instytuty badawcze wdrażają projekty Big Data.
Najważniejsze cechy BigData:
- Volume – duża objętość
- Velocity – szybkość przetwarzania
- Variety – różnorodność formatów i typów danych
- Veracity – wiarogodność i dokładność
- Value – wartość dla procesów podejmowania decyzji
Analiza wsadowa
Obejmuje wykonywanie obliczeń na dużych zbiorach danych zgodnie z założonym harmonogramem.
Przykłady takich obliczeń:
- Obliczenie wskaźników produkcyjnych (OEE, CPK, MTTF…) po każdej ze zmian
- Wyznaczenie trendów i danych statystycznych przebiegów zmiennych
- Oszacowanie zdrowia maszyny na podstawie ostatniej doby pracy
- Aktualizacja sieci neuronowej (douczanie)
- Eksport/import danych systemu zewnętrznego
- Przygotowanie danych do raportu BI
W ramach NAZCA 4.0 zadania te można zrealizować za pomocą narzędzi:
Spark – poprzez przygotowanie zadania dla tego systemu
NiFi – wykorzystując przygotowane przez APA dodatkowe procesory
Można wykorzystać możliwość tworzenia własnych funkcji w języku Python oraz wykorzystać dostarczone SDK
W ramach NAZCA 4.0 zadania te można zrealizować za pomocą narzędzi:
Spark – poprzez przygotowanie zadania dla tego systemu
NiFi – wykorzystując przygotowane przez APA dodatkowe procesory
Można wykorzystać możliwość tworzenia własnych funkcji w języku Python oraz wykorzystać dostarczone SDK
Analiza strumieniowa
Analiza wsadowa obejmuje wykonywanie obliczeń na danych, które są przesyłane w sposób ciągły. Są to np. strumienie danych zawierające aktualne wartości pomiarów transmitowane przez mierniki.
Przykłady zastosowań analizy strumieniowej:
- Bieżące obliczanie agregatów w tzw. “oknach” – np. liczenie średnich kroczących
- Redukcja ilości pomiarów poprzez np. uśrednianie
- Wykrywanie zdarzeń w czasie rzeczywistym i natychmiastowa reakcja
- Poszukiwanie anomalii w pracy urządzeń
- Transfer danych do systemów zewnętrznych
- Wzbogacanie danych o dodatkowe informacje przed ich zapisem
- Filtrowanie, zmiana jednostek
- Szeregowanie zdarzeń względem czasu ich wystąpienia
W ramach NAZCA 4.0 zadania te można zrealizować za pomocą narzędzi:
Flink – poprzez przygotowanie zadania do tego systemu
NiFi – wykorzystując przygotowane przez APA dodatkowe procesory
Zalety BIG DATA
Skalowalność
Bezpieczeństwo
Integracja
Modułowość, konteneryzacja
Skalowalność
Rozwiązanie rosnące wraz z przedsiębiorstwem lub potrzebami, możliwość dołączania kolejnych maszyn, prototypowanie i wdrożenie za pomocą skalowania jednego systemu
Skalowalność
Bezpieczeństwo
Integracja
Modułowość, konteneryzacja
Skalowalność
Rozwiązanie rosnące wraz z przedsiębiorstwem lub potrzebami, możliwość dołączania kolejnych maszyn, prototypowanie i wdrożenie za pomocą skalowania jednego systemu
Zobacz swoje dane w akcji!
Zostaw swój email. Odezwiemy się do Ciebie i pokażemy NAZCA 4.0 w akcji.
Powiedz nam czego potrzebujesz
Nie możesz nas odwiedzić? Nic straconego! Skontaktuj się, a przedstawimy Ci propozycje wsparcia – dwie ścieżki wdrożenia (pilotażu lub personalizowanego projektu), przekażemy dostęp do demo aplikacji, udostępnimy zdalnie jednostki testowe lub strumienie danych
Jesteśmy do Twojej dyspozycji:
Umów spotkanie lub możesz także skontaktować się przez nasz formularz kontaktowy.
