Wykład 4 - Technologia Big Data Flashcards
Kiedy dane nie są big: rozmiar
Mają ograniczony rozmiar i są łatwo interpretowane przez człowieka
Kiedy dane nie są big: prędkość gromadzenia
Kiedy są gromadzone powoli i niekoniecznie aktualizowane
Kiedy dane nie są big: struktura
Kiedy są ustrukturyzowane, np. możliwe do umieszczenia w tabeli
Kiedy dane nie są big: przechowywania
Kiedy są trzymane w obrębie organizacji
Cykl życia Big Data
- Gromadzenia i przechowywanie
- Tworzenie modelu danych
- Przetwarzanie danych
- Wizualizacja wyników
- Podejmowanie decyzji
Cykl życia Big Data - 1. Gromadzenie i przechowywanie danych.
Jakie narzędzie?
Hadoop HDFS
Cykl życia Big Data: 2. Tworzenie modelu danych
Jakie narzędzie
Na przykład wykorzystanie MapReduce
Cykl życia Big Data: 3. Przetwarzanie danych
Jakie narzędzie
Apache Spark
Pięć “V” Big Data (uzupełnij):
* _____ (przyrost rozmiaru)
* Velocity (prędkość napływu)
* Variety (zróżnicowanie formy)
* Veracity (wiarygodność)
* Value (wartość biznesowa)
Volume
Pięć “V” Big Data (uzupełnij):
* Volume (przyrost rozmiaru)
* _____ (prędkość napływu)
* Variety (zróżnicowanie formy)
* Veracity (wiarygodność)
* Value (wartość biznesowa)
Velocity
Pięć “V” Big Data (uzupełnij):
* Volume (przyrost rozmiaru)
* Velocity (prędkość napływu)
* _____ (zróżnicowanie formy)
* Veracity (wiarygodność)
* Value (wartość biznesowa)
Variety
Pięć “V” Big Data (uzupełnij):
* Volume (przyrost rozmiaru)
* Velocity (prędkość napływu)
* Variety (zróżnicowanie formy)
* _____ (wiarygodność)
* Value (wartość biznesowa)
Veracity
Pięć “V” Big Data (uzupełnij):
* Volume (przyrost rozmiaru)
* Velocity (prędkość napływu)
* Variety (zróżnicowanie formy)
* Veracity (wiarygodność)
* _____ (wartość biznesowa)
Value
Powszechnie wykorzystywane rezultaty big data
- silniki rekomendacji
- inteligentni asystenci osobiści
- duże modele językowe
Top zastosowania Big Data (2019) - uzupełnij:
- __________
- Przemysł wytwórczy
- Przemysł samochodowy
- Ubezpieczenia
- Sprzedaż detaliczna
- Służba zdrowia
- Różne branże - spersonalizowana oferta
- Handel algorytmiczny
Telekomunikacja
Top zastosowania Big Data (2019) - uzupełnij:
- Telekomunikacja
- __________
- Przemysł samochodowy
- Ubezpieczenia
- Sprzedaż detaliczna
- Służba zdrowia
- Różne branże - spersonalizowana oferta
- Handel algorytmiczny
Przemysł wytwórczy
Top zastosowania Big Data (2019) - uzupełnij:
- Telekomunikacja
- Przemysł wytwórczy
- __________
- Ubezpieczenia
- Sprzedaż detaliczna
- Służba zdrowia
- Różne branże - spersonalizowana oferta
- Handel algorytmiczny
Przemysł samochodowy
Top zastosowania Big Data (2019) - uzupełnij:
- Telekomunikacja
- Przemysł wytwórczy
- Przemysł samochodowy
- ___________
- Sprzedaż detaliczna
- Służba zdrowia
- Różne branże - spersonalizowana oferta
- Handel algorytmiczny
Ubezpieczenia
Top zastosowania Big Data (2019) - uzupełnij:
- Telekomunikacja
- Przemysł wytwórczy
- Przemysł samochodowy
- Ubezpieczenia
- ___________
- Służba zdrowia
- Różne branże - spersonalizowana oferta
- Handel algorytmiczny
Sprzedaż detaliczna
Top zastosowania Big Data (2019) - uzupełnij:
- Telekomunikacja
- Przemysł wytwórczy
- Przemysł samochodowy
- Ubezpieczenia
- Sprzedaż detaliczna
- __________
- Różne branże - spersonalizowana oferta
- Handel algorytmiczny
Służba zdrowia
Zastosowanie Big Data w służbie zdrowia
- Przewidywanie obłożenia placówek
- Alarmowanie w czasie rzeczywistym
- Elektroniczne dane pacjentów
Zastosowanie Big Data w sprzedaży detalicznej
- Analiza cen
- Analiza sentymentu
Zastosowanie Big Data w ubezpieczeniach
- Wykrywanie oszustw i podejrzanej aktywności
- Ocena ryzyka
Zastosowanie Big Data w przemyśle samochodowym
- Przewidywanie awarii, zamawianie części i kierowanie w celu naprawy na podstawie informacji z sensorów
- Wykorzystywanie danych z otoczenia do prowadzenia pojazdów autonomicznych
Zastosowanie Big Data w przemyśle wytwórczym
- Analiza wzorców wykorzystania urządzeń
- Optymalizacja produkcji
Zastosowanie Big Data w Telekomunikacji
- Analiza zagrożeń
- Reklama kontekstowa
- Monitorowanie ruchu sieciowego
- Optymalizacja cen
Źródła danych 👭🧑🤝🧑👬👫
Społecznościowe
Źródła danych 🖥️⚙️⚙️⚙️⚙️🖥️📠📟📟🖥️
Generowane maszynowo
Źródła danych 📠💵💵💸💰💳💳💳💻🖥️
Transakcyjne
Do jakich typów danych pod względem struktury należą:
Arkusze kalkulacyjne, relacyjne bazy danych
Do ustrukturyzowanych
Do jakich typów danych pod względem struktury należą:
maile, XML, JSON, pakiety TCP/IP, zip…
Do częściowo ustrukturyzowanych
Do jakich typów danych pod względem struktury należą:
audio, wideo, posty w mediach społecznościowych
Do nieustrukturyzowanych
Elementy i koncepcje związane z Big Data (uzupełnij):
- Technologie baz danych
- Przetwarzanie chmurowe
- Przetwarzanie równoległe i rozproszone
- Narzędzia analizy i wizualizacji danych
- Business intelligence
- Oprogramowanie open source
- 🖥️🧑💻⚙️🔧
Narzędzia programistyczne
Elementy i koncepcje związane z Big Data (uzupełnij):
- Technologie baz danych
- Przetwarzanie chmurowe
- Przetwarzanie równoległe i rozproszone
- Narzędzia analizy i wizualizacji danych
- Business intelligence
- 🤗🙌🟥⚒️♥️
- Narzędzia programistyczne
Oprogramowanie open source
Elementy i koncepcje związane z Big Data (uzupełnij):
- Technologie baz danych
- Przetwarzanie chmurowe
- Przetwarzanie równoległe i rozproszone
- Narzędzia analizy i wizualizacji danych
- 📈🧠
- Oprogramowanie open source
- Narzędzia programistyczne
Business intelligence
Elementy i koncepcje związane z Big Data (uzupełnij):
- Technologie baz danych
- Przetwarzanie chmurowe
- Przetwarzanie równoległe i rozproszone
- 🧑💻👀📊📊
- Business intelligence
- Oprogramowanie open source
- Narzędzia programistyczne
Narzędzia analizy i wizualizacji danych
Elementy i koncepcje związane z Big Data (uzupełnij):
- Technologie baz danych
- Przetwarzanie chmurowe
- 💻↔️🖥️↔️🖥️↕️🗺️🗺️🌐🗾
- Narzędzia analizy i wizualizacji danych
- Business intelligence
- Oprogramowanie open source
- Narzędzia programistyczne
Przetwarzanie równolegle i rozproszone
Elementy i koncepcje związane z Big Data (uzupełnij):
- Technologie baz danych
- ☁️☁️☁️☁️🌐🌐🌐
- Przetwarzanie równoległe i rozproszone
- Narzędzia analizy i wizualizacji danych
- Business intelligence
- Oprogramowanie open source
- Narzędzia programistyczne
Przetwarzanie chmurowe
Elementy i koncepcje związane z Big Data (uzupełnij):
- 🗄️🗄️🗄️🗄️🗄️
- Przetwarzanie chmurowe
- Przetwarzanie równoległe i rozproszone
- Narzędzia analizy i wizualizacji danych
- Business intelligence
- Oprogramowanie open source
- Narzędzia programistyczne
Technologie baz danych
5 narzędzi programistycznych dostarczających funkcjonalność przetwarzania danych
- R
- Python
- SQL
- Scala
- Julia
3 cechy oprogramowania open source
- Nie tylko otwarty kod, ale także otwarte zarządzanie projektem - każdy może proponować zmiany i projekt służy całej społeczności
- Często olbrzymie projekty
- W kategorii Big Data duża część oprogramowania
Na co pozwala licencja open source kodu źródłowego
- wykorzystywanie
- badanie
- zmianę
- rozpowszechnianie
Przykłady licencji open source
- Apache License
- GNU General Public License
- GNU Lesser General Public License
- MIT License
- Mozilla Public License
- BSD license
- Eclipse Public License
BI / Analityka Biznesowa / Business Intelligence
Znaczenie
Wykorzystywanie danych do podejmowania decyzji.
Zawiera m.in. statystyczną analizę danych
Narzędzia analizy i wizualizacji danych
👁️👁️🧑💻📊📊📊
Pozwalają wychwycić w danych wzorce, korelacje i trendy
… Pozwalają także przedstawić powyższe w łatwo przystępnej formie!
- Tableau
- Palantir
- SAS
- Pentaho
- Teradata
Dwie główne możliwości zrównoleglenia obliczeń
- Żenująco równoległe (można wykonywać zadania na innych komputerach bez potrzeby wymiany między nimi danych)
- Ściśle zintegrowane (konieczna ciągła wymiana danych między przetwarzającymi dane urządzeniami - duże spowolnienie)
W Big Data mamy do czynienia w dużej większości z obliczeniamiżenująco równoległymi
Przetwarzanie chmurowe: jakie rodzaje, usługi możemy wykupić
- IaaS - Infrastruktura jako usługa – tylko sprzęt
- PaaS - Platforma jako usługa – jw+ systemy operacyjne i bazy danych
- FaaS - Funkcja jako usługa - użytkownik zarządza tylko funkcjami i danymi
- SaaS
UZUPEŁNIJ
Oprogramowanie jako usługa - użytkownik zarządza tylko danymi
Rozwiń pojęcia
- IaaS
- PaaS
- FaaS
- SaaS
- Infrastruktura jako usługa – tylko sprzęt
- Platforma jako usługa – jw+ systemy operacyjne i bazy danych
- Funkcja jako usługa - użytkownik zarządza tylko funkcjami i danymi
- Oprogramowanie jako usługa – użytkownik zarządza tylko danymi
Technologie baz danych - czym są i co mamy najpopularniejszego do wyboru
Akwizycja, przechowywanie, przetwarzanie i współdzielenie danych o olbrzymiej objętości w różnych lokalizacjach
- Apache Software Foundation:
- Hadoop
- Spark
- HDFS
