Darmowe bazy danych do wykorzystania w projektach developerskich i AI

W jednym z naszych ostatnich tekstów pt. Co umieścić w repozytorium developerskim, że przykuć uwagę rekrutera? pisaliśmy o tym, że warto tworzyć projekty programistyczne z dostępem do danych. Integracja z bazą danych może być również istotnym elementem projektu w dziedzinie uczenia maszynowego. Sztuczna inteligencja chętnie korzysta z osiągnięć Big Data, a duże zbiory danych są wykorzystywane do trenowania modeli AI. Skąd jednak brać te dane? Gdzie znaleźć darmowe bazy danych, by nie musieć męczyć się z tworzeniem własnych lub generowaniem sztucznych przykładów. Z pomocą przychodzi nasz artykuł, w którym podpowiadamy, gdzie szukać otwartych baz danych, które możemy swobodnie wykorzystać w swoich projektach.

 

IMDb Dataset

IMDb to znana na całym świecie baza filmów i seriali. Portal udostępnia zgromadzone informacje w formie darmowej bazy danych wyrażonych różnymi zmiennymi. W praktyce to duża baza tytułów posegregowanych według konkretnych kryteriów (atrybutów), m.in.:

 

• gatunków filmowych,
• roku produkcji,
• twórców,
• grupy wiekowej, dla której dozwolony jest dany film
• średniej oceny użytkowników,
• liczby ocen.

 

IMDb Dataset jest świetnym przykładem bazy, którą warto wykorzystać w pierwszych projektach programistycznych oraz bazodanowych. Ideę takiego zbioru danych bez problemu zrozumie nawet początkujący użytkownik (portale do oceny i rekomendacji są powszechnie znane), a same dane są dobrze opisane w konwencji atrybut—odpowiadająca mu zmienna i jej typ.

 

DBpedia

To specyficzna baza danych, która znajdzie zastosowanie przede wszystkim w projektach związanych uczeniem maszynowym. Mechanizm bazy wydobywa ustrukturyzowane dane z Wikipedii i udostępnia je w formacie RDF (Resource Description Framework). Format ten jest łatwo przetwarzany przez maszyny, a dane wykorzystywane w DBpedia charakteryzują się szerokim zakresem tematycznym (geografia, muzyka, filmy, książki, osoby, organizacje, gatunki biologiczne i wiele innych obszarów), a także są skategoryzowane w określony sposób. Jeśli przyjrzysz się Wikipedii, na pewno dostrzeżesz, że gromadzone w niej hasła i artykuły mają swoją hierarchię, a także są podzielone na wielopiętrowe kategorie. Hierarchia ta w pewien sposób odzwierciedla porządek i systematykę wiedzy o świecie oraz relacje znaczeniowe. Dla przykładu publikujemy fragment drzewa kategorii z Wikipedii.

 

 

Dzięki tej hierarchiczności odpowiednio przetworzony zbiór danych z Wikipedii można wykorzystać do tworzenia wyszukiwarek i aplikacji semantycznych, czyli takich, które przeszukują sieć za pomocą relacji znaczeniowych oraz wiedzy kontekstowej. DBpedia bywa stosowana również jako zbiór danych do trenowania modeli AI oraz tworzenia systemów rekomendacji konsumenckich.

 

Enron Email Dataset

W tym przypadku mamy do czynienia ze zbiorem danych, który będzie przydatny przy tworzeniu modeli językowych, w analizie tekstu i projektach związanych z przetwarzaniem języka naturalnego (NLP). To baza ponad 500 000 maili w formie plików tekstowych wymienianych między 150 pracownikami firmy Enron. Wiadomości są opatrzone metadanymi o nadawcach i odbiorcach, dzięki temu znajdują też zastosowanie w tworzeniu modeli AI przetwarzających relacje międzyludzkie. Baza Enron Email Dataset bywa też wykorzystywana do analizy wydźwięku, klasyfikacji tematów, tworzenia korpusów językowych, modeli predykcyjnych, takich jak np. wykrywanie spamu czy analiza wzorców komunikacji.

 

Open Data Institute

Open Data Institute (ODI) to organizacja, która skupia się na promowaniu swobodnego obiegu  informacji i innowacyjności przez darmowy dostęp do danych. Udostępnia szereg otwartych baz danych z różnych dziedzin:

 

• demografii — informacje o populacji (wiek, płeć, struktura społeczna),
• zdrowia — statystyki dotyczące zdrowia publicznego, chorób, dostępności usług medycznych,
• edukacji — wyniki egzaminów, dostępność szkół,
• transportu — informacje o ruchu drogowym, transporcie publicznym, statystyki dotyczące wypadków,
• ochrony środowiska —  informacje o jakości powietrza, emisji gazów cieplarnianych, zasobach naturalnych.
• gospodarki — statystyki dotyczące PKB, zatrudnienia, sektorów gospodarki.

 

Dane są udostępniane w standardowych formatach, takich jak CSV, JSON, XML, co ułatwia ich wykorzystanie w projektach. Część zbiorów danych jest dostępnych przez API, a ODI oferuje również użytkownikom interaktywną wyszukiwarkę, która pozwala skuteczniej przeszukiwać bazy. To prawdziwa kopalnia, nie tylko samych informacji, ale też pomysłów na własne projekty programistyczne. Nietrudno wyobrazić sobie aplikację czy stronę internetową, w której znajdzie się miejsce dla funkcjonalności pokazującej lokalne zanieczyszczenie powietrza lub informacje o ruchu drogowym. Zbiory ODI będą też gratką dla zapalonych statystyków i osób interesujących się analityką danych.

 

FiveThirtyEight Data

FiveThirtyEight to amerykański serwis internetowy, który gromadzi dane z obszarów polityki, sportu, gospodarki, nauk o zdrowiu i kultury. Dane są również dostępne w formie otwartego repozytorium, konkretne datasety można też pobrać na dysk. Na uznanie zasługuje fakt, że zbiory danych są solidnie udokumentowane, a także powiązane z artykułami, które stanowią do nich swego rodzaju komentarz. To źródło, podobnie jak ODI, przyda się przede wszystkim do projektów w zakresie analizy danych i do trenowania algorytmów.

 

Awesome Public Datasets

Szukając otwartych zbiorów danych, warto zainteresować się repozytorium Awesome Public Datasets. To społecznościowa inicjatywa osadzona na GitHubie, gdzie użytkownicy samodzielnie dodają, aktualizują i korzystają z różnorodnych zestawów danych. Zakres tematyczny jest bardzo szeroki, możemy tu znaleźć w zasadzie wszystko — od danych finansowych, aż po informacje o mobilności ludzi w czasach pandemii COVID. Zachęcamy do subskrybowania tego repozytorium, wszak społeczny charakter przedsięwzięcia gwarantuje stały dopływ nowych ciekawych danych.

 

ULC Machine Learning Repository

Jeśli interesuje Cię sztuczna inteligencja i szeroko pojęte AI, to koniecznie musisz zapamiętać na dłużej ULC Machine Learning Repository. To masa danych przygotowanych przez naukowców z University of California dla potrzeb uczenia maszynowego. Dane są nie tylko dostępne w różnych formatach, ale także odpowiednio uporządkowane i co istotne — opisane oraz zaetykietowane według specyficznych cech. Są to zatem doskonałe zbiory do wykorzystania w projektach z zakresu inżynierii cech. Grupowanie według kryteriów ułatwia też tworzenie własnych modeli początkującym adeptom AI. W końcu gdy dopiero uczymy się projektować rozwiązania z zakresu uczenia maszynowego, wymyślenie odpowiednich cech do skatalogowania może być nie lada wyzwaniem. Tymczasem repo ULC przybywa z odsieczą. Chcecie dane w formie klasyfikacji gatunków irysów na podstawie cech kwiatów? Proszę bardzo! Dane do modelu predykcji dochodów na podstawie cech demograficznych? Nic prostszego. Klasyfikacja win na podstawie właściwości chemicznych? Na zdrowie! Co więcej kod do importowania poszczególnych zbiorów danych w Pythonie jest dostępny za pomocą jednego kliknięcia na stronie. Trzeba przyznać, że twórcy tego repozytorium naprawdę pomyśleli o wszystkim.

 

Spotify data

Naszą listę zaczęliśmy od bazy związanej z kinematografią, a teraz coś dla fanów muzyki. Spotify udostępnił zbiór utworów skatalogowanych według sporej listy gatunków muzycznych, a także opisanych według kilku kryteriów — czasu trwania, tytułu, wykonawcy, albumu oraz popularności ocenianej w skali 0-100. Dane można wykorzystać w projektach związanych z analizą popularności konkretnych gatunków muzycznych w czasie, do tworzenia modeli przewidujących trendy, systemów rekomendacji muzycznych, a także algorytmów klasyfikacji gatunkowej.

 

Kaggle

To platforma o tematyce uczenia maszynowego i pracy z danymi. Zawiera bardzo interesujące zasoby, które z powodzeniem możemy wykorzystać we własnych projektach. Zbiory danych zaskakują różnorodnością, stale są wzbogacane, a także bardzo dobrze opisane, co już na wstępie ułatwia wybór konkretnej bazy. Znajdziemy tu m.in. dane do kluczowych wyzwań uczenia maszynowego — klasyfikacji, regresji i predykcji. Warto zwrócić uwagę na pozostałe funkcje oferowane przez Kaggle, takie jak konkursy na rozwiązania AI, otwarte modele, czy przydatne fragmenty kodu. Zresztą nie mogliśmy pominąć tego repozytorium, skoro w tym artykule sami dwukrotnie linkujemy do zbiorów danych umieszczonych w przestrzeni Kaggle ;).

Mamy nadzieję, że ten tekst pomoże Ci znaleźć zbiory danych i inspirację do tworzenia własnego oprogramowania. Zgromadziliśmy dla Ciebie całkiem pokaźną listę przydatnych linków i repozytoriów z danymi, staramy się też podpowiedzieć, w jaki sposób najlepiej je wykorzystać. Zaglądaj na naszego bloga, by śledzić kolejne porady na temat programowania, analizy danych i rekrutacji w IT. Wejdź też na naszą stronę i zobacz, w jaki sposób dzielimy się wiedzą techniczną w Kodilli.