Struktur dari Data Warehouse Hingga Konsep dari Ralp Kimball dan Bill inmon

Nama                                              : I Made Rismawan Nugraha

NIM                                                 : 1805551114

Mata Kuliah                                  : Data Warehouse A

Dosen                                             : I Putu Agus Eka Pratama, S.T.,M.T.

Jurusan/Fakultas/Universitas  : Teknologi Informasi/ Teknik/ Universitas Udayana

Perjalanan Data Warehouse

Secara historis, gudang data generasi pertama dibangun di atas prinsip-prinsip tertentu dan ditetapkan oleh para ahli data jaman dahulu. Ada dua pelopor hebat dalam data pergudangan yang biasa di sebut dengan bapaknya data warehouse yaitu : Bill Inmon dan Ralph Kimball. Kedua orang ini, menurut saya, telah berbuat lebih banyak untuk memajukan pengembangan data warehousing dari yang lainnya. Meski banyak yang mengaku telah "melakukan data warehousing jauh sebelum disebut data warehousing,"Inmon dan Kimball dapat secara realistis mengklaim sebagai pendiri karena mereka sendiri yang meletakkan definisi dan prinsip desain yang disadari sebagian besar praktisi saat ini. Bahkan jika mereka pedoman tidak diikuti dengan tepat, masih umum untuk mengacu pada definisi Inmon tentang gudang data dan aturan Kimball tentang perubahan dimensi secara perlahan.

Perbandingan teori antara Ralp Kimball dan Bill inmon 

• Bill Inmon → Data Warehouse memiliki 6 sifat utama : subject oriented, integrated, process oriented, time variant, accessible, non volatile.  Dimana 6 sifat (karakteristik) utama pada data warehouse itu kemudian diadopsi juga pada big data dengan penyesuaian. 6 sifat tersebut mempunyai maknanya masing-masing yaitu :

1. subject oriented adalah data yang disimpan disesuaikan dengan proses bisnisnya, diutamakan untuk pengambilan keputusan.
2. integrated yaitu semua data diintegrasikan kedalam satu media penyimpanan yang bersifat konsisten
3. process oriented  yaitu pencatatan yang orientasi utama pada pencatatan
4. time variant yaitu Seluruh data pada data warehouse dapat dikatakan akurat atau valid pada rentang waktu tertentu
5. accessible yaitu kemudahan dalam akses dan juga keamanan akses.
6. non volatile yaitu data yang baru selalu  ditambahkan sebagai suplemen bagi database itu sendiri dari pada sebagai sebuah perubahan.

• Ralph Kimball → Data Warehouse mengumpulkan data dari sumber – sumber transaksional On Line Transactional Processing (OLTP) untuk kebutuhan query dan analisa data → OLAP menambahkan tentang adanya query data pada data warehouse serta analisa data yg kemudian menekankan adanya OLAP atau On Line Analytical Processing.

1. On Line Transactional Processing (OLTP) → data- data transaksional dimana adanya pertambahan data apapun yg mengalami perubahan, dia akan menggantikan data sebelumnya contohnya seperti : Setiap kita mengentri i data pada tabel di dalam Database akan dilakukan penumpukan data (timpa) apabila terjadi edit/update yang mengakibatkan pergantian data sebelumnya.

2. On Line Analytical Processing. (OLAP) → query dan analisa → memperhatikan historis data dimana entry data ke n apabila dilakukan pengeditan/perubahan, akan disimpan sebagai entry ke n+1 dengan disertai catatan waktu, proses, dan subyeknya.Contohnya di bagian ini, apapun perubahan yang ada, dia tidak menggantikan data sebelumnya, dalam artian memperhatikan history data tersebut yang di perlukan untuk melakukan analisa.

            Dimana dari kedua teori diatas itu saling melengkapi satu sama lain dalam menymepurnakan data warehouse. 

Dasar dari Arsitektur Data warehouse 

    Arsitektur data warehouse adalah sekumpulan produk yang saling berintegrasi yang mampu untuk melakukan proses ekstraksi dan transformasi data operasional.Secara umum dari sisi arsitektur data warehouse ini di pengaruhi oleh vendor oracle yang merupakan sebuah tools database yang berdisi sejak tahun 60- 70 yang menggunakan DBMS. Arsitektur dasar dari data warehouse yaitu sebagai berikut :

Basic Arsitektur Data Warehouse

1. Data source (sumber data). → dari transaksional sistem, file, berkas, dokumen yang didigitalkan, flat file, dll. → disimpan di summary data. untuk data source, berbagai data digital dari berbagai sumber data, diambil untuk dikumpulkan ke warehouse. Ada dari sistem, file, berkas, dokumen yang didigitalkan (scan, ketik ulang), flat file, dll. data-data digital ini, format datanya beragam sizenya juga beragam tp mereka semua msh trmasuk data terstruktur.

2. Warehouse (tempat data digudangkan). → memuat metadata, summary data, raw data → OLTP ke OLAP (transaksional ke historis analisis) apa yg digudangkan di sini ? data-data digital tersebut, yg berasal dari berbagai sumber data dengan beragam format data seperti apa penggudangannya ? masing-masing data tersebut diambil dalam bentuk berikut: metadata, summary data, atau raw data nah di bagian warehouse inilah terdapat "pengubahan" dari "transaksional" ke 'analitikal" melalui OLTP ke OLAP metadata, summary data, atau raw data —> ini yg membantu ketika transaksional akan diubah ke bentuk historis data.

3. User (pengguna). → terbagi 3 : analyst, mining, reporting → analyst menganalisa data → mining memperoleh knowledge dari data sesuai pola → reporting menyampaikan laporan berdasarkan hasil analisa dan mining. analyst tentu tugasnya menganalisa data yg mining memperoleh knowledge dari data sesuai pola, mining itu artinya menambang data yg reporting menyampaikan laporan berdasarkan hasil analisa dan mining di atas.

Staging Area arsiktektur 

Konsep dasarnya adalah penambahan Staging Area untuk menampung data – data dari sumber data transaksional, sebelum diteruskan ke warehouse. Data tersebut di dirapikan, dibersihkan, dan disesuaikan dengan kebutuhan inilah yg kita kenal kelak dgn data cleansing atau cleaning dan etl Extraction, Transformation, Loading) dan etl (Extraction, Loading, Transformation). Implementasinya dapat secaram pragmatically (pemrograman) maupun dengan penambahan modul pada sistem Data Warehouse. Dimana konsep tersebut di perkenalkan oleh Oracle.

Jika di ibaratkan cara kerjanya seperti ini :

Staging Area Arsitektur

          Sumber data —> staging area —> warehouse

    ketika pada staging area data dirapikan, dibersihkan dan disesuaikan, itu maksudnya dari sekian banyak data, maka yg "relevan" dgn kebutuhan pengguna, yg sesuai, yg formatnya perlu 'drapikan', itu yg dilakukan di sana secara teknis maka melalui komputasi dan modul.

Staging Area + Data Mart Architecture

    Diatas kita sudah membahas mengenai Staging area dimana sekarang terdapat penambahan Data Mart yang konsep dasarnya merupakan penambahan Data Mart untuk dikombinasikan dengan Staging Area. .Data mart → bagian kecil dari Data Warehouse untuk tujuan khusus (ex : marketing analysis oleh bagian marketing). .kemampuan untuk memilah data sesuai kebutuhan 2.Kemampuan kostumisasi sesuai kebutuhan. Data dari berbagai sumber data tersebut akan dipecah pecah ke dalam beberapa sub dari data warehouse amanya data mart contohnya  kalo universitas punya 1 buah data warehouse maka data mart adalah "sub" data warehouse di setiap fakultas dari universitas tersebut.

Staging Area + Data Mart

Pada data warehouse juga Sumber data pada Data Warehouse dibedakan             menjadi 2 : 

1. Sumber internal → berasal dari data – data sistem transaksional (sistem informasi, point of sale), file scan, dokumen office, file teks dan flat file, di jaringan internal (intranet) perusahaan. sumber internal sudah jelas dari internal organisasi, semua data digital dan data yang dibuat digital yang ada atau berasal dari internal institusi/organisasi bersangkutan.

2. Sumber eksternal → berasal dari komputer/server yang terhubung melalui jaringan publik (internet) untuk kemudian digudangkan ke dalam sistem Data Warehouse di jaringan lokal (intranet) perusahaan. eksternal, ini dari luar jaringan, terhuybung melalui internet ataupun cloud.

Sumber Data Internal dan Eksternal

    kalo di ilustrasinya diagram  atas itu seperti kasusnya masih sama yaitu universitas :

• data internal di Universitas seperti data mahasiswa dan dosen, sementara data eksternalnya itu data pembayaran ukt yang terhubung oleh bank BNI maupun pembayaran gaji dari dosen-dosen tersebut.

• Untuk data internal yaitu data universitas seperti data mahasiswa dan dosen , dan untuk yang external adalah misalkan data mahasiwa dan dosen yang ada pada DIKTI.

    Sekian materi yang bisa saya sampaikan pada blog kali ini,dan sampai jumpa di next blog selanjutnya ya .

Daftar Pustaka

[1] I Putu Agus Eka Pratama. Handbook Data Warehouse. Informatika. Bandung. 2017.

 [2] Chirs Todman. Designing A Data Warehouse: Supporting Customer. Prentice Hall 2001