TUGAS -MUTIARA NAIBAHO

jelaskan tentang extraction dan contoh dari extraction dalam data warehouse


Extract

Proses extract merupakan tahap pertama dari sistem ETL. Extract merupakan proses memilih dan mengambil data dari satu atau beberapa sumber (misalnya database), kemudian mengakses data yang diambil.

Ada beberapa prinsip dasar ekstraksi data yaitu :

a. Volume data yang digunakan berukuran besar (big data)

b. Proses ekstraksi dilakukan secepat mungkin, sehingga membutuhkan memory yang cukup besar.

c. Proses ekstraksi dilakukan sebisa mungkin menjadi kecil

Namun sebelum melakukan ekstraksi data, kita perlu membuat peta logika data yang menggambarkan hubungan antara feature dari sumber data dan feature data yang akan diolah.

Langkah — langkah pembuatan peta logika data adalah sebagai berikut :

a. Pertama, mengidentifikasi sumber data yang dibutuhkan dalam pengambilan keputusan

b. Kedua, menganalisa sumber data dengan aplikasi data-profilling. Data-profilling merupakan proses memeriksa ketersediaan data dari sumber informasi yang ada (misalnya : database atau file) dan mengumpulkan ringkasan informatif tentang data tersebut. Pada langkah kedua ini, perlu dihilangkan anomali data karena anomali data merupakan ketidakkonsistenan data seperti ditunjukkan pada tabel 1.

c. Ketiga, memahami kebutuhan data untuk bisnis

d. Keempat, memahami model data dari tempat penyimpanan data

e. Terakhir adalah melakukan validasi formula dan proses perhitungan data. Proses validasi bertujuan untuk mengkonfirmasi apakah formula dan proses perhitungan data sudah sesuai dengan yang diinginkan atau tidak.


Transformation

Tahap ETL selanjutnya adalah transformation. Pada langkah ini, data akan diolah sehingga punya satu format yang sama.

Biasanya, ada 5 hal yang dilakukan pada data:

  • filtering, menyaring data dengan filter tertentu
  • cleaning, menyesuaikan format penulisan, misalnya “Amerika Serikat” diubah jadi “AS”
  • joining, ciri data yang serupa menjadi satu
  • splitting, memecah ciri data yang berbeda menjadi dua atau lebih
  • sorting mengurutkan data berdasarkan ciri tertentu

Loading

Langkah terakhirnya bernama loading. Akhirnya, data yang selesai diproses masuk ke data warehouse. 

Kadang kala, proses ini terjadi sangat cepat. Tiap data selesai diolah, ia langsung menjalani proses loading.

Komentar

Posting Komentar

Postingan populer dari blog ini

Jelaskan tentang snowflake schema dalam data warehouse

Gambar
  Apa Itu Snowflake Schema? Snowflake schema  adalah  database  multidimensional dalam  data   warehouse . Database  berupa skema ini memiliki beberapa tabel di dalamnya yang menyerupai bentuk  snowflake  atau kepingan salju. Oleh karena itu, namanya disebut sebagai  snowflake   schema  atau skema kepingan salju. Skema ini tersusun dari  fact   table  atau tabel fakta yang berada di tengah. Tabel ini terhubung dengan berbagai dimensi yang juga dikelompokkan dalam tabel. Tabel ini disebut dengan  dimensional   tables  atau tabel dimensional. Informasi atau data dalam tabel-tabel ini kemudian dinormalisasi untuk mengurangi  redundancy  atau pengulangan data yang ada. Skema jenis ini merupakan yang sangat cocok untuk mengolah data dengan hubungan serta tabel yang rumit, tidak seperti  star schema. Namun, menurut  Educba , struktur atau arsitektur dari skema ini tidak jauh berbeda d...
Baca selengkapnya

Komponen dan Fitur Data Warehouse

Gambar
 NAMA : MUTIARA NAIBAHO NPM: 19312060 Komponen dan Fitur Data Warehouse?   FiFitur data watehouse ·          Berorientasi Subjek ·          Data yang Terintegrasi ·          Data time variant ·          Non Volatile ·         Butiran Data     1. Berorientasi Subjek. Data warehouse  terorganisasi di seputar subjek kunci (atau entitas-entitas peringkat tinggi) dalam perusahaan, Data warehouse adalah tempat penyimpanan berdasakan subyek bukan berdasakan aplikasi. Subyek merupakan bagian dari suatu perusahaan. Contoh subyek pada perusahaan manufaktur adalah penjualan, konsumen, inventori, daln lain sebagainya. 2. Terintegrasi Data yang tersimpan dalam data warehouse didefinisikan menggunakan konversi penamaan yang konsisten, format-format, struktu...
Baca selengkapnya

jelaskan tentang star schema dalam data warehouse

Gambar
 nama : Mutiara Naibaho npm : 19312060 Star schema  adalah salah satu tipe skema yang dibuat untuk memodelkan sebuah sistem  data warehouse . Komponen Struktur Star Schema 1.  Fact table Fact table  atau tabel fakta berisi metrik proses sebuah bisnis. Data yang dimuat dalam tabel ini harus bersifat numerik (dalam bentuk angka) dan bisa ditambah. Apa pun data yang kamu miliki, pastikan bahwa data tersebut adalah kuantitatif. Misalnya, jumlah sesuatu. Selain itu, wajib diperhatikan juga bahwa tabel fakta harus memuat hal-hal utama yang terkait dengan tabel-tabel di sekitarnya, yaitu tabel dimensi. Seperti contoh yang sebelumnya diperlihatkan, hanya boleh ada satu tabel fakta dalam sebuah  star schema .  Tabel ini umumnya memiliki jumlah baris yang tidak banyak. Sementara, tabel dimensi bisa memuat jauh lebih banyak jumlah baris dan bisa terus ditambahkan dari waktu ke waktu. 2.  Dimension table Dimensions table  atau tabel dimensi memuat i...
Baca selengkapnya