Anasayfa > İş Zekası > Data Warehouse ve Temel Adımlar!

Data Warehouse ve Temel Adımlar!

Data Warehouse tipleri nelerdir? 

Enterprise DW: Enterprise IT sistemindeki CRM, ERP gibi birçok yerden beslenen ve tüm enterprise enfromasyon ihtiyacına yönelik olarak konumlandırılmış DW dır.

Data Mart: Fonksiyonel ve kapsam olarak daha küçük çapta ( örneğin sadece Pazalama için) bir DW dır ve yine kapsam olarak bir veya birkaç uygulamadan beslenir.

Operational Data Store (ODS) : Operasyonel datalardan direkt beslenen DW türüdür. En belirgin özelliği normal DW lara göre daha güncel bilgi tutmasıdır. Bazen günde birkaç kez güncellenebilir. Temel amacı operasyonel datalar üzerinde yapılacak olan sorgulamaların yükünü azaltmaktır. Bazen DW önünde bir ilk aşama olarak kullanılır.

Star Schema Nedir? 

starschema2En basit anlamıyla star schema, datayı ana(fact) ve alt(dimension) tablolar şeklinde ikiye ayırıp, ana tablolar etrafında yerleştirilmiş alt tablolar ile veriyi mimarilendirmektir. Örneğin: Belli bir peryod, belli bir ürün, belli bir pazar sizin birbirleriye ilişkilendirmek isteyeceğiniz ana başlıklardır. Bütün bu ana başlıkları çok büyük bir tabloya topluyoruz. Fakat bu tabloda seçtiğimiz ana entity lerin sadece key leri oluyor. (Bir key o entity i gösteren ve o entity e özel nümerik bir değerdir). Bu ana tabloda bulunan entity lerin özellikleri o entity leri özel olarak topladığımız tabloda yer alıyor. Örneğin ana tabloda ürün-pazar-peryod karşılığı olarak, 1123-2334-3443 yer alıyor. Ürün tablosunda ise 1123 e karşılık gelen ürünün tüm özellikleri. Tabi, böyle bütün key leri bir araya toplayınca kombinasyon hesabı gereği çok büyük bir tablo oraya çıkıyor. Ama bu tablo etrafındaki küçük tablolar ile JOIN edilerek kullanıldığından normalize edilmiş haline göre daha hızlı sorgu sonucu almamızı sağlıyor.

Star schema sayesinde istediğimiz fact tablolardan istediğimiz key leri seçip sonra karşılık gelen dimension tablolardan bilgileri toplayıp gösterebiliyoruz. Örneğin A durumunda ürün ile peryodu seçiyorum. B durumunda ürün ile Pazar ı seçiyorum. C durumunda her üçünü birden seçiyorum ve sorgumu yapıyorum.

Çalışan bir DW sürecinin temel adımları nelerdir?

  • Toplama – Acquisition: ETL (Extraction, Transformation, Loading) bu adımda yapılır. OLTP sistemlerin veri tabanlarından, mainframe dosyalarından vb datalar toparlanır. Hangi dataların toplanacağı ve aktarılamak üzere hazırlanacağı DW temel kurulum sürecinde planlanır. Hazırlamadan kastımız:
    • İstenen dataların birleştirilerek konsolide edilmesi
    • Data tiplerine standartlaştıma işlemi uygulanması ( Örneğin Erkek-Kadın için bazı database lerde 1-2 kullanılıyor olabilir. Bunların üzerinde anlaşılan tek bir gösterime uyfuralarak aktarılması beklenir)
    • Datalar arasında ve içinde tutarsızlıkların düzeltilmesi ( iki sistemin tutmuş olduğu datalarda tutarsızlık varsa, bunların hangisinin alınacağı belirlenir veya sistemin kendi içerisinde tutarsız datalar olabilir bunlar ayıklanır ve nasıl aktarılacağı konusunda bir karara varılır.)
  • Depolama – Storage: Datalar hazırlandıktan sonra physical ve logical olarak inşa edilen bir veri tabanını içerisinde saklanır ve bu saklama işlemi için gerekli back-up gibi çalışmalar yapılır.
  • Erişim – Access: DW içerisindeki data kendi başına bir değer ifade etmez. Data üzerinde analitik, istatistik, raporlama, data-mining gibi işlemler yapılması için gerekli bir takım uygulamar ile data ya ulaşılması ve datanın görüntülenebilmesi gerekir. Bu adımda mimaride planlanan uygulamalar ile belirtilen işlemler yapılır.

Bu yazı;www.entdun.com/?page_id=68 sitesinden alıntıdır.

Kategoriler:İş Zekası
  1. Henüz yorum yapılmamış.
  1. No trackbacks yet.

Bir Cevap Yazın

Aşağıya bilgilerinizi girin veya oturum açmak için bir simgeye tıklayın:

WordPress.com Logosu

WordPress.com hesabınızı kullanarak yorum yapıyorsunuz. Log Out / Değiştir )

Twitter resmi

Twitter hesabınızı kullanarak yorum yapıyorsunuz. Log Out / Değiştir )

Facebook fotoğrafı

Facebook hesabınızı kullanarak yorum yapıyorsunuz. Log Out / Değiştir )

Google+ fotoğrafı

Google+ hesabınızı kullanarak yorum yapıyorsunuz. Log Out / Değiştir )

Connecting to %s

%d blogcu bunu beğendi: