Bu yazımızda ETL süreçleri ile veri aktarımı yaparken sadece değişen ve yeni eklenen verilerin aktarımını nasıl yapılacağını öğreneceğiz. ETL süreçlerinde veri aktarımı yapılırken aktarılacak verinin boyutu küçük, değişen ve yeni eklenen veriler olması durumda SSIS paketlerinde hedef tablolarımızı ilk önce “Truncate table” komutu ile tablonun içerisinin boşaltılarak tüm veriyi yeniden çekiyoruz. Ancak bu yöntem büyük veri bulunan tablolarda sunucu sistemlerimizin gereksiz olarak yorulmasına ve SSIS süreçlerinin uzamasına sebebiyet vermekte ve verimli bir yol olarak izlenmemektedir. Büyük veri tablolarında bu şekilde veri aktarımı yapmak için staging yapısını da kullanmak gerekmektedir. Staging ile Duplicate value ve Veri kaybı gibi hataların olmasını engellenmek amaçlanmaktadır. Bu süreçte en önemli konulardan biri ise, aktarım yapılacak tablonun UNIQUE bir kolonu, değişen veri ve yeni eklenen verinin yazıldığı zamanı belirten bir tarih kolonun olması gerekmektedir. 1. İlk olarak Visual Studio Integration Tool kullanarak yeni proje oluşturuyoruz. Görsel 1: Yeni Proje Oluşturma 2. Oluşturacağımız proje Integration Services Project […]
Bu yazımızda Microsoft SQL Server’da veritabanı modellerinin Integration Services Package yoluyla insert işleminde performanslarını ele alacağız. Microsoft SQL Server’da veritabanı modları, verilerin nasıl saklandığı ve yönetildiği konusunda belirli davranışları belirler. 1- Full Recovery Model Bu mod, veri kaybını en aza indirmek için ayrıntılı bir geri yükleme stratejisi sunar.Tam geri yükleme modeli, yedekleme, günlük dosyaları ve işlem günlüğü kayıtları arasında ayrıntılı bir ilişki oluşturur.Bu mod, tam yedekleme (full backup), fark yedekleme (differential backup) ve işlem günlüğü yedeklemesi (transaction log backup) gibi yedekleme türlerini destekler. 2- Simple Recovery Model Bu mod yedekleme ve geri yükleme sürecini basit tutar.Basit geri yükleme modeli, tam yedekleme (full backup) dışında herhangi bir fark yedekleme veya işlem günlüğü yedeklemesi türünü desteklemez.İşlem günlüğü, dolması tamamlandığında otomatik olarak temizlenir. 3- Bulk-Logged Recovery Model Bu mod, büyük hacimli veri ekleme ve değiştirme işlemlerini hızlandırır. Tam geri yükleme modeline kıyasla daha az işlem günlüğü kaydedilir, bu da yedekleme ve geri […]
Bu yazımızda, veri analizi ve iş zekası sürecinde kullanılan SSAS’de yeni bir proje oluşturma sürecini ele alacağız. SQL Server Analysis Services (SSAS), Microsoft SQL Server’ın bir bileşeni olarak veri analizi ve iş zekası sağlayan bir hizmettir. SSAS, işletmelerin büyük veri kümelerini işlemesine, veri analizi yapmasına ve bu verilerden anlamlı bilgiler çıkarmasına yardımcı olur. SQL Server Analysis Services (SSAS) ile yeni bir proje oluşturmak için aşağıdaki adımları izleyebilirsiniz: 1. Visual Studio‘yu açın. Bu, SSAS projelerini oluşturmak ve yönetmek için kullanılır. 2. Yeni Proje Oluşturma: • “File” menüsünden “New” seçeneğini seçin. • Ardından “Project” veya “New Project” seçeneğini tıklayın. 3. Proje Türünü Seçin: • “Analysis Services” altında, yeni projenizin türünü seçin. • “Multidimensional Project” veya “Tabular Model Project” seçeneklerinden birini seçin. Projenizin ihtiyaçlarına bağlı olarak hangi modeli kullanmanız gerektiğini seçin. • Yeni proje için bir ad belirtin ve projenizin saklanacağı konumu seçin. 4. Veri Kaynağı Tanımlama: • Projenize bir veri kaynağı eklemek […]
