SQL Server’da BCP (Bulk Copy Program) Yöntemi

Bu yazımızda büyük miktardaki SQL Server verilerinin bir veri tabanından başka bir veri tabanına en güvenilir ve en hızlı şekilde taşınmasını konu alacağız. Eğer SQL Server verilerini yüksek performansla bir dosyaya aktarmak veya başka bir sunucuya transfer etmek istiyorsanız ve verinin yapısal bütünlüğünü korumak önemliyse, BCP yani Bulk Copy Program (Yığın Kopyalama Programı) kullanmayı tercih edebilirsiniz. SQL Server’da BCP (Bulk Copy Program) Yöntemi SQL Server’da veri aktarımı için hangi formatın en uygun olduğu, ihtiyaçlarınıza ve senaryonuza bağlıdır. BCP formatı, hızlı veri aktarımı ve veri bütünlüğü sağlama konularında oldukça etkilidir. Bu kapsamda BCP yönteminin avantajlarından bazıları aşağıda belirttiğim gibidir. • BCP, büyük veri kümesini hızlı bir şekilde içe veya dışa aktarma işlemlerinde yüksek performans sağlar. • SQL Server verilerini yüksek hızda taşımak istediğinizde veya veri tabanı yedeklemeleri oluşturmak istediğinizde kullanışlıdır. • Verilerin yapısal bütünlüğünü korur ve SQL Server ile uyumlu bir biçimde veri aktarımını sağlar. Sizlere öncelikle bir veri tabanında bulunan […]

SQL Server’da BCP (Bulk Copy Program) Yöntemi

Bu yazımızda büyük miktardaki SQL Server verilerinin bir veri tabanından başka bir veri tabanına en güvenilir ve en hızlı şekilde taşınmasını konu alacağız.
Eğer SQL Server verilerini yüksek performansla bir dosyaya aktarmak veya başka bir sunucuya transfer etmek istiyorsanız ve verinin yapısal bütünlüğünü korumak önemliyse, BCP yani Bulk Copy Program (Yığın Kopyalama Programı) kullanmayı tercih edebilirsiniz.

SQL Server’da BCP (Bulk Copy Program) Yöntemi

SQL Server’da veri aktarımı için hangi formatın en uygun olduğu, ihtiyaçlarınıza ve senaryonuza bağlıdır. BCP formatı, hızlı veri aktarımı ve veri bütünlüğü sağlama konularında oldukça etkilidir. Bu kapsamda BCP yönteminin avantajlarından bazıları aşağıda belirttiğim gibidir.

• BCP, büyük veri kümesini hızlı bir şekilde içe veya dışa aktarma işlemlerinde yüksek performans sağlar.
• SQL Server verilerini yüksek hızda taşımak istediğinizde veya veri tabanı yedeklemeleri oluşturmak istediğinizde kullanışlıdır.
• Verilerin yapısal bütünlüğünü korur ve SQL Server ile uyumlu bir biçimde veri aktarımını sağlar.

Sizlere öncelikle bir veri tabanında bulunan bir tablodan veriyi BCP ile export etme ve ardından başka bir veri tabanında bulunan bir tabloya BCP ile import etme aşamalarını anlatmaya çalışacağım.

BCP ile Export işlemine başlamadan önce önemli bir nokta öncelikle kopyalamak istediğiniz verinin row countunu önceden bir yere not etmeniz gerektiğidir. Çünkü BCP işlemini yaptıktan sonra kopyalanan ve hali hazırdaki verinin eşitliğinden emin olarak veri kaybını önleyebilirsiniz. Biz burada TEST veri tabanının altında bulunan kisiler tablosunun verileri üzerinden işlem yapacağız.

BCP ile EXPORT İşlemi

1. BCP Komutunu Hazırlama: İlk adım, BCP komutunu hazırlamaktır. Bu komut, hangi verilerin aktarılacağı, kaynak ve hedef dosyaların yolları, veri formatı ve diğer ayarlar gibi temel bilgileri içermelidir.
Komutu hazırlarken sizlere vereceğim tavsiye veri tabanı adı, tablo adı ve instance adı SQL den alınacağı için komutu New query ekranında yazmak ve ardından cmd ekranında çalıştırmak daha kolay ve anlaşılır olacaktır.

bcp TEST.dbo.kisiler out C:\SQL\kisiler.bcp -c -T -S DESKTOP-QERV23I

• TEST.dbo.kisiler : Dışa aktarılacak veritabanı tablosunun tam yolunu belirtir.
out C:\SQL\kisiler.bcp : Dışa aktarılan verinin nereye kaydedileceğini belirtir. Bu örnekte, veriler ” C:\SQL “ klasöründe ” kisiler.bcp “ adında bir dosyada saklanacak.
• -c (character) : Bu bayrak, verilerin karakter tabanlı (character-based) olarak dışa aktarılacağını belirtir. Yani, veriler metin formatında saklanır.
• -T (trusted connection) : Bu bayrak, SQL Server Windows kimlik doğrulaması kullanmadan yetkilendirme yapılacağını gösterir.
• -S (server) : Bu bayrak, SQL Server örneğinin bağlanılacak olduğu sunucuyu ve örneği belirtir. Örneğin, -S ServerName\InstanceName olarak kullanılır.

Bu bayraklar BCP komutunun davranışını belirlemek için kullanılır ve kullanılmasalar da işlem yapılabilir. Ancak, kullanılacak bayraklar işlem gereksinimlerinize bağlıdır.

2. BCP Komutunu Çalıştırma: Hazırlanan BCP komutunu komut istemcisine (cmd) girip çalıştırdığınızda aşağıdaki gibi bir ekranla karşılaşırsınız. Bu komut, verilerin aktarım işlemini başlatıp sonunda ne kadarlık bir veriyi kopyaladığınızı size gösterecektir.

3. İşlem Tamamlanınca İşlemin Sonlandırılması: Veri aktarım işlemi tamamlandığında, BCP işlemi kendiliğinden sona erer. İşlem başarıyla tamamlandıysa, hedef dosyada .bcp dosyası aşağıdaki görselde olduğu gibi bulunacaktır.

Bu aşamalar, BCP kullanarak veri aktarım işlemlerini gerçekleştirirken izlemeniz gereken temel adımlardır. BCP’nin sunduğu birçok seçenek ve parametre sayesinde, veri aktarım işlemlerini özelleştirebilir ve gereksinimlerinize uygun hale getirebilirsiniz.

BCP ile IMPORT İşlemi

Verileri SQL Server’a aktarmanın ilk adımı, verilerin yüklenebileceği bir tablonun bulunmasıdır. Bu tablodaki veri türlerinin daha önce kullanılan veri türleriyle tam olarak eşleşmesi kritik öneme sahiptir. Uyumsuz veri türleri, verilerin kesilmesine, hatalara, hatalı verilere ve belki de hepsinden kötüsü, kaynak verilerinizde bu tür hataların tam olarak nereden geldiğini bulmak gibi çok zor bir işe yol açabilir.
Import işleminde öncelikle SQL Server’a kopyalamak istediğimiz .bcp dosyasının konumunu belirlememiz gerekiyor. Ben buradaki örnekte Export işlemini yaptığım dosyanın konumunu kullanacağım.

1. BCP Komutunu Hazırlama: bu komut SQL Server’dan veriyi Export yaptığımız komutun neredeyse aynısıdır sadece import işlemi yaparken tablo adından sonra gelen kısmı “in” olarak değiştiriyoruz.

bcp  TEST_2.dbo.Kisiler_2 in C:\SQL\kisiler.bcp -c -T -S DESKTOP-QERV23I

• TEST_2.dbo.kisiler_2 : İçe aktarılacak veri tabanı tablosunun tam yolunu belirtir.
• in C:\SQL\kisiler.bcp : İçe aktarılan verinin nereden alınacağını belirtir. Bu örnekte, veriler “C:\SQL” klasöründen “kisiler.bcp” adında bir dosyadan SQL Server’a aktarılacak.

2. BCP Komutunu Çalıştırma: Hazırlanan BCP komutunu komut istemcisine (cmd) girip çalıştırdığınızda aşağıdaki gibi bir ekranla karşılaşırsınız. Bu komut, verilerin aktarım işlemini başlatıp sonunda ne kadarlık bir veriyi kopyaladığınızı size gösterecektir.

3. İşlem Tamamlanınca İşlemin Sonlandırılması: Veri aktarım işlemi tamamlandığında, BCP işlemi kendiliğinden sona erer. İşlem başarıyla tamamlandıysa, “kisiler.bcp” dosyası SQL Server veri tabanına aşağıdaki görselde olduğu gibi aktarılacaktır.

“kisiler.bcp” dosyasından “kisiler_2” tablosuna aktaracağım veri sayısının 4001 olduğunu bildiğim için aktarım işleminden sonra “kisiler_2” tablosundan verilerin doğruluğunu teyit ediyorum. Sizlerde yaptığınız işlemlerden sonra attığınız verileri kontrol ederek veri kaybının önüne geçmiş olursunuz.

Sonuç olarak “TEST” veri tabanının altında bulunan “kisiler” tablosundaki 4001 kaydı “TEST_2” veri tabanının altında bulunan “kisiler_2” veri tabanına başarılı bir şekilde aktarmış olduk.
Sizlere BCP yöntemi ile bir veri tabanından verilerin dışa aktarılması ve ardından başka bir veri tabanına içe aktarılması işlemleri nasıl yapılır anlatmaya çalıştım. Umarım sizler için yararlı olmuştur. İyi çalışmalar diliyorum.

Benzer Yazılar

SQL SERVER SERViS RESTART HATASI

SQL Server 2 hafta önce

Bu haftaki yazımızda karşılan bir hata üzerindeki; logları ve çözümünü anlatacağım. Aşağıdaki GÖRSEL-1’de görüldüğü üzere SQL servisini restart ettiğimiz sırada bir hata ile karşılaşıyoruz. Servis running state’e geçemiyor. “The request failed or the service did not respond in a timely fashion. Consult the event log or other applicable error logs for details” şeklinde bir uyarı veriyor. Hatanın çözümüne doğru ilerlerken farklı servis hesaplarıyla veya “Local System” hesabı ile restart etmeye çalıştığınızda servis ilginç bir şekilde ayağa kalkıyor. Ancak Always on sistem çalışıyorsanız farklı servis hesaplarını kullandığınızda always on size haberleşme izni vermiyor. Aynı hesabın şifresi ile ilgili sorunlar olduğu düşünüp hesabın şifresini de değiştirdiğiniz de yine sonuç alamıyorsunuz. Burdan yola çıkıldığında sıkıntı servis hesabında gibi görünüyor olabilir ancak çözüme geçildiğinde regedit üzerinde yapacağımız bir işlem ile sorunu çözüyoruz. Servis hesabının kaydının olduğu regedit kaydını siliyoruz. Regedit üzerindeki servis hesap bilgisi güncellendiğinde sorun çözülmüş olmakta. GÖRSEL-1  Servis restart edildiğinde SQL’in verdiği Error […]

SQL’DE İKİ NODE’UN RESOLVING DURUMA DÜŞMESİ VE ÇÖZÜMÜ

SQL Server 1 ay önce

Bu yazımızda failover olma işlemi esnasında karşılaşılan bir durumdan kısaca bahsedeceğim. Kısa bir yazı olacak ama önemli olduğunu düşünüyorum. Bazen failover olmak istediğinizde cluster secondary’e node’a failover olamaz, hem secondary hem de primary node’unuz resolving durumuna geçer. Bu durumla daha çok otomatik failover olma durumlarında karşılaşılır çünkü sistem failover’a aslında hazır değildir ancak cluster bunu bir şekilde bilemez. Failover olma gerçekleşemez bir anlamda sql cluster askıda kalır ve hiçbir sunucu da sql engine çalışmaya devam edemez. (GÖRSEL-1) GÖRSEL-1 GÖRSEL-1 üzerinde gördüğünüz üzere availability group resolving duruma düşer. Availability replica’lar üzerinde de gördüğünüz üzere primary ve secondary tüm node’lar resolving state’e düşer. Böyle bir durumunda iki farklı çözüm yolumuz var;   Çözüm: ikinci node’a sunucu restart’ı atmak. Bu noktada secondary sql node’a servis restart atmak işe yaramıyor. Zaten db’ler iki taraflı resolving modda. O sebeple ancak sunucu restart atıldığında cluster ayakta olan sunucuyu görüyor ve askıda kalma durumundan ilk başta primary […]

Query Store Nedir?

SQL Server 1 ay önce

Query Store ile birlikte execution planın seçimi ve bu sürecin performansa etkisini anlayabiliriz. SQL Server içerisinde bulunan Query Store özelliği, çalıştırılan sorguların execution planını ve bu sırada oluşan istatistiklerini otomatik olarak yakalar. Böylece query plan değişikliği ile oluşan problemleri de hızlı ve kolay şekilde fark edebiliriz. Elinizde bulunan bir sorguya ait query plan zamanla değişebilir. Bunun birçok sebebi vardır. Tablo yapısına yeni bir column eklenmesi Veri tipinin değiştirilmesi Sorgularda yeni parametrelerin eklenip çıkarılması Verilerde, schemalarda veya sorgu parametrelerindeki değişiklik Burada önemli olan ise bazen bu değişimler sorgunun yavaş çalışmasına neden olur. Query Store ile beraber bu yavaşlığın kök nedenine inmek daha kolay oldu. Ayrıca query store sayesinde ilgili sorguya ait read-write bilgileri ve cpu tüketimi bilgilerine de erişebilirsiniz. Query Store’u veritabanı seviyesinde aktif edebiliyoruz. Veritabanı üzerine sağ tıklayarak properties diyoruz ve Query Store sekmesine geliyoruz. Operation Mode alanından Read Write’ı seçiyoruz. Böylelikle Query Store gerekli bilgiyi toplayabilir ve size ilgili sonuçları […]

0 Yorum

Yorum Yaz

Rastgele