SQL Server’dan Logstash ile FTP Veri Aktarımı

SQL Server’dan veri çıkarmak istediğimizde bunun birçok yöntemi vardır. Bu yöntemlerden biri de Logstash kullanmaktır. Logstash bulk copy veri aktarımı yaptığı için hızlı veri aktarımında denenmesi güzel sonuçlar vermektedir.
Bu makalede SQL Server üzerinde bulunan verilerin txt formatında bir ortama çıkarılması ve bu formatta çıkarılan verilerin FTP ile uzak sunucuya otomatik olarak her gün bırakılması adımlarını izleyeceğiz.
Uzun süreli veri paylaşımları için FTP yerine web servis kullanılması, hem hatanın tespiti hem de FTP’de yaşanacak problemlerin önüne geçilmesini engelleyecektir.
Biz işlemlerimizi 3 farklı ortamda gerçekleştirdik. 1.ortamımız SQL Server’da verilerin tutulduğu ortam, 2.ortam Logstash’ın bulunduğu ortam, 3.ortamımız ise verilerin aktarımının gerçekleştirildiği ve FTP aktarımının yapıldığı ortam.
FTP ortamı ile verilerin txt dosya formatına çıkarıldığı ortamı aynı yerde tutmamızın sebebi, FTP ile atılacak verilerin hızlı bir şekilde aktarımının yapılmasını sağlamaktır.
Verilerin standart olarak belirli tarihler arasında aktarımın yapılabilmesi için aşağıdaki logstash config dosyasını kendi ihtiyaçlarımızı belirledikten sonra kullanabiliriz.

Yukarıdaki config dosyasını çalıştırmak için, logtash dosyasının bulunduğu dizinde file> open command prompt>open Windows powershell as administrator olarak çalıştırdıktan sonra cmd ekranına logstashın başlaması için logstash -f ./Deneme.conf komut girilerek verilerin txt formatında aktarımı başlatılır.

Verilerin aktarımı sağlandıktan sonra; bir bat dosyası yardımı ile text dosyasını tetikleyerek, WinSCP uygulamasından SFTP protokolü ile verilerin sağlıklı bir şekilde istediğimiz adrese aktarımı yapılacaktır.
Yukarıdaki bat dosyası, txt uzantılı sftp-script-up8-test metin dosyasını tetiklediğinde, metin(txt) dosyası içerisindeki komutu çalıştırıp verilerimiz bulunduğu ortamdan FTP ile aktarımı istenen ortama aktarılacaktır. Aşağıda klasör ve scriptlere ilişkin bilgiler bulunmaktadır.

Yukarıda sftp protoklü ile bağlanmak istediğiniz adresin bilgisine aşağıdaki şekilde ulaşabilirsiniz.

Yukarıdaki scriptin generate edilmesi ile ilgili detaylı bilgi almak için https://winscp.net/eng/docs/ui_generateurl adresiniz ziyaret edebilirsiniz.

Bu şekilde aktarımı tamamladıktan sonra, verilerin günlük olarak düzenli aktarılmasını istiyorsak bir Task Schedule yardımı ile bat dosyası tetiklenerek işlem günlük olarak aktarımı sağlanacaktır. Ayrıca otomatik olarak silmesi isteniyorsa daha önce yazmış olduğum Perfmon Data Collector Delete as Automatically makaleden faydalanarak belli bir zaman diliminden eski veriler temizlenebilir.