Merhaba;
Bugün SAM-QFS teknolojisine dayandığı için oldukça ilgimi çeken Versity Arşivleme Çözümünden (“Versity Storage Manager”) bahsedeceğim. Neden SAM-QFS ilgimi çekiyor derseniz: Sun Microsystems zamanında, sanırım 2000’li yıllardı, bu konuda bir BT dergisine röportaj vermiştim. Daha sonra, yoğun olarak yaptığım “Sun Cluster” kurulumlarında, paylaşımlı dosya sistemi olarak Oracle RAC ortamları için yapılandırmıştım. Elbette sonrasında, Sun Microsystem’i Oracle’ın satın almasının ardından, içinde SAM-QFS teknolojisi korunarak Oracle HSM (“Oracle Hierarchical Storage Manager: OHSM”) ürünü sektöre sunuldu. OHSM ürününü de kurduğumuz ve işlettiğimiz çok başarılı bir ürün olarak tecrübe ettiğim için, bu ürünü Linux ortamlarında çalışacak şekilde geliştirerek dönüştüren Versity firması ile yollarımız kesişti. Beni etkileyen diğer önemli bir husus ise, Oracle depolama birimlerini ve teyp “tape” kütüphanelerini destekliyor olması. Ürünün referanslarını incelediğimde “Oracle ZS (Oracle ZFS)” ve “Oracle StorageTek Tape Library” yapılarının yoğun olarak kullanması; iyi bildiğimiz bu teknolojilerin, bu ürün ile hala hayatımızın bir parçası olarak kalacak olması sadece beni değil bu ürünlere yıllarını vermis Gantek teknik mühendisleri de oldukça etkiledi. Hepimizin bildiği gibi, farklı bir ürüne geçişte ne kadar kolay adaptasyon sağlanacağı önemli bir konudur. Gerek temel teknolojisine ve gerekse kullandığı depolama alanlarına olan aşinalığımız, bizlerin ürüne hızlı adaptasyonunu sağladı.
Aslında SAM-QFS’in geçmişi Sun Microsystems’den de daha geriye dayanıyor. 1991 yılında, Versity’nin kurucularından ve aynı zamanda CTO’su Harriet Coverston, LSC’de SAM-QFS’i geliştirmeye başlıyor. 2001 yılında, Sun LCS’ı satın alıyor. Bu süreçte SAM-QFS geliştirilmeye elbette devam ediyor.
Versity firması 2011 yılında kuruldu. Şu anda Versity ile dünya genelinde arşivlenen veri miktarı Exabyte’ların üzerinde. Versity, dünyanın dört bir yanındaki büyük arşivleme ihtiyaçları için geliştirilmiş, ölçeklenebilir, yüksek verimli ve yazılım tanımlı arşivleme depolama teknolojisi çözümlerinin önde gelen bağımsız bir sağlayıcısıdır. Kuruluşlar, hem şirket içi hem de hibrit bulut ortamlarında verilerin uzun vadeli depolanması ve verilerin geri alınması için düşük maliyetli büyük ölçekli veri koruma stratejileri uygulamak için “Versity Storage Manager”dan yararlanıyor. Versity, Kuzey Amerika, Avrupa, Güney Asya ve Orta Doğu’daki müşterilere hizmet vermektedir. Versity’nin müşteri tabanı, Finansal Hizmetler, Eğitim, Bankacılık ve Finans, Araştırma, Havacılık, Enerji, Medya ve Eğlence, Genomik, Yayıncılık, Veri Merkezi ve Jeo-uzamsal pazar segmentlerindeki önde gelen kamu ve özel kuruluşları kapsamaktadır.
Versity’i hangi anahtar kelimelerle/cümlelerle ifade edersin derseniz, hızlıca şunları söyleyebilirim. Büyük veri koleksiyonlarını maliyet etkin bir şekilde korumak için geliştirilmiş büyük ölçekli bir arşiv veri yönetim aracıdır. Açık kaynak dosya formatı ve açık kaynak dosya sistemi yapısındadır. Öne çıkan özellikleri; zengin ve esnek arşiv politikaları oluşturmaya imkan sağlaması, bulut depolama sistemlerine, teyp “tape” kütüphanelerine, blok, nesne, dosya disk depolama alanlarına herhangi bir üreticiye bağlı kalmadan arşiv veriyi yazabilmesi olarak sıralayabilirim.
Şekil 1. “Versity Storage Manager”ın bileşenleri.
Şekil 1’de “Versity Storage Manager”ın bileşenleri görülmektedir. Verileri herhangi bir bulut kombinasyonuna veya şirket içi arşiv depolamaya yönlendirir. Versity, verileri birincil kaynaklardan alan, ardından otomatik olarak kopyalar oluşturan ve bunları yapılandırılabilir ilkelere göre teyp veya bulut ortamlarına yönlendiren bir “Hierarchicel Storage Manager” sistemidir. Kopyaları tanımlanan kurallara göre yönlendirmesine ek olarak, VSM gelen verileri paketler, böylece teyp cihazlarına en optimum şekilde aktarılabilir. Politikalar, ayrıca verilerin, farklı dosya türleri, yolları (path) ve sahiplik bilgisine göre aynı ortamda birlikte konumlandırılabilmesi için gruplandırılmasına da olanak tanır. Ürünün uzun bir geçmişi vardır ve haliyle teyp okuma ve yazma işlemlerinin verimli bir şekilde işlenmesi için üründe pek çok optimizasyon yapılmış durumdadır.
Çözüm, özellikle büyük ölçekli arşivleme ihtiyaçlarını karşılamak için gerekli fonksiyon ve özelliklerle yapılandırılmıştır. PetaByte lardan ExaByte lar seviyesine ölçeklenebilir. Ana hedef, toplam sahip olma maliyetini azaltmak ve güvenli veri koruması sağlamaktır. Teyp uniteleri, disk depolama alanları da müşteri gamı içerisinde yoğun olarak kullanılmaktadır.
Versity’nin ana misyonu, dünyanın en gelişmiş depolama platformunu geliştirmek ve müşteri memnuniyetini en üst seviyede tutacak şekilde ürünün desteğini sağlamaktır. Elbette destek sürecinde Gantek, Veristy ile iş ortaklığı yaptığı için, Gantek yine müşterilerini yalnız bırakmayarak, üçtan uca tüm destek aksiyonlarını gerekirse ürünün yönetimini yerine getirecektir. Gantek ve Versity olarak teknik mükemmellik ve uzun vadeli değer yaratma en önemli ilkelerimizdendir.
“Versity Storage Manager”ı uygun bir abonelik iş modeli ile kullanabilirsiniz. Şirket, büyük arşivlerin yönetimini daha verimli hale getirmek için büyük ölçüde yeni özellikler ve yeni teknolojiler sunmaya odaklanmıştır. Elbette bu hedefi yerine getirmek için müşterilerin taleplerine son derece duyarlıdır. Tüm arşiv verileri açık kaynak GNU Tar formatında saklanır ve hem verileri hem de meta verileri içerir, böylece arşiv verileri HERHANGİ bir yazılım olmadan bile teyplerden gerektiğinde kurtarılabilir. Ek olarak, tüm Versity müşterilerine kalıcı bir salt okunur lisans verilir, böylece daha sonra ürünü değiştirmeye karar verseler bile verilerini geri okumak için Versity yazılımını her zaman kullanabilirler. Aslında ana hedef, Versity’nin müşterileri kendi yazılımına kitlemek istememesinden kaynaklanır. Açıkcası ürünü kullanmaya başlayınca zaten müşteriler çok seveceği için bırakmayı düşünmeyeceklerdir. Yeni Teknolojileri içinde barındırmaktadır: Süper ölçeklenebilir ScoutAM ve ScoutFS teknolojilerini içermektedir. Kurulumunu, konfigürasyonunu ve gerektiğinde donanım değişikliklerini yapmak çok kolaydır.
Bir ürünü seçerken, nasıl bir destek alabileceğimiz düşünmemiz gereken en önemli kriterlerden birisidir. Destek kanalı oldukça kalitelidir. Tüm destek talepleri doğrudan ürün konusunda son derece yüksek uzmanlığa sahip çağrı mühendislerine yönlendirilmektedir. Özel “Slack” kanalları mevcuttur ve çok popülerdir. Versity’nin ABD dışındaki çalışma saatlerinde destek kapsamı için iki Avrupa merkezli tam zamanlı destek noktası vardır. Daha önemlisi Gantek, Versity desteğini yetkin, deneyimli geniş mühendis kadrosuyla sağlamaktadır.
Ürünü farklı kıldığını düşündüğüm şu özelliklerden bahsetmeden geçemeyeceğim: Açık kaynak dosya sistemi, açık kaynak dosya formatı, ücretsiz ve kalıcı geri okuma, harici bir veritabanı içermemesi, olağanüstü durum kurtarma senaryolarının kolay implementasyonu, tamamen bağımsız ve kendi kendini finance eden bir firma olması. Versity’nin depolama ve yönetim için meta verileri üçüncü taraf bir veritabanına aktarmadığını özellikle belirtmek gerekir. Meta veriler, VSM uygulama yığını içinde oluşturulur ve saklanır. Üçüncü taraf veritabanlarının ortadan kaldırılması, ürünü önemli ölçüde basitleştirmekte, daha güvenli ve daha performanslı hale getirmektedir.
VSM ürünü iki ana bileşenden oluşur: “Intelligent Cache ™” ve “Archive Engine ™”. Bu bileşenler birlikte, gelen verileri verimli bir şekilde paketleyerek gruplandırır ve ardından sizin tarafınızdan yapılandırılan kurallara göre kopyaları, belirtilen arşiv ortamlarına gönderir. Versity Storage Manager (VSM)’e, arşiv verilerinin saklanması ve geri alınması işlemini otomatikleştiren kapsamlı bir yazılım platform gözüyle bakmamız doğru olur. VSM, kopyalar oluşturur ve bunları tape, disk, optik, şirket içi nesne depolama ve genel bulut depolama gibi düşük maliyetli depolama ortamlarına yazar.
Arşiv yazılımı standart bir POSIX dosya arabirimine sahiptir. NFS ve SMB ile uyumludur. Bu nedenle Mac, Linux, Windows, Globus, web istemcileri veya herhangi bir POSIX uyumlu uygulama veya araç, arşivlenmiş verilere sorunsuz bir şekilde erişebilmektedir.
Veriler, birincil veri kaynaklarından (NFS, Samba, S3, FTP üzerinden) VSM veri önbelleğine (“data cache”/”intelligent cache”) taşınır. Önbellek (“cache”) dosya sistemi, meta verileri verilerden ayırır. Veri ve meta veri, fiziksel olarak ayrı LUN veya aygıtlara/cihazlara yazılır. Meta veriler çevrimiçidir ve her zaman erişilebilir durumdadır. Veriler önbelleğe (“cache”) alınır, ardından ilkeler/kurallar, “arşiv motoru” veya uygulama tarafından uygulanır ve arşiv kopyaları tamamlanıp doğrulandıktan sonra veriler önbellekten (“cache”) serbest bırakılır.
VSM’de dört önemli aşama vardır: verilerin istemciler tarafından “intelligent cache” alanına yazılması (“archiving”), istemcilerin arşiv alanine (“archive targets”) yazılmış verileri, “intelligent cache” alanına geri çağırması (“staging”), tamamen otomatiktir, arşivlenmiş dosyaların “intelligent cache” alından kaldırılması yani “releasing” işlemi ve süresi dolmuş arşiv verilerinin arşiv alanından (“archive targets”) silinmesi (“recycling”). “Recycling”, depolama ortamında kullanılmayan alanı geri kazanmak için yapılan bir arka plan işlemidir.
“Archiving” aşamasında, veriler, “VSM intelligent cache” alanine istemciler tarafından yazılmaktadır. Verilerin arşiv depolama alanlarına verimli aktarımı için, veriler VSM Archive Engine tarafından alınır. Dosyalar; kullanıcı, grup, ortam türü, dosya türü, boyuta göre akıllıca gruplandırılır. Gruplar, boyuta, kopyalanacağı hedef alana (“archival targets”), hedefin hangi medya türünde olduğuna ve kopya sayısına göre optimize edilir. Veri, arşiv depolama alanına yazılır (tape, disk, optic, object, bulut ortamlarına). Veri bütünlüğünü sağlamak için dosyaların sağlama toplamı alınır. Dosyalar, okuma/yazma verimliliği için GNU TAR dosyalarına aktarılır. Meta veriler, arama, göz atma ve uygulama kullanımı için çevrimiçi kalır. Nesneler standart POSIX dosyaları olarak göründüğü için mevcut kurumsal uygulamaları değiştirmeye veya yeniden yazmaya gerek yoktur.
“Staging” aşamasında, ilgili dosya Dosya, VSM Intelligent Cache’den talep edilir. “Staging” işlemi, “VSM Archive Engine” tarafından işlenir. Veri, arşive depolama alanından okunur. “Staging” işlemi tamamen otomatiktir ve uygulamalara karşı şeffaftır. “Staging” sırası, en hızlı depolama ortamındaki kopyayı tercih eden politika tarafından belirlenir. “Staging” iş yükleri, maksimum verim sağlamak ve medya yönetimini en verimli yapacak şekilde sıralanır ve optimize edilir.
“Intelligent Cache” yani önbellek alanı, yüksek ve düşük eşikler arasında yönetilmektedir. Arşivlenen dosyalar akıllı bir şekilde Önbellekten kaldırılır. “Release” öncelikleri, optimum performans için yapılandırılabilir (boyut, atime, rtime, mtime). “Archiving” ve “Staging” kaynakları belirli iş yükleri için ayrılabilir.
Yoğun olan Sistemler, bir t anında sadece “archiving” veya “staging” işlemi yapmaz fakat her iki işlemi yerine getirir. “Intelligent Cache” alanı, “high water mark” ve “low water mark” yapılandılabilir değerlerle otomatik olarak yönetilir. “Intelligent Cache” alanının performansı daha yüksektir ve nispeten daha pahalıdır. Bu nedenle tam olarak verimli kullanılması gereken bir alandır. Versity yazılımı, dosya arşivlense bile, dosyayı, “Intellignet Cache” alanında tutabildiği kadar tutmak ister. Elbette bu durumda, teyp “mount”larının önüne geçerek, “Intelligent Cache” alanından okuma işlemlerini daha hızlı yerine getirebilir. Gelen veri veya “staging” için daha fazla “Intellignet Cache” alanına ihtiyaç varsa, VSM otomatik olarak gerekli alanı serbest bırakır.
Meta veri için alan ölçeklemedeki kural, 1 milyon dosya için 1GB olacak şekildedir. Meta veri için, SSD veya NVMe önerilmektedir. Elbette RAID 10 yapısı yine önerilmektedir. “Intelligent Cache” veri alanı için yine SSD veya diğer hızlı disk Teknolojileri kullanılabilir. Bu yapı, kullanılacak tüm arşiv alanlarını besleyebilecek verimlilikte olmalıdır.
“ScoutFS ve ScoutAM”den yukarda bahsettim.
Şekil 2. “ScoutFS” özellikleri.
“ScoutFS”, veri bütünlüğünü sağlayacak özellikleri içinde barındırır. Posix uyumludur. Donanım üzerinde yatay olarak ölçeklenebilir. Hızlı “dump” ve geri yükleme işlemlerini, artımlı FS “dump”ları destekler. İçine gömülü yüksek düzeyde kullanılabilirlik (“High Availability”) fonksiyonları vardır. “ScoutFS”, arşivleme işlemleri için özel olarak tasarlanmış, “scale out”, açık kaynak GPL, kernel’de çalışan, blok dosya sistemidir. Meta veri, VSM2 “cluster” yapısında olan tüm “node”lar veya bir grup “node” üzerinde işlenebilir. Merkezi bir meta veri denetleyici veya tek bir hata noktası yoktur. ScoutFS, tek bir ad alanında (“namespace”) güvenilir bir şekilde tutulabilecek POSIX dosyalarının sayısını önemli ölçüde artırarak birçok yeni özellik sunar.
“ScoutFS”de dosyalar tek tek bir LUN’a, “round robin” şeklinde tahsis edilebilir. DAU (“Data Allocating Unit”) ayarıyla dosyalar birden çok LUN‘a yazılabilir, Şekil 3.
Şekil 3. “ScoutFS” yapısında dosyanın yazılma opsiyonları.
“ScoutFS” dosya sistemi veri yapısı, kullanıcı tanımlı öznitelikler dahil olmak üzere belirli dosya veya nesne özniteliklerini indekslememize izin verir. Bu nitelikler kaydedildikten sonra, sistem bunları bir saniyenin kesirleri içinde bulabilir. Bu özellik, son derece hızlı meta veri sorguları sağlamaktadır.
Şekil 4. “ScoutAM” özellikleri.
“ScoutAM”, geleneksel HSM uygulamalarının yerini almak ve yüz milyarlarca dosyanın, arşivleme depolama sistemlerine hızla girip çıktığı exascale arşivleme gereksinimlerini karşılayabilmek için tasarlanmış yeni nesil ölçeklenebilir veri “broker”ıdır. “ScoutAM”, işleri “node”lar arasında akıllıca dağıtarak ve kullanılabilir depolama aygıtlarını en verimli şekilde kullanarak bulut ölçeğinde hizmetler sunabilmektedir. “ScoutAM” ile işler paketlenerek parallel şekilde çalışmaları sağlanır. Tape’den tamamen geri gelmesini beklemeye gerek kalmadan dosyaları okumaya başlayabilirsiniz. Arşivleme hedefini tek bir düğmeye basarak değiştirebilirsiniz. Dosya, Blok ve Nesne iş yükleri için tek bir sistem sağlamaktadır. Zengin politika motoru ile akıllı arşivleme platform sağlamaktadır. Birleşik Erişim sağlar, Posix, Nesne, NFS / SMB protokolleri destekler. Bu sayede modern ve eski uygulamalar desteklenir. Formatı açıktır ve sonsuza kadar verinizi okuyabilirsiniz.
“ScoutAM”, küme dayanıklıdır. Yani dahili “High Availability” ve yük devretme özellikleri vardır. Örneğin, 3 “node”dan oluşan bir küme, bir veya iki sunucu tamamen kaybedilse bile çalışmaya devam edebilir. Tüm “node”lar, sistem içindeki tüm işlevleri yerine getirir (meta veri yönetimi, veri alma, arşivleme ve staging).
“ScoutAM”, sunucu veya sanal makine sayısına göre ölçeklenebilir. Aynı şekilde, sunucu başına yürütücü iş parçaçığına (“executor thread”) göre ölçeklenebilir. Yine, sunucu başına “slot” sayısına göre ölçeklenebilir. Önemli bir not olarak belirtmek istiyorum, “cluster” içinde olan tüm “node”lardaki “slot”lar kullanılarak, paralel bir şekilde arşiv alanine yazma işlemi gerçekleşmektedir. Büyük dosyalarınızı isterseniz politikanızda belirterek, “n” sayıdaki “slot”a bölebilirsiniz.
Hepimiz biliyoruz ki veri bütünlüğü, iyi yapılandırılmış bir kurumsal arşiv depolama sisteminin önemli bir unsurudur. https://www.versity.com/blog/data-integrity-checksums blogda desteklenen sağlama toplamlarını (“checksum”) inceleyebilirsiniz.
VSM’in çalışma mantığını tüm bu yazılanlardan sizlerin de özetlemesi mümkün.
Veri “intelligent cache” alanına kopyalanır.
“Intelligent cache”deki veri, hedef arşiv alanine arşivlenir (“archiving”) ve bu aşamada bir sağlama toplamı (“checksum”) üretilir.
Veri, “intelligent cache” alanından serbest bırakılır (“releasing”).
Veri, sağlama toplamı doğrulanarak arşiv alanından hazır hale getirilir.
Arşivlenen veri, arşiv alanından, “intelligent cache” alanına geri getirilir.
Versity, ilk adımda, kullanıcının veya uygulamanın, VSM’e sağlama toplamı (“checksum”) vermesi özelliğini de desteklemektedir. Kullanıcı veya uygulama, dosya VSM dosya sistemi önbelleğine (“intelligent cache”) kopyalanmadan önce sağlama toplamını hesaplar. Dosya VSM’e kopyalandıktan sonra, kullanıcı veya uygulama algoritmayı ve oluşturulan sağlama toplamını ssum komutu veya sam_ssum API ile sağlar. VSM, sağlama toplamını derhal doğrular ve “ssum call”na bir tamamlanma durumu döndürür. Kullanıcı “ssum call”una “u” seçeneğini eklerse, sağlama toplamı, dosyanın arşiv ortamından her hazırlanışında (“staging”) doğrulanır. Kullanıcı, dosyayı VSM’den birincil depolamaya geri aldığında, sağlama toplamını doğrulayabilir ve bu sayede gerçek uçtan uca veri bütünlüğü sağlayabilir.
VSM, Oracle Linux, Red Hat ve CentOS İşletim sistemlerini desteklemektedir. Teyp kütüphaneleri olarak Oracle StorageTek, IBM, Spectra, Quantum, Overland, Dell gibi pek çok üreticiyi desteklemektedir. Yine “drive” olarak, LTO4-LTO9, STK T10K {B, C, D}, T10K {A, D}, TS11 gibi pek çok modeli desteklemektedir. VSM’de oluşturulabilecek dosya sistemi sayısında bir sınır yoktur. Her dosya sistemi 1024 LUN’a sahip olabilir. Her bir LUN, 4.5 PB olabilir. Dosya sistemi başına 4.5 EB’a kadar çıkabilirsiniz. “Inode”lar dinamik olarak tahsis edilebilir. Bu durumda, gerçek anlamda, VSM’de dosya sayısı sınırsızdır. Sadece düşünmemiz gereken, her bir “inode” girişinin bir dizin veya dosyanın özellikleri hakkında 1024 baytlık açıklayıcı bilgi bloğu içerdiğini bilmemizdir.
Ürünün sağladığı performans ile ilgili etkileyici bir özellik daha eklemek istiyorum. LTO9 teyp cihazları, cihaz başına yaklaşık 1GB/s verim sağlayabilmektedir. “ScoutAM”in paralel okuma/yazma özelliği ile 10 adet teyp cihazı için, 10GB/s hız verim alabilmek mümkündür.
Yine bence önemli bir özelliği GNU Tar kullanması. Çünkü biliyoruz ki, arşivleme dünyasında, büyük organizasyonlar, “tape spanning” özelliğini şart koşmaktadır. LTFS, “tape spanning”i desteklemez ve haliyle her teypin sonunda boş alan kalır. Bu nedenle daha fazla teyp kullanılmasına neden olur. Ek olarak yavaş bir teknolojidir.
VSM, açık kaynaklı “SAM-QFS” teknolojisi etrafında oluşturulmuş tescilli bir yazılım ürünüdür. “SAM-QFS”, Sun Microsystems tarafından 2008 Mart ayında CDDL (“Common Development and Distribution License”) lisansı ile açık kaynak olarak piyasaya sürüldü. VSM, Sun Microsystems açık kaynak CDDL lisansı koşulları kapsamında açık kaynak SAM-QFS teknolojisinin bölümlerini içermektedir.
Bu yazımda “Versity Storage Manager” ile ilgili detaylı bilgi aktarımı yaptım. Lütfen aklınıza takılan soru olursa iletmenizi çok isterim. Yukarda detaylı belirttiğim gibi Gantek, Versity’nin iş ortağıdır ve ürün ile ilgili gerekli desteği sağlayabilmektedir. Sun Microsystem ve ardından da Oracle ile birlikte yetkinlik geliştirdiğimiz ve proje yaptığımız SAM-QFS teknolojisini temel almaktadır.
Sarav Asiye Yiğit – 24 Ocak 2021 Pazar
Kaynakça:
https://www.versity.com/product-vsm
https://www.versity.com/blog/end-to-end-data-integrity-with-user-supplied-checksums
https://www.versity.com/hubfs/Documentation/VSM-compatability-guide.pdf
Leave A Comment