Merhaba;

Bugün sizlere Oracle’ın HSM (Hierarchical Storage Manager) ve QFS (Quick File System) ürünlerini anlatmaya çalışacağım.

Öncelikle bu iki ürünün karşılaştığımız hangi sorunları adreslediğine cevap vermeye çalışalım. Organizasyonlarda dosya tabanlı bilgiler gün geçtikçe inanılmaz bir hızla artış göstermektedir. Bu artışı karşılayabilmek için depolama birimi altyapılarının genişletilmesi gerekmektedir. Genişleyen bu yapı aslında yönetim zorluğunu da beraberinde getirmektedir. İşte kaçınılmaz olarak karşımıza çıkan bu veri büyümesini etkin, verimli ve kolay bir şekilde yönetebilmek amacıyla geliştirilen Oracle HSM ürünü organizasyonların hem zamandan tasarruf yapmalarını sağlamakta hem de maliyetlerini yönetmesine imkan vermektedir.  Oracle HSM ile depolama birimlerini, verinizin değerine bağlı olarak belirleyeceğiniz kurallara (“policy”) göre katmanlar (“tier”) şeklinde kullanabilirsiniz. Ek olarak geniş kapsamlı veri koruması sağlayabilir, verinizi arşivleyebilirsiniz. Tüm bunları da otomatik bir yapıda kurgulayabilir ve böylece depolama birimi maliyetlerini azaltabilir, yönetim karmaşasını tolere edilebilir seviyelere indirgeyebilirsiniz.

Oracle HSM’in depolama birimlerinin yönetimini basitleştirdiğini söyledik. Bu yönetim kolaylığından bahsederken aslında anlatmaya çalıştığımız anahtar kavram, ürünün doğru veriyi doğru depolama birimine konumlandırabilmesidir. Oracle HSM, verinin depolama birimi katmanları arasında dinamik olarak hareket etmesini sağlar. Böylece organizasyonlar flash disk, disk ve tape üçlüsü için doğru kaynak planlamasını yaparak maliyet avantajı yakalayabilecekleri gibi, sağlanan yönetimsel kolaylıklar nedeniyle de operasyonel kaynakları daha verimli ve etkin şekilde farklı katma değerli işlere yönlendirebileceklerdir.

Oracle HSM, uygulamalar ve uygulamaların kullandığı depolama birimleri arasında soyut bir katman sağlar. Neden soyut kelimesini kullandım. Çünkü, uygulama, verinin fiziksel lokasyonundan haberdar değildir. Bilgi uygulamalar tarafından yazıldıkça otomatik olarak en uygun depolama birimine konumlandırılacaktır. Bu otomatik yazma işlemi sizin tarafınızdan iş ihtiyaçlarına, iş önceliklerine uygun olarak oluşturduğunuz verinin saklanması ve tekrar geri alınması kurallarına göre yapılacaktır.

Oracle HSM ürünü sayesinde verinin hangi depolama biriminde tutulduğundan bağımsız olarak verinize tanımladığınız yaşam döngüsü içerisinde hızlı bir şekilde ulaşabileceksiniz. Aslında ürün ile yaptığınız en önemli işlerden bir tanesi, verinize hala istediğiniz hızda erişebilirken, depolama birimi maliyetlerinizi de düşürüyor olmanızdır.

Bu noktada yeni bir üründen daha bahsedeceğim sizlere. Oracle HSM ürününü “Oracle StorageTek QFS Advanced File System” ile birleştirerek data yönetim altyapınızı daha elverişli hale getirebilirsiniz.   Bu iki yazılımın birlikte çalışmasıyla, bütünleşik dosya servisleri, çok yüksek performans yetenekleri, dosya paylaşımı, ölçeklenebilirlik gibi pek çok özelliğe sahip olabilirsiniz. Microsoft ile uyumluluk için Oracle Solaris 11, CIFS yapısını (eski ismi SMB) içerir. CIFS’ın Microsoft’un standart dosya paylaşım servisi olduğunu biliyoruz.

Hepimiz biliyoruz ki kurguladığımız bir yapıyı yönetmekteki verimsizlik, dış müşteri ve iç müşteriye istedikleri hizmetlerle ilgili gecikmeli cevap vermemize ve haliylede bulunduğumuz departmanın prestij kaybına neden olacaktır. İstenen hizmetin geç yapıldığı için organizasyonumuzun, müşterilerimizin para kayıplarını hiç hesaba bile katmıyorum. Oracle HSM, konfigürasyon işlemlerini, yönetimsel görevleri, dosya sisteminin monitör edilmesi gibi işlemleri basitleştirmek için bir dizi özellik içermektedir. Web tabanlı yönetim portali, zenginleştirilmiş monitör ve diyagnostik özellikleri, rol tabanlı erişim kontrolü (role-based access control) sayesinde, Oracle HSM, güçlü, kolay yönetilebilir, maliyet avantajlı bir yapı ile verinizin yaşam döngüsü boyunca kritik verinizi korur, arşivler ve bu verinize erişim sağlar.

Sistem yöneticileri, dosya sistemini “online” (aktifken) küçültebilir veya büyütebilir. Konfigürasyon değişiklikleri yaparken veri her zaman kullanılabilir durumdadır.

Oracle HSM, üretici firmaya bağımlılığı da ortadan kaldırmaktadır. İlerde olası herhangi bir durumda veriye ulaşılabilir olmayı garantilemek için veri açık format (“open format”) ile arşivlenir. Endüstri standartı olan tar formatı kullanılır. Kullanılan bu açık format sayesinde Oracle HSM ile arşivlenen herhangi bir tape veya disk, Oracle HSM olmadan bile bağımsız olarak okunabilir ve veri geriye getirilebilir (“restored”).

Fiziksel disk ve tape’in ömrü genellikle, üzerinde bulunan verinin yaşam döngüsünden daha azdır. Yaşam döngüsü boyunca bu veriye erişimi garantilemek organizasyonlar için önemlidir. Oracle HSM, uygulamayı etkilemeden (uygulamanın haberi bile olmadan), medya (“media”) migrasyonuna olanak sağlar. Oracle StorageTek T10000C, T10000D, LTO5, LTO6 ve LTO7 tape uniteleri DIV özelliğini (“Data Integrity Validation”) desteklediği için verinin tranferi sırasında uçtan uca koruma sağlar.

Oracle HSM ürünü ile tape’de tutulan her bir kayıt için “checksum” üretilebilir ve ilgili “checksum” lar kayıtla birlikte muhafaza edilebilir. “Checksum” lar ilerde istenen herhangi bir “read” operasyonu için kontrol edilebilir. Veriyi, “host” a göndermeden bağımsız bir doğrulama operasyonu olarak ilgili işlem yapılabilir. Verinin bütünlüğüne ait bu kontroller/denetimler, kurallar/politikalar (“policies”) tanımlanarak otomatik hale getirilebilir. Eğer bir veri hatası bulunursa, verinin yeni kopyalarının otomatik oluşturulması da Oracle HSM ile sağlanabilir. Bu şekilde sadece “self-audit” özelliğini değil aynı zamanda ürünün “self-heal”   özelliğini de kullanmış olursunuz.

Yine oldukça etkileyici bir özellikten bahsetmeden geçemeyeceğim. LTFS (“Linear Tape File System”) formatında olan tape’ler Oracle HSM arşivine import edilebilir. Oracle HSM, LTFS tape üzerindeki index bölümünü (“index partition”) okur ve bu okuduğu veriden StorageTek QFS File system metadatasını oluşturur. Bu işlemde tape’in data bölümünün tekrar kopyalanmasına ihtiyaç kalmadığı için import işlemleri oldukça hızlı gerçekleşir.

Oracle HSM üzerinde ki OpenStack Swift arayüzü, StorageTek QFS File System’in “object store” olarak çalışmasına imkan sağlar. Yani nesneler, OpenStack Swift üzerinden “GET/PUT/DELETE” komutlarıyla arşivlenebilir. Nesne tabanlı depolama birimleri için https://www.linkedin.com/pulse/nesne-tabanl%C4%B1-depolama-birimleri-object-based-storage-asiye-yigit?trk=mp-author-card yazımı okuyabilirsiniz.

Biraz da StorageTek QFS File System hakkında detaya girelim. Öncelikle yüksek performanslı ve yüksek kapasiteli bir dosya sistemidir. Herhangi bir türdeki dosyayı depolayabilir. Veriye erişimi “striped” ve “round-robin” mekanizmalarının her ikisiyle destekler. Oracle Cluster yapısı ile yüksek erişilebilir (“High availability”) olarak konfigüre edilebilir. Disk kotalarını destekler. “Recovery” işlemlerini çok hızlı yapar. “POSIX” bir dosya sistemidir. Dosya seviyesinde veri erişimi sağlar. SAN üzerinden veri paylaşımını destekler. Network dosya protokollerini destekler (NFS, CFS, FTP, gibi). Depolama birimi katmanlarından verinin geriye alınmasını destekler. Disk tabanlı bir dosya sistemidir. Verinin korunması, arşivlenmesi ve sanallaştırılması için geliştirilmiştir. Çok büyük bir dosya sistemidir (252 LUN*128TB). Boot aşamasında fsck’ya ihtiyacı yoktur. Uygulama ve donanım bazında optimize edilebilir bir dosya sistemidir. Ölçeklenebilir ve donanımsal teknolojik gelişmelere hızla ayak uydurabilir yapıdadır. Gerçek 64-bit dosya sistemidir. Metadatayı, datadan ayrı lokasyonda tutabilir veya data ile aynı lokasyonda tutabilirsiniz.

Aşağıda olan şekilde genel bir mimariye bakalım. Yapının çekirdeğini metadata sunucu oluşturmaktadır. Metadata sunucudan sonra yapıda, primary disk veya disk cache görülmektedir. Metadata ve sistem verisi, primary disk üzerinde tutulur. Arşiv kopyalar, kapasite disklerine veya tape unitesine yapılabilir. Şeklin üst katmanında QFS istemcileri görmektesiniz. Bu istemciler dosyalara NFS veya CIFS kullanarak ulaşabilir.

Oracle HSM’in birbiriyle bağlantılı üç fonksiyonu vardır. Bu fonksiyonlar birbirlerinden bağımsız aktiviteler olmakla beraber birinin başarısı diğerine bir şekilde bağlıdır. Bu üç fonksiyon sizin tanımladığınız kurallara bağlı olarak çalışır.

Arşiv: Dosyaları disk veya tape’e kopyalayan fonksiyon.

Release: Opsiyonel olarak disk alanını serbest bırakmak.

Stage: Dosyaları tape den diske almak.

StorageTek QFS konfigürasyonu farklı şekillerde yapılabilir. Örneğin StorageTek QFS dosya sistemini tek bir host üzerinde “stand-alone” bir dosya sistemi olarak yapılandırılabilir. “Shared” bir dosya sistemi olarak yapılandırılabilir. Bu durumda birden fazla host dosya sistemine yazabilir ve dosya sisteminden okuyabilir. Multireader dosya sistemi olarak yapılandırılabilir. Bu durumda sadece bir host dosya sistemine yazabilir ama birden fazla host bu dosya sisteminden okuyabilir. Oracle HSM’le birlikte yapılandırılarak arşiv özelliklerini destekler. Oracle Solaris Cluster ile birlikte kullanılarak “failover” ve HA olarak yapılandırılabilir.

Çok temel yapıda aşağıdaki şekil, ne kadar hızlı bir şekilde arşiv kopyalardan geri dönüş yapılabileceğini göstermektedir.

Arşiv süreci aslında dört fazlı bir yapı olarak düşünülebilir.

Şekilde görünen “archiving” mekanizması, bir dosyanın bir dosya sisteminden kartuşa veya başka bir dosya sistemine yazılmasıdır. Arşiv medyası farklı kartuşlar veya disk bölümlemeleri (“slices”) olabilir. Dosyaların arşivleneceği veya hiç arşivlenmeyeceği tanımını siz yapabilirsiniz.

“Releasing” prosesi ise, releaser servisinin disk cache’ı tekrar kullanılabilir hale getirmesidir. “Release” edilecek adayların en az bir tane aktif arşiv kopyası olmalıdır. “Release” edilecek dosyalar belirlendikten sonra, disk cache üzerindeki ilgili data blokları serbest bırakılır. Yani data blokları yeni arşiv adayları için tekrar kullanılabilir hale gelir. Oracle HSM, releaser prosesini, lokasyona özel disk eşik değeri aşılmış ise başlatır. Alternatif olarak “release” komutunu da kullanabilirsiniz.

“Staging” mekanizmasında, uygulama, disk cache’den alınmış bir dosya için istekte bulunur. Default staging aksiyonunda, dosya ilk arşiv kopyanın olduğu lokasyondan tekrar disk cache’e geri getirilir. Artık dosya uygulama tarafından kullanılabilir hale gelmiştir.

“Recycling” fazında, süresi dolmuş veya kullanılmayan eskide kalmış arşiv kopyalar silinir. Böylece arşiv medyası üzerinde yer açılmış olur.

Oracle Hierarchical Storage Manager & QFS ile ilgili bu yazımızda sizlere özet bir bilgi sunmaya çalıştık. Lütfen ek sorularınız olursa, ürün ile ilgili daha detaylı sunum dinlemeyi arzu ederseniz, PoC istekleriniz olursa support@gantek.com adresine mesaj atınız. Sizlerle en kısa zamanda bağlantıya geçilerek gerekli planlamalar yapılacaktır.

Asiye Yiğit – 31 Ağustos 2016 Çarşamba

Kaynakça:

http://www.oracle.com/us/products/servers-storage/storage/035865.pdf

http://www.oracle.com/us/products/servers-storage/storage/faq-storagetek-sam-2285024.pdf

HSM-QFS Yönetim Kılavuzları