Yazdığım yazılara bakınca 2019 yılında Elastic Stack ile ilgili iki makale yazdığımı gördüm. Hayatımızda ne kadar çok şey değişti 2019 sonrası.
https://www.linkedin.com/pulse/elasticsearch-b%C3%B6l%C3%BCm-2-asiye-yigit/
https://www.linkedin.com/pulse/elasticsearch-asiye-yigit/
Daha güzel günlere ulaşmayı diliyorum. Allah geçmişi aratmayacak mutluluklar getirsin hayatımıza.
Bugün bilgilerimizi biraz daha güncelleyelim istedim. Çünkü Elasticsearch’un kullanıldığı işimize fayda sağlayacak pek çok farklı çözüm var. Önce kavramları hatırlayalım. Elastic Stack’in kalbi olan Elasticsearch, verilerimizi hızlı aramak için kolaylıkla ölçeklenebilir, güçlü analitik için verileri merkezi olarak depolar. Elasticsearch, yapılandırılmış, yapılandırılmamış, coğrafi, metrik gibi birçok arama türünü istediğiniz şekilde gerçekleştirmenizi ve birleştirmenizi sağlar. Sorgumuzla eşleşen 10 belge içinde analiz yapmak manuel olarak belki mümkün ama milyarlarca log satırının bize söylediklerini anlamak mümkün mü? Elasticsearch, verilerin ince detaylarına kadar ilerleyerek, verideki eğilimleri ve kalıpları keşfetmemize olanak sağlar. Verinizden ne kadar hızlı cevap alırsanız aslında veriyle olan diyaloğunuz o kadar artar ve elbette daha fazla alanda daha fazla iterasyon yapmayı göze alırsınız. Elasticsearch’un özellikle vurguladığı, tek node ile nasıl konuşuyorsan, 300 node’lu bir yapıyla da bu şekilde sorunsuz konuşabilirsin mesajıdır. Saniyede kajilyonlarca (türkçeye henüz geçmemiş bir kelime olabilir) olayı işlemek için yatay olarak ölçeklenirken, dizinlerin ve sorguların küme (“cluster”) genelinde nasıl dağıtıldığını otomatik olarak yönetmektedir. Elasticsearch, kümenizi (ve verilerinizi) güvende ve kullanılabilir durumda tutmak için hataları tespit eder. Kümeler arası çoğaltma (“cross-cluster replication”) ile ikincil bir küme, etkin bir yedek sistem olarak devreye girebilir. Elasticsearch, sayılar, metin, coğrafi, yapılandırılmış, yapılandırılmamış aklınıza gelebilecek tüm veri türlerine açıktır. Elasticsearch, standart RESTful API’leri ve JSON kullanır. Ayrıca Java, Python, .NET, SQL ve PHP gibi birçok dilde istemciler oluşturulmaktadır.
ELK Stack derken, Elasticsearch, Kibana, Beats ve Logstash yığınından bahsetmek isteğimi tekrar hatırlatmak istedim. Bu yığın sayesinde, herhangi bir kaynaktan, herhangi bir biçimde güvenilir ve güvenli bir şekilde veriyi alıp, ardından bunları gerçek zamanlı olarak arayıp, analiz edip ve görselleştirebiliriz.
Kibana neydi? Elastic Stack yapısına açılan penceremizdir demek yanlış olmaz. Kibana, Elasticsearch verilerimizi görselleştirmemizi ve Elastic Stack’ta gezinmemizi sağlayan ücretsiz ve açık kaynak bir kullanıcı arayüzüdür. Sorgu yükünü takip etmekten, taleplerimizin uygulamalarımızla akış şeklini anlamaya kadar her şeyi yapabiliriz. Kibana, verilerimize şekil verme şeklimizi seçme özgürlüğü verir bize. Görselleştirdiğimiz bir grafik, bin günlük log’a bedeldir. J Kibana, görselleştirmeleri basit ve sezgisel olarak oluşturmak için en büyük yardımcımız olacaktır. Kibana’nın Canvas özelliğiyle markanızı ve stilinizi, size özgü logolar, renkler ve tasarım öğeleriyle verilerinizin hikayesine ekleyebilirsiniz. Daha güzeli, Canvas, SQL’i desteklemektedir. Paylaşım seçeneğini kullanarak Kibana görselleştirmelerini ekip üyelerinizle, patronunuzla, müşterilerinizle, uyumluluk yöneticileriyle, yüklenicilerle kolayca paylaşabilirsiniz. İsterseniz, çalışmanızı PDF, PNG, CSV gibi farklı formatlara aktarabilir ve ek olarak gönderimlerini yapabilirsiniz. Kibana Spaces kullanarak gösterge tablolarınızı ve görselleştirmelerinizi düzenleyebilirsiniz. Kullanıcıları belirli alanlara davet etmek için rol tabanlı erişim kontrolünü kullanarak belirli içerik ve özelliklere erişim sağlayabilirsiniz. Kriz durumlarından kaçınmak için kritik değişiklikleri takip etmemiz çok önemlidir. E-postalar göndermek, Slack bildirimleri oluşturmak, PagerDuty iş akışlarını etkinleştirmek veya herhangi bir üçüncü taraf entegrasyonlarını etkinleştirmek için indeks ve metrik tabanlı eşikleri kullanarak uyarılar oluşturabilirsiniz. SIEM, APM, Uptime veya Metrics gibi belirli uygulamalardan uyarılar tanımlayarak ve bu uyarıları yönetim sekmesinde bütünsel olarak izleyebilirsiniz.
Kibana’da komut satırı, artık güvenlik ayarlarını yönetmenin, yığını izlemenin, verilerinizi beslemenin ve toplamanın veya ek Elastic Stack özelliklerini yapılandırmanın tek yolu değil. Ne kadar da güçlü API’lere sahip olsada, Elastic Stack’i görsel bir kullanıcı arayüzünün rahatlığından yönetmek ve korumak hepimize daha cazip gelecektir.
Gelelim Logstash’e. Logstash ile verilerimizi merkezileştirip, dönüştürüp saklayabiliriz. Logstash ile verilerimizi pek çok farklı kaynaktan alabilir, dönüştürebilir ve istediğimiz bir noktaya gönderebiliriz. Logstash, format veya karmaşıklıktan bağımsız olarak verilerimizi dinamik olarak alır, dönüştürür ve gönderir. Grok ile yapılandırılmamış verilerden ihtiyacımız olan yapıyı elde edebiliriz, IP adreslerinden coğrafi koordinatları deşifre edebiliriz, hassas alanları anonimleştirebilir veya hariç tutabiliriz. Tüm bu özellikler sayesinde genel veri işlemeyi kolaylaştırabiliriz.
Elasticsearch, Kibana ve Logstash’ı genel olarak hatırladık diye düşünüyorum. Şimdi, Gantek’in de iş ortağı olduğu Elastic’in bize sunduğu çözümlere bir bakalım. Öncelikle bahsedeceğim, “Elastic Observability” çözümü. Bu çözüm sayesinde, logları, metrikleri ve APM verilerini bir araya getirerek ortamınızın herhangi bir yerinde meydana gelen olayları izleyebilir ve bunlara yanıt verebilirsiniz. Elbette çözümün kalbinde, verileri indekslediğimiz “Elasticsearch” var ve verilerimizi dakikalar için görselleştirdiğimiz Kibana’da çözümün bir parçası.
Şekil 1. Elastic çözümleri.
Şekil 2. Elastic Observability
Kaynakların türü veya sayısı ne olursa olsun, loglarınızı doğrudan Elasticsearch’e gönderebilir, böylece onları tek bir yerden hemen analiz etmeye başlayabilirsiniz. Logları endekslemeden önce belgeleri önceden işlemek için Filebeat modüllerini kullanabilirsiniz. Daha da fazla işlem gücüne ihtiyacınız varsa, Logstash, en karmaşık verilerinizi bile alıp, ayrıştırarak ve dönüştürerek özel bir veri akışı işleme katmanı görevi görebilir. Elastic Common Schema (ECS) sayesinde tek tip veri modelleme kullanarak, ortak bir belge alanları kümesi tanımlayabilir ve çeşitli kaynaklardan gelen verileri merkezi olarak analiz edebilirsiniz. Elastic’in makine öğrenimi özellikleri, Elasticsearch verilerinizin davranışını otomatik olarak modellemek ve sorunlar hakkında sizi gerçek zamanlı olarak uyarmak için Elastic Stack’in yeteneklerini genişletir.
İster sunucuları, Docker konteynerlerini, Kubernetes orkestrasyonunu, Prometheus tarzı ölçümleri veya uygulama telemetrisini izliyor olun, metriklerinizin analizine dakikalar içinde başlamanızı sağlayacak bir Metricbeat modülü vardır. Hoşumuza gidecek en güzel yanı, verilerin günlüklerinizle doğal olarak ilişkilendirilmiş olmasıdır. Coğrafi olarak uç noktalara dağıtılmış yüzlerce Prometheus ortamından verileri alabilir, birleştirebilir ve küresel bir görünüm ile Kibana’da analiz edebilirsiniz. Metricbeat’i Prometheus sunucusuna veya doğrudan Prometheus “exporter”lara bağlayabilirsiniz. Makine öğrenimiyle uyarıları birleştirebiliriz. Veriler çeşitlendikçe ve arttıkça, akış ortalamaları, ölçümler ve toplamlar arasında hatalı veri noktalarını gözden kaçırabiliriz. Verilerinizdeki anormallikleri tespit etmeye başlamak için birkaç tıklamayla makine öğrenimi işlerini tanımlayabilir ve insan hatasına mahal vermeden analizlerini en iyi doğrulukla yapabilirsiniz.
Elastic Observability’de APM modülü ücretsizdir. Elastic APM ile ölçümlerinizi uygulamalarınıza genişletebilirsiniz. Uygulamanızın tam olarak nerede zaman geçirdiğini görebilir, böylece sorunları hızla giderebilir ve geliştirdiğiniz kodun ne kadar başarılı olduğunu daha gerçekçi görebilirsiniz. Az önce alışılmadık derecede yüksek bir hata oranıyla ilgili bir uyarı aldığınızı düşünün. Sorunların kapsamını gerçek zamanlı olarak anlayabilmek için bir hizmetin işlemlerinin, bağımlılıklarının ve kritik metriklerinin özeti için hizmetlere genel bakış sayfasını açabilirsiniz. Daha derin analizler yapmak istediğinizde, özel kullanıcı arayüzü, darboğazları belirlemenize ve kod düzeyinde sorunlu değişiklikleri sıfırlamanıza yardımcı olmak için aramanın gücünü kullanır ve size destek olur. Tek bir görünümde hizmetlerinizin nasıl bağlandığının görsel bir temsilini alabilirsiniz.
Tüm altyapınızda isteklerin nasıl aktığını merak mı ediyorsunuz? Hizmetlerinizin nasıl etkileşim kurduğuna dair bir görünüm elde edebilirsinz. Hangi mesajlaşma yapılarının (Kafka gibi) kullanıldığını görebilir ve bunlar arasındaki akışları görselleştirebilirsiniz. Böylelikle gecikme sorunlarının nerede ortaya çıktığını bulabilir ve optimize edilmesi gereken bileşenleri belirleyebilirsiniz. Çok adımlı sentetik izleme yeteneklerini kullanarak kodu yerel olarak test edebilir ve ardından kullanıcı deneyimini küratörlü bir görünümden canlı olarak izleyebilirsiniz. “Uptime monitoring” ile uygulamalarınız ve hizmetlerinizdeki kullanılabilirlik sorunlarına, kullanıcıları etkilemeden önce müdahale edebilirsiniz.
Elastic’in Elastic Security ürünü benim oldukça dikkatimi çekti. Elastic Security, Elastic (ELK) Stack üzerine inşa edilmiş birleşik koruma sağlayan bir çözümdür. SIEM, uç nokta güvenliği, tehdit avı, bulut izleme gibi pek çok konuda bize destek sağlar. Tehditleri geniş ölçekte durdurabilirsiniz. İmzasız kötü amaçlı yazılımları önleyebilir ve korelasyon kuralları, makine öğrenimi işleri ve tekniğe dayalı yöntemlerle karmaşık tehditleri tespit edebilirsiniz. Bir saldırıyı; kaynağını, kapsamını ve zaman çizelgesini görselleştirerek izleyebilir ve avlayabilirsiniz.
Kibana Lens’i kullanarak KPI’lar ve iş akışlarıyla uyumlu veri görselleştirmeleri oluşturabilirsiniz. MTTD/MTTR, ATT & CK kapsamını veya güvenlikle ilgili diğer bilgileri inceleyebilirsiniz. Daha derin içgörüler elde etmek ve raporlamayı basitleştirmek için geleneksel olmayan veri kaynaklarını (APM, iş analitiği ve daha fazlası) görselleştirebilirsiniz. Veri alanlarından sürükle ve bırak yöntemiyle görsel alanlar oluşturabilirsiniz. Veri görselleştirme için akıllı öneriler de içeren yeni gösterge tabloları oluşturabilirsiniz.
Elastic Security araştırma ekibi tarafından geliştirilmiş ve doğrulanmış, kullanıma hazır kötü amaçlı yazılım önleme özellikleri içerir. Algılama kuralları ve makine öğrenimi işleri, doğrudan ATT ve CK ile eşleştirilerek, güvenlik ekiplerinin tehditleri geniş ölçekte algılamasına ve önceliklendirmesine olanak sağlar. Verimli SecOps iş akışları, yerleşik vaka yönetimi gibi özelliklerle donatılan çözüm, tehditleri durdurmak için oldukça başarılı görünüyor.
Elasticsearch hızında bir SIEM çözümünüz olsun istemez misiniz? Kör noktaları ortadan kaldırmak için çok çeşitli verileri kolayca sürecinize dahil edebilirsiniz. Önceden oluşturulmuş anormallik algılama işleri ve herkese açık algılama kuralları ile karmaşık tehditleri kolayca tespit edebilirsiniz.
Elastic Security, güvenlik ekiplerine tehditleri algılamak ve bunlara yanıt vermek için etkileşimli bir çalışma alanı da sağlıyor. Anormallik tespiti ile bilinmeyen tehditleri açığa çıkarabilirsiniz. Algılamalar, MITER ATT & CK® ile uyumludur ve acil uygulama yapılabilmesi için halka açıktır. Bir SIEM çözümünün hızlı, güçlü ve güvenlik analistlerine açık olması gerekir. Aslında Elastic’in sloganı çok açık: Diyor ki uç nokta verilerini toplamak için bir ajan yapılandırdıysanız, neden aynı ajan ile kötü amaçlı yazılımları da önlemeyesiniz? Elastic Agent üzerinde uç nokta güvenliği, ana bilgisayardaki kötü amaçlı yazılımları durdurur ve ortam genelinde görünürlük ve gelişmiş tehdit algılama sağlar. Bilinmeyen ve çok farklı kötü amaçlı yazılımları ve fidye yazılımlarını önceden engellemek için makine öğreniminden yararlanmak çok önemlidir. Elastic Security, bir güvenlik çözümünden beklediğimiz tüm özellikleri içinde barındırıyor görünüyor.
Elastic Enterprise Search çözümü ise güçlü, modern arama deneyimlerini ekibiniz kullanmasına imkan sağlıyor. Elastic Enterprise Search, gerçek hayattaki doğal arama için tasarlanmış kanıtlanmış, optimize edilmiş alaka düzeyi modelleriyle oldukça hızlıdır ve zahmetsizce ölçeklenecek şekilde tasarlanmıştır. Web tarayıcısı, esnek API’ler, dinamik şemalar ve bulut kaynak bağlayıcıları ile hızlı bir şekilde arama deneyiminize başlayabilirsiniz. Arama Kullanıcı Arayüzü gibi özelleştirme seçenekleri çeşitlidir ve sezgiseldir. Esnek kaynak tabanlı fiyatlandırmada ne ödeyeceğiniz yalnızca kullandığınız temel sunucu kaynaklarının miktarına göre belirlenir. Belge, sorgu, motor, kullanıcı veya aramaya özel diğer kriterlerin sayısına göre kafa karıştırıcı fiyatlandırma kombinasyonlarıyla aklınızı karıştırmanıza gerek kalmıyor. Google Cloud, Azure, AWS – Esnek Kurumsal Arama’yı dilediğiniz bulut platformunda kullanabilirsiniz. Dünya çapında 40’tan fazla bölge desteğiyle, verileriniz performansdan ödün vermeden yakınınızda kalabiliyor. Esnek dağıtım seçenekleri sayesinde isterseniz şirket içinde de indirip çalıştırabilirsiniz.
Elastic Workplace Search sayesinde, tüm içerik platformlarınızı (Google Drive, Slack, Box, Salesforce vb.) kişiselleştirilmiş bir arama deneyiminde birleştirerek ekibinizin üretkenliğini artırabilirsiniz. Kuruluşunuzun tüm veri kaynaklarını Elastic Workplace Search’e bağladığınızda aradığınız PDF’in nerede olduğu konusunda asla endişelenmenize gerek kalmayacaktır. Tüm kurumsal verilerinizi merkezileştirerek erişimi bölümlere ayırabilirsiniz. Basit yönetim arabirimi ve API’ler, belgelerin doğru kişilerle sınırlı tutulmasını kolaylaştırmaktadır.
Ekip düzeyinde içerik önceliklendirmesi yapabilirsiniz. Farklı ekiplerin farklı ihtiyaçları vardır. Elastic Workplace Search ile, alaka düzeyini ekip ve kullanıcı bazında ayarlayabilirsiniz. İster mühendislik ve destek ekipleriniz için Github ve Google Drive, ister pazarlama ve satış ekipleriniz için Salesforce ve Dropbox olsun, şirketinizdeki her ekibin başarılı olması için ihtiyaç duydukları arama motorunu kullanmalarını sağlayabilirsiniz.
Güvenlik hepimiz için bir önceliktir. Elastic Workplace Search, doğru belgelere yalnızca doğru kullanıcılar tarafından erişilebilmesini sağlamaya yardımcı olmak için yönetim seçenekleri ve belge düzeyinde izinler sunar. Bir kimlik sağlayıcısı kullanıyorsanız, tek oturum açma (SSO) kullanarak Elastic Workplace Search’e erişim sağlamak ve yönetmek çok kolaydır.
Elastic’in genel felsefesi, tüm ürünlerinde olduğu gibi, Workplace Search’ü de herkes için erişilebilir hale getirmesidir. Ücretsiz olarak başlayabilir ve ardından dağıtımınızı, ihtiyaçlarınıza göre ölçeklendirebilirsiniz. Ücretsiz sürümümüzle, sınırsız miktarda içeriği dizine ekleyebilir, arayabilir ve tüm temel işyeri arama yeteneklerinden yararlanabilirsiniz. Ek özelleştirmeye, entegrasyonlara ve ayrıntılı erişim kontrolüne ihtiyacınız varsa platin aboneliğini alabilirsiniz.
Elastic Workplace Search’ün merkezinde Elasticsearch ile güçlendirilmiş motor bulunmaktadır. Aynı motoru arzu ederseniz kendi özel kurumsal çözümünüzün kalbinde de kullanabilirsiniz. Biraz ilham almak için, NASA’nın Jet Tahrik Laboratuvarı’nın en son tasarımları ve araştırmaları, evreni keşfeden uzay araçlarını inşa eden bilim adamlarına ve mühendislere açmak için Elastic Stack’i nasıl kullandığını inceleyebilirsiniz. Aynı şekilde, robotların geri gönderdiği terabaytlarca veriyi nasıl analiz edip görselleştirdiklerini de inceleyebilirsiniz.
Aktaracağım son ürün, Elastic App Search. Web uygulamanız için bir arama motoru oluşturmak istediğinizi düşünün. Bu görev ne kadar karmaşık olacak? Elastic App Search, bu noktada hayatınızı kolaylaştırmak için devreye giriyor. Elastic App Search, kullanıcıya dönük zengin arama deneyimleri oluşturma sürecini basitleştirmek için tasarlanmış bir arama çözümüdür. Elasticsearch’ün inanılmaz gücünden yararlanır ve e-ticaret web sitelerinden SaaS uygulamalarına ve mobil uygulamalara kadar her türden yazılım uygulamalarında arama deneyimlerini güçlendirmeye odaklanır. Elastic App Search ile analitik kullanarak, ölçeklenebilir bir şekilde içerik aramayı uygulayan uygulamalar oluşturabilirsiniz.
Elastic çözümlerinin entegrasyon kolaylığından bahsetmeden olmaz. https://www.elastic.co/integrations?solution=all-solutions adresinden ne kadar çeşitli yapılarla/teknolojilerle entegre olabildiğini inceleyebilirsiniz. Uygulamalarınızdan, uç noktalarınızdan, altyapınızdan, bulutunuzdan, networkünüzden, çalışma ortamı araçlarınızdan ve ekosisteminizdeki diğer tüm ortak kaynaklardan günlükler/loglar, ölçümler, izler (“traces”), içerik ve daha fazlasını gönderebilirsiniz.
Elastic’in bizlere sağladığı çözümleri bu yazımda özetlemeye çalıştım. Gantek, Elastic ile iş ortağıdır. Ek olarak çözümler konusunda Gantek’in yerel mühendisleri de mevcuttur. Sizlerle bu çözümler hakkında konuşmayı çok isteriz. 🙂
Asiye Yiğit – 10 Mart 2021 Salı
Leave A Comment