Şimdiye kadarki en güçlü yönetişim çözümümüz

Tek bir kontrol noktasında bulunan güvenilir veriyi keşfetmek, düzenlemek ve paylaşmak için tasarlanmış veri yönetişimi çözümü Talend Data Catalog’un 8. Versiyonunun genel kullanıma sunulduğunu duyurmaktan heyecan duyuyoruz!

Talend Data Catalog platformu,  güçlü bir meta veri yönetimi ve veri kataloglama yetenekleri temeli üzerine kurulmuştur.  En yeni sürümümüz ise gelişmiş veri yönetişimi için aşağıdaki yeni özelliklerle artık sizlerle buluşmaya hazır.

Talend Data Catalog’un bu yeni sürümü, veri uyumluluğunu proaktif olarak daha fazla kontrolle yönetmenize, makine öğrenimi gibi akıllı hizmetleri kullanarak daha akıllı ve daha hızlı çalışmanıza ve veri modelleri, kullanıcı rolleri ve daha fazlasında daha fazla esneklikle özel iş ihtiyaçlarınızı daha kolay karşılamanıza olanak tanır.

Öne çıkan özelliklerden bazılarını maddelemek gerekirse:

• Özel business meta-modellemesi
• Kurumsal metadatalara güvenli API erişimi
• Uzaktan katalog mimarisi ve heartbeat izleme
• Metadataların tam sürüm kontrolü
• 287’den fazla kurumsal veri deposu bağlantı seçeneği ile pazar lideri
• Yeni metadata sorgulama özellikleri aracılığıyla gelişmiş veri alışverişi seçenekleri

Tüm yenilikleri detaylarıyla yazının devamında bulabilirsiniz.

Talend Data Catalog hakkında aklınızda oluşan sorularınız için bizlere her zaman survey@karadanismanlik.com.tr adresinden ulaşabilirsiniz!

---

Yazının devamında bahsettiğimiz başlıklar aşağıdaki gibi, tıklayarak hızlıca inceleyebilirsiniz:

• Tablo
• Yeni metamodel yönetimi
• Yeni özel business modeler
• İçe aktarılan Teknik modellerin yeni uzantıları
• Global ve nesne rolleriyle yeni rol tabanlı erişim denetimi
• Yeni veri sınıflandırması
• Yeni hassasiyet etiketleri
• Yeni koşullu etiketler
• Yeni etiket yönetimi
• Yeni nesne izleyici ve e-posta bildirimleri
• Yeni güncelleme tarihi sıralama özelliği
• REST API özelliklerinin iyileştirilmesi
• Üçüncü taraf ve açık kaynaklı yazılım
• Cloud secret managers için yeni yetenek
• Yeni worksheet özellikleri

---

Tablo

özellik	açıklama
Data flow lineage diagram: modeller arasındaki bağımlılıkları gösteren	Metadata Yönetimi’nde içerik/model bağımlılıkları kökeni için destek eklendi.
Küresel rolleri yönetme: performans sorunu	Liste performansını iyileştirmek için Global Rolleri Yönet kılavuzundaki kullanıcı/grup listesini bir sayıyla değiştirdi.
Third party yazılımı: Apache Log4j	Eski log4j 1.2.17’ye veri kalitesi bağımlılığı kaldırıldı.
Model / Diyagramlar / Erwin DM içe aktarma: varlık üzerindeki nitelik seviyesini göstermek/gizlemek için değiştirilebilir diyagram desteği	Varlıkta attribute düzeyini göstermek/gizlemek için değiştirilebilir diyagram desteği eklendi. Metadata Yönetimi’nde içe aktarılan diyagramlardan görüntü düzeyi menüleri kaldırıldı.
REST API: yeni fonksiyon	Yeni fonsiyon: GET/repository/getIdFromStableId eklendi.
Güvenlik açığı: Apache Tomcat	Yeni fonsiyon: Apache Tomcat, çeşitli hata düzeltmelerini, iyileştirmeleri ve daha da önemlisi CVE-2020-9484 gibi yeni güvenlik açıklarını ele alan 9.0.58’e yükseltildi: https://tomcat.apache.org/security-9.html 9.0.58’deki değişikliklerin tam listesi için lütfen değişiklik günlüklerine (ara sürümlerin) bakın: https://tomcat.apache.org/tomcat-9.0-doc/changelog.html Bu güvenlik geliştirmeleri, yalnızca TDC-8-20220214 veya sonraki sürümlerdeki kurulum yapılarında mevcuttur. Bu iyileştirmeler kümülatif yamalarda mevcut değildir.GET/repository/getIdFromStableId eklendi.
Dashboard’da yeni tool tip: Attribute Statistic widget’ında yeni özellikler	Null values seçeneği, bu bağlamda geçerli olmadığı için attribute statistic öğesinden kaldırıldı. Unassigned values seçeneğinin çalışmaması sorunu düzeltildi.
Grupları yönetin: oturum çerezinin kalıcı olmasını önlemek için yeni seçenek	Kimlik doğrulama tanımlama bilgisi ömrünü tarayıcı oturumu süresince korumak için Oturum Tanımlama Bilgilerini Kullan adlı yeni bir seçenek eklendi.
Data Flow Lineage: çift yönlü grafik desteği	Veri Akışı sekmesinde yeni Full Data Lineage modu eklendi.
Object explorer: gezinme ağacı konumu/kapsam sabitleme desteği	Yeni bir gezinme ağacı sabitleme özelliği eklendi.
Deployment: object role widget ve preferences için özelleştirmeler	Varsayılan olarak hangi rollerin görüntüleneceğini özelleştirmeye izin vermek için sorumluluklar widget’ı iyileştirildi ve widget’ın kullanıcı arabirimi değiştirildi.

---

Yeni metamodel yönetimi

Yeni metamodel yönetimi özelliğiyle, referans veriler, veri kalitesi, veri güvenliği, veri sorunu yönetimi, iş kuralları ve ilkeleri, iş süreci modelleme ve iyileştirmeler veya mevzuat uyumluluğu gibi veri yönetimi için özel modeller tanımlayabilir ve içe aktarılan modelleri genişletebilirsiniz.

Metamodel oluşturma özelliği, “Manage Metamodel” sayfasında mevcuttur.

---

Yeni özel business modeler

Referans verileri, iş politikası ve kural yönetimi veya veri sorunu yönetimi ile ilgili modeller gibi özel modeller tanımlamak için yeni metamodel yeteneğini kullanabilirsiniz. 

Özel modeller, “Manage Metamodel” sayfasında tanımlanan özel bir model türünün örneklemeleridir. Talend Data Catalog, bu özel modeller için bir nesne modelleme yeteneği ve UML sınıf diyagramlarının grafiksel düzenleme yeteneği sağlar.

Talend Data Catalog ayrıca standart ve sistem iş modelleri ve model uzantıları sağlar. Standart paket artık yeni KPI ve Kısaltma nesnelerine sahip Sözlük modelini içermektedir.

Tanımlandıktan sonra, veri girişi, analiz ve çalışma sayfaları ve panolar kullanılarak raporlama dahil olmak üzere, özel modellerde içe aktarılan modeller için mevcut olan aynı özellikleri kullanabilirsiniz.

• Modelleri hiyerarşik olarak keşfetmek ve veri girişi ile raporlamayı kolaylaştırmak için nesne ayrıntıları sayfasındaki yeni Hiyerarşiler sekmesini kullanabilirsiniz.

• Worklflow sekmesinden nesne sınıflarında yapılan değişiklikleri kontrol etmek için özel modellerde iş akışı ve yayın süreçlerini etkinleştirebilir ve özelleştirebilirsiniz.

• Meta model paketlerini kullanarak harici toplu düzenleme ve raporlama için meta modelin alt kümelerini içe veya dışa aktarabilirsiniz. Veri sorunu yönetimiyle ilgili bir model için JIRA gibi özel modellerin arkasındaki araçlar veya uygulamalarla üçüncü taraf uzantı paketleri geliştirmenize ve tedarik etmenize ve gerçek bağlayıcıları tanımlamanıza olanak tanır. Bu özellik “Manage Metamodel” sayfasından kullanılabilir.

---

İçe aktarılan Teknik modellerin yeni uzantıları

İçe aktarılan modellerin veri belgelerini genişletmek için yeni metamodel özelliğini kullanabilirsiniz.

İçe aktarılan modeller, bir içe aktarma köprüsüyle ilişkilendirilen ve harvest (metadata toplama) süreci boyunca doldurulan modellerdir.

Yeni içe aktarılan nesne türlerini Manage Metamodel” sayfasından tanımlayabilirsiniz.

• Benzer profil nesnelerini içe aktarılan nesne türleri koleksiyonlarında gruplamanıza ve aynı anda bu koleksiyonlara özel nitelikler uygulamanıza olanak tanır.

• Hem içe aktarılan hem de özel nesneler için özel öznitelikleri tanımlayabilir, uygulayabilir ve yeniden kullanabilirsiniz. Benzer içe aktarılan nesnelere uygulanan her özel özniteliğin kapsamını artık yeniden tanımlamanız gerekmez.
• Örneğin veri varlıklarınızda iş kurallarını ve politikaları uygulamak için özel nesnelerden içe aktarılan nesnelere özel ilişkiler tanımlayabilirsiniz.

Anlamsal akışa dahil olacak şekilde özel ilişkiler de ayarlanabilir. Örneğin, Semantic Flow sekmesinde bir tablo sütununun terim tanımını ve ilişkili iş kurallarını görebilirsiniz.

• Terim belgeleme sürecini uygulamak için yeni “Is Defined By” ilişkisi tanımlayabilirsiniz. Bulut geçişinden sonra veri belgelerini yeni bir uygulamaya yeniden aktarmak gibi, süreçleri teknoloji ve mimarilerdeki sürekli değişikliklere uyarlamanıza yardımcı olur.

---

Global ve nesne rolleriyle yeni rol tabanlı erişim denetimi

Talend Data Catalog artık yeni bir rol tabanlı erişim denetimi sağlıyor.

• Global roller, kullanıcıların tüm katalog varlıklarında sahip olduğu global sorumlulukları belirler. Bu rolleri yeni “Manage Global Roles“ sayfasından yönetirsiniz.

• Nesne rolleri, kullanıcıların sözlükler veya modeller gibi belirli katalog varlıkları üzerindeki sorumluluklarını belirler. Bu rolleri yeni “Manage Object Roles” sayfasından yönetirsiniz.

• Konfigürasyon veya havuz yöneticisindeki yeni Responsibilities sekmesinden veya object details sayfasından nesnelere nesne rolleri atarsınız.

• Global ve nesne rolleri, yönetim veya düzenleme yetenekleri gibi katalogda gerçekleştirebileceğiniz eylemleri tanımlayan bir dizi önceden tanımlanmış yetenek sağlar.

  Önceden tanımlanmış global ve nesne rolleri, kuruluşunuzun özel ihtiyaçlarını karşılamak için kullanılabilir ve özelleştirilebilir. Önceden tanımlanmış roller artık sabit kodlu değildir.

  Önceden tanımlanmış global ve nesne rollerini özelleştirebilir ve yetenek atamasını değiştirebilirsiniz. Ayrıca sıfırdan veya mevcut rollere dayalı olarak yeni roller oluşturabilirsiniz.

• Kullanıcıları veya kullanıcı grubunu nesne veya global rollerle ilişkilendirdiğinizde, bu ilişkilendirmeye “responsibility” adı verilir.

---

Yeni veri sınıflandırması

Veri sınıflandırması, kataloğunuza aktarılan veri kaynaklarında bulunan öğelerin doğasını ve amacını saptamanıza, anlamanıza ve sınıflandırmanıza yardımcı olur. Veri sınıfları artık anlamsal türlerin yerini alıyor. Veri sınıflarını yeni “Manage Data Classes “ sayfasından yönetirsiniz.

Birkaç tür veri sınıfı vardır:

• Veri türü iyileştirildi. Böylece numaralandırmalara, kalıplara ve düzenli ifadelere dayalı veri örnekleme ve profil oluşturma özelliğini kullanarak verilerin doğasını algılamanıza yardımcı olur.

Artık yeni eşleştirme eşiğini ve benzersizlik eşiği özelliklerini kullanarak eşleştirme kuralları belirleyebilirsiniz.

Artık yeni kod değerlerinin otomatik olarak öğrenilmesi gibi veri kalıpları veya numaralandırmalar için makine öğrenimine dayalı yeni otomatik semantik keşfini kullanabilirsiniz. Bu süreç, Talend Data Catalog tarafından yapılan otomatik etiketleme önerilerini iyileştirir.

Artık, veri sınıfları ekledikten veya güncelledikten sonra, isteğe bağlı olarak sunucu tarafında yeniden sınıflandırma özelliğini kullanabilirsiniz. Değişiklikleri yaymak için artık veri örnekleme ve profil oluşturma işlemini oluşturmanız gerekmez.

• Yeni Metadata türü, sınıfları meta veri özniteliklerine göre algılar. Veri örnekleme ve profil oluşturma işlemi ile tanımlanamayan hassas verileri tespit etmenize yardımcı olur. Bu özellik, Metadata Query Language tarafından desteklenmektedir.

• Bileşik türü geliştirildi ve birden çok veri sınıfına dayanıyor.

Talend Data Catalog, hassas verileri kolayca tanımlamanıza ve gizlemenize yardımcı olmak için Data, Metadata ve Compound türünde yeni “hassas veri” veri sınıfları sağlar.

---

Yeni hassasiyet etiketleri

Yeni hassasiyet etiketleri, hassas verileri tanımlamanıza olanak tanır.

Nesne ayrıntıları sayfalarının sağ üst tarafında yeni bir “Sensitivity Label” simgesi görebilirsiniz.

Bu etiketleri yeni “Manage Sensitivity Labels” sayfasından yönetebilir ve özelleştirebilirsiniz.

Bu etiketleri, her bir nesneyi manuel olarak etiketleyerek, çalışma sayfalarındaki toplu düzenleme özelliğini kullanarak, otomatik veri sınıflandırma algılamasını kullanarak veya çıkarsanan hassasiyet etiketlerini kullanarak uygulayabilirsiniz.

---

Yeni koşullu etiketler

Beşten fazla yorumu olan nesnelere dayalı “Highly Commented” etiketi gibi Metadata Query Language(MQL)  ‘ne dayalı yeni koşullu etiketler tanımlayabilirsiniz.

Bu etiketleri yeni “Manage Conditional Labels” sayfasından yönetebilir ve oluşturabilirsiniz.

Koşullu etiketleri, nesne ayrıntıları sayfalarının genel bakış sekmesinden “Conditional Labels” alanında görebilirsiniz.

Koşullu etiketler, arama sonuçlarında, çalışma sayfalarında veya veri akışı köken şemalarında görüntülenebilir.

---

Yeni etiket yönetimi

Artık yeni “Manage Labels” sayfasından etiket atamalarını inceleyebilir veya silebilirsiniz.

Varsayılan olarak, “All Labels” görünümünden depodaki tüm etiketleri görürsünüz. Ayrıca, mevcut konfigürasyondaki nesnelere atanan etiketleri “Configuration Labels” görünümünden de görebilirsiniz.

---

Yeni nesne izleyici ve e-posta bildirimleri

Yeni izleyici(watcher) bildirimleri, bir nesneyle ilgili belirli olaylar meydana geldiğinde izleyicileri bu nesne hakkında bilgilendirmenize olanak tanır.

“Manage Email” sayfasından sunucu tarafında izleyiciler için e-posta bildirimlerini etkinleştirirsiniz.

“Manage Object Roles” sayfasından nesne rolleri aracılığıyla izleyici düzenleme ve yönetim özelliklerini ayarlarsınız.

İzleyiciler için bildirim sıklığını “Manage Users” sayfasından veya “User Profile” arayüzü’nden ayarlarsınız.

Nesne ayrıntıları sayfalarının sağ üst tarafında yeni bir İzleyici simgesi görebilirsiniz. Menü, bir nesneyi izlemeye başlamanıza veya durdurmanıza, izleyicilerin sayısını görmenize veya bir nesnedeki izleyicileri yönetmenize olanak tanır.

Bu özellik, içe alınan ve özel modeller için mevcuttur. Yalnızca model düzeyinde veya çoklu modellerde ise alt model düzeyinde kullanılabilir.

• Teknik bir modelin izleyicisiyseniz, bir içe aktarma veya yeni bir sertifika gibi herhangi bir değişiklikten sonra değişiklikler olursa, modele ve faaliyet türüne göre bir e-posta alırsınız.
• Bir iş modeli, veri veya semantik haritalama veya fiziksel veri modeli izleyicisiyseniz, herhangi bir düzeydeki herhangi bir değişiklikle ilgili model başına bir e-posta alırsınız.

Değişiklik özeti istatistiklerini içeren bir e-posta ve bir model versiyonu karşılaştırma raporuna bağlantı alabilirsiniz.

İş akışı geçişleri, yapılandırma değişiklikleri veya sunucu hataları için rol ve yetenek atamalarınıza bağlı olarak bildirim e-postaları da alabilirsiniz.

---

Yeni Güncelleme Tarihi sıralama özelliği

Artık nesne gezgininde, çalışma sayfalarında veya aramalarınızda sonuçları Güncelleme Tarihine göre sıralayabilirsiniz.

---

REST API özelliklerinin iyileştirilmesi

Yeni özellikler REST API’de mevcuttur:

• MQL Sorgu işlevleri için yeni “scope” parametresi
• Depodaki metamodel paketleri için yeni içe ve dışa aktarma özellikleri
• Depodaki içe aktarılan ve özel modeller için yeni içe ve dışa aktarma özellikleri
• Roller’de global ve nesne rollerini yönetmek için yeni özellikler
• Veri sınıflarını yönetmek ve anlamsal türleri değiştirmek için yeni Veri Sınıfları grubu
• Hassasiyet etiketlerini kullanmak için yeni Duyarlılık Etiketleri grubu

Daha fazla bilgi için Talend Data Catalog REST API dokümantasyonundan ulaşabilirsiniz.

---

Üçüncü taraf ve açık kaynaklı yazılım

Tüm üçüncü taraf ve açık kaynaklı yazılımlar, daha iyi güvenlik ve güvenlik açığı koruması için en son sürümlerine yükseltildi.

---

Kimlik bilgilerini bulut gizli yöneticilerinde depolamak için yeni yetenek

Talend Data Catalog artık aşağıdaki bulut gizli yöneticilerini(cloud secret managers) desteklemektedir:

• Amazon AWS Secrets Manager
• Microsoft Azure Key Vault
• Google Secret Manager

---

Yeni worksheet özellikleri

Kullanılmayan nesneleri algılamak için yeni köken özellikleri mevcuttur. Bu özellikler ayrıca filtre olarak da kullanılabilir.

Has Semantic Usage, Has Semantic Definition, Has Data Lineage , Has Data Impact

Aşağıdakiler dahil olmak üzere yeni veri sınıflandırma özellikleri mevcuttur:

Data Classifications, Data Classification Matched, Data Classification Rejected , Data Classification Approved

Aşağıdakiler dahil olmak üzere yeni veri dokümantasyon özellikleri mevcuttur:

• Term Documentation nesneyi belgeleyen terimlerin (ad ve açıklama) listesini gösterir.
• Mapped Documentation nesneyi belgeleyen anlamsal olarak eşlenmiş nesnelerin listesini gösterir.
• Inferred Documentation lineage/impact i aracılığıyla nesneleri dolaylı olarak belgeleyen terimlerin listesini gösterir.
• Documentation nesnenin özetlenmiş belgelerini gösterir. 

Özetlenen belgeler, aşağıdaki önceliğe göre nesnede bulunan ilk belgeleri döndürür. Business Documentation > Term Documentation > Mapped Documentation > Inferred Documentation > Imported (Documentation) > Searched (Documentation).

Aşağıdakiler dahil olmak üzere yeni veri profili oluşturma özellikleri mevcuttur:

Data Profiling, Distinct, Duplicate, Empty, Valid, Invalid, Min, Max, Mean , Variance, Median , Lower Quantile, Upper Quantile, Avg Length, Min Length, Max Length , Inferred Data Types.