Talend Platformu Veri Entegrasyonunu İyileştirmek için Makine Öğrenimi Nasıl Kullanıyor?

Neredeyse her sektörde büyük veri uygulamaları ve iş zekası ile rekabet gücünü korumak, büyük miktarda veriyi gerçek zamanlı olarak işleyebilen ve analiz edebilen büyük veri hatları(pipeline) gerektirir. Microsoft Azure ve Apache Spark ile entegre makine öğrenimi çözümleri, bu sistemlerin geliştirilmesini hızlandırır ve bakımını kolaylaştırır, ancak bu makine öğrenimi çözümlerinin çoğu kendi içinde karmaşıktır.

Talend, makine öğrenimini büyük veri platformunuza sorunsuz bir şekilde entegre eden kullanıcı dostu, self servis araçlar ve teknolojilerden oluşan kapsamlı bir ekosistem sağlayarak makine öğreniminin (ML) karmaşıklığını azaltmaya yardımcı olur. Daha düşük bir beceri engeliyle (karmaşık R, Python veya Java konusunda yetkin programcılara gerek kalmadan) kuruluşlar veri içgörülerine daha hızlı ve daha düşük maliyetle ulaşır.

Kullanımı kolay, kullanıma hazır makine öğrenimi bileşenleri, veri mühendislerinin model oluşturmayı öğrenmek yerine büyük verilere ve dağıtılmış sistemi oluşturmaya odaklanabileceği anlamına gelir. Veri bilimcileri, en iyi yaptıkları şeye odaklanabilirler: modeller oluşturmak ve algoritmalar oluşturmak gibi. Gerektiğinde farklı kişilerin farklı görevleri yapmasına izin vererek verimliliği artırır ve geliştirme süresini hızlandırır.

Talend Machine Learning Kullanım Örnekleri

Makine öğrenimi bileşenleriyle birleştirilmiş Talend Büyük Veri teknolojileri, işletmelerin acil iş sorunlarını çözmek için makine öğrenimi sürecinin sonuçlarını hızlı bir şekilde dağıtmalarını sağlar. Bankalar, sigorta şirketleri, havayolları, oteller ve diğer birçok kuruluş makine öğrenimini kullanır. Hemen hemen her endüstri ve iş ihtiyacı için bir kullanım durumu vardır.

Paddy Power Betfair (PPB), dünya çapında beş milyon müşterisiyle dünyanın halka açık en büyük spor bahisleri ve oyun şirketidir. Birden fazla kaynaktan 70 TB’lık veriyi bir bulut platformuna entegre etmek için Talend Gerçek Zamanlı Büyük Veri Platformunu kullanarak, geliştirme süresini yarıya indirerek veri çevikliğini ve yanıt sürelerini önemli ölçüde artırdılar.

Kullanıma Hazır Makine Öğrenimi Bileşenleri

Talend araç seti ile makine öğrenimi bileşenleri kullanıma hazır. Bu hazır makine öğrenimi yazılımı, deneyim düzeyleri ne olursa olsun veri pratisyenlerinin, algoritmanın nasıl çalıştığını veya nasıl oluşturulduğunu bilmelerine gerek kalmadan algoritmalarla kolayca çalışmasına olanak tanır. Aynı zamanda uzmanlar bu algoritmalara istenildiği gibi ince ayar yapabilir.

Gerçek Zamanlı Büyük Veri platformunda yerleşik olarak bulunan makine öğrenimi bileşenleri, kullanıcıların elle kodlamaya gerek kalmadan analitik gerçekleştirmesine olanak tanır. Talend makine öğrenimi algoritmaları, nasıl çalıştıklarına bağlı olarak, her biri çeşitli kullanıma hazır ML bileşenleri içeren dört alanda gruplandırılmıştır:

Sınıflandırma Algoritmaları

Makine öğreniminde sınıflandırma, büyük veri kümelerinde kalıpları bulmak için kullanılan bir veri madenciliği tekniğidir. Bir gözlemin hangi kategorilere (alt-popülasyonlar) ait olduğunu belirlemek için, kategori üyeliği bilinen gözlemleri (örnekleri) içeren bir dizi eğitim verisini kullanır.

İki tür sınıflandırma algoritması vardır:

1. İkili sınıflandırma — Yalnızca iki olası sonuç vardır.
2. Çok etiketli(multi-label) sınıflandırma — Birden fazla olası sonuç vardır.

Sınıflandırma algoritmaları için kullanım örnekleri arasında spam algılama, görüntü kategorizasyonu ve müşteri duyarlılığı için metin madenciliği bulunur. Amaç, bilinen bir örnekten bir sınıf alt popülasyonunu veya etiketini tahmin etmektir.

Talend makine öğrenimi sınıflandırma bileşenleri arasında tClassify, tClassifySVM, tDecisionTreeModel, tGradientBoostedTreeModel, tLogicRegressionModel, tNaiveBayesModel, tPredict, tRandomForestModel ve tSVMModel bulunur.

Kümeleme Algoritmaları

Kümeleme analizi (kümeleme), keşifsel veri madenciliğinin birincil görevidir ve istatistiksel veri analizinde kullanılan yaygın bir tekniktir.

Örneğin, K-means kümeleme, bir tür denetimsiz öğrenmedir. Belirli bir veri kümesini belirli sayıda küme aracılığıyla sınıflandırma problemini çözmek için kullanılan en basit denetimsiz öğrenme algoritmalarından biridir. K-means için kullanım örnekleri arasında fiyatlandırma segmentasyonu, müşteri sadakatinin belirlenmesi ve sahtekarlığın tespit edilmesi yer alır.

Talend makine öğrenimi kümeleme bileşenleri arasında tKMeansModel, tPredict ve tPredictCluster bulunur.

Öneri Algoritmaları

Tavsiye sistemi olarak da adlandırılır, bir kullanıcının bir öğeye vereceği derecelendirmeyi veya tercihi tahmin etmeye çalışan bir bilgi filtreleme alt sınıfıdır.

İşbirliğine dayalı filtreleme, bir tür öneri algoritmasıdır. İşbirliğine dayalı filtreleme, kullanıcı tabanlı veya öğe tabanlı olabilir. Her iki yaklaşımın da amacı, birçok kullanıcı veya öğenin (yani işbirliği) tercihlerine dayalı olarak kullanıcıları veya öğeleri (yani filtreyi) otomatik olarak tahmin etmektir.

İki tür Talend makine öğrenimi öneri bileşeni şunlardır:

• tALSModel – Bu bileşen, kullanıcıların belirli ürünlere yönelik tercihleri hakkında önceki Spark bileşenlerinden büyük miktarda bilgi işler. İnce ayarlı bir ürün tavsiye modeli (Parquet formatı) oluşturmak ve yazmak için bu veri setleri üzerinde Alternatif En Küçük Kareler (ALS) hesaplamaları gerçekleştirir.
• tRecommend – Bu bileşen, kullanıcı tercihlerini tahmin etmek için bir öneri modeli kullanarak önceki Spark bileşenlerinden gelen verileri analiz eder. tALSModel tarafından oluşturulan kullanıcı ürün tavsiye modelini temel alır ve model tarafından bilinen kullanıcılara ürünler önerir.

Öneri sistemi algoritmaları, YouTube’un Google tarafından oluşturulan derin sinir ağları öneri motoruna benzer şekilde, büyük hacimli  verilerden tahminler yapmak için derin öğrenme teknikleriyle birleştirilebilir.

Talend makine öğrenimi öneri bileşenleri, tALSModel ve tRecommend‘i içerir.

Regresyon Algoritmaları

Regresyon testi, değişkenler arasındaki ilişkiyi tahmin etmek için istatistiksel bir süreçtir. Bir bağımlı değişken ile bir veya daha fazla bağımsız değişken veya “öngörücü” arasındaki ilişkiye odaklanır.

Örneklemek gerekirse, tModelEncoder bileşeni önceki bileşenlerinden veri alır ve daha sonra bu verilerin sütunlarını dönüştürmek için çok çeşitli özellik işleme algoritmaları uygular: word’den vektöre, karma(hashing), kovalama(bucketization), vb. Daha sonra sonucu model eğitim bileşenine gönderir – tLogisticRegressionModel veya tKMeansModel – sonunda tahmine dayalı bir model eğitmek ve oluşturmak için bunu takip eder.

Talend makine öğrenimi regresyon bileşenleri arasında tModelEncoder, tLinearRegressionModel ve tPredict bulunur.

Talend Machine Learning’i Deneyimleyin

Talend makine öğrenimi, gelişmiş ölçek ve performans için Hadoop ve Microsoft Azure üzerinde Apache Spark‘tan yararlanır. Spark, büyük veri kümelerini gerçek zamanlı olarak işlemek ve analiz etmek için Talend ML bileşenlerini kullanmanıza olanak tanır. Çok hızlı bir şekilde bir model oluşturabilir, ardından geliştirme süreci yerine iş sonucuna odaklanabilirsiniz.

Daha fazla bilgi için bizlere survey@karadanismanlik.com.tr mail adresinden ulaşabilirsiniz!

Kaynak : https://www.talend.com/resources/machine-learning-platform/