Spark, Kafka ve Cassandra ile Gerçek Zamanlı Dolandırıcılık Tespiti

Finans kurumları her yıl dolandırıcılık işlemlerinden milyarlarca dolar kaybediyor ve bu da gerçek zamanlı tespiti çağdaş veri mühendisleri için kritik bir beceri haline getiriyor.Bu sistemleri inşa etmek için veri akışı, makine öğrenimi ve güçlü veritabanı depolamasının kesintisiz bir karışımı gerekiyor. Bu derste, tam işlevli gerçek zamanlı kredi kartı dolandırıcılığı tespit boru hattını nasıl tasarlayıp uygulayacağınızı öğreneceksiniz. Yüksek hızda verileri yönetmek için çekirdek akışı kavramlarını anlamaktan dağıtılmış sistemleri yapılandırmaya ve bağlamaya geçeceksiniz Ne öğreneceksin: - Gerçek zamanlı dolandırıcılık tespit sistemlerinin ve veri akışı akışlarının temel mimarisini anlamak. - Spark Structured Streaming ve Kafka kullanarak yüksek verimlilik işlem akışları al ve işle. - Spark ML boru hatları ve Random Forest algoritmalarını kullanarak sınıflandırma için makine öğrenimi modelleri oluşturun ve eğitin. - Cassandra veritabanı entegrasyonunu kullanarak işlenmiş işlem verilerini verimli bir şekilde depolayın ve sorgulayın. - Airflow kullanarak veri iş akışlarını düzenleyin ve otomatikleştirin güvenilir, planlanmış yürütmeyi sağlamak için. - Tam bir kez işleme anlamlarını elde etmek için modern ofset yönetim tekniklerini uygulayın. Serüven, akış mimarileri, Kafka konuları ve Spark ortamlarının temel kavramlarıyla başlar.Daha sonra veri öncesi işleme, model eğitimi, veritabanı depolama ve iş akışının orkestrasyonunu uygulamak için adım adım yazılı açıklamalar yoluyla ilerleyeceksiniz. Bu kurs, gerçek zamanlı veri işleme öğrenmek isteyen umut vadeden veri mühendisi, yazılım geliştiricileri ve veritabanı uzmanları için tasarlanmıştır. Spark veya Kafka ile önceden deneyime gerek yoktur, çünkü mutlak temellerle başlıyoruz. İlk üretim hazır akış boru hattı inşa etmek için bugün okumaya başlayın.