Risoluzione di entità interpretabili con CatBoost e SHAP

Nel mondo odierno basato sui dati, collegare set di dati disparati e identificare record duplicati è fondamentale, ma gli algoritmi di corrispondenza della scatola nera possono lasciarti indovinare perché i record sono stati uniti. Imparerai come preparare coppie di record, progettare caratteristiche di somiglianza, addestrare un potente classificatore CatBoost e applicare SHAP (SHapley Additive exPlanations) per spiegare esattamente perché i record corrispondono o non corrispondano. Cosa imparerai: - Comprendere i concetti fondamentali di risoluzione delle entità, collegamento dei record e deduplica dei dati. - Progetta robuste funzionalità di somiglianza utilizzando metriche di distanza del testo e moderne tecniche di preelaborazione dei dati. - Allena un modello di classificazione CatBoost ottimizzato per identificare coppie di record corrispondenti e non corrispondente. - Applicare i valori SHAP per spiegare le singole decisioni di corrispondenza e le previsioni del modello di debug. - Valuta le prestazioni del modello di corrispondenza utilizzando metriche chiave come precisione, richiamo e punteggio F1. - Implementare le migliori pratiche per mantenere l'interpretabilità e la trasparenza del modello nelle pipeline di dati di produzione. Il corso inizia con la terminologia essenziale e i fondamenti del data matching prima di guidarti attraverso l'ingegneria delle funzionalità, l'addestramento dei modelli e le tecniche di interpretabilità attraverso chiare spiegazioni scritte e snippet di codice. È progettato per gli analisti di dati, i data scientist e gli ingegneri software principianti che desiderano padroneggiare il matching dei record senza bisogno di esperienza precedente in framework di risoluzione delle entità complessi.