NannyML è una libreria open source in Python progettata per il monitoraggio dei modelli di machine learning dopo il deployment, in particolare quando le etichette reali (ground truth) non sono immediatamente disponibili. È pensata per data scientist, ingegneri ML e team MLOps che devono rilevare guasti silenziosi, drift nei dati e controllare le prestazioni del modello in produzione.

A differenza degli strumenti tradizionali, NannyML consente di stimare le metriche di performance senza disporre di etichette, utilizzando tecniche statistiche avanzate. È particolarmente utile in contesti come credito, frodi o raccomandazioni, dove i risultati reali arrivano con ritardo.

Vantaggi principali:

• Stima delle prestazioni senza etichette reali

• Rilevamento del data drift e variazioni nell’importanza delle feature

• Report visivi utili per analisi e diagnostica

Quali sono le funzionalità principali di NannyML?

Stima delle prestazioni senza ground truth

Monitora l’efficacia del modello anche senza conoscere i risultati reali:

• Utilizza metodi come CBPE (Confidence-Based Performance Estimation) e DLE (Direct Loss Estimation)

• Stima metriche di classificazione e regressione (accuracy, precision, recall, ecc.)

• Rileva cali improvvisi di prestazione

• Utile in contesti con feedback ritardato

Rilevamento del data drift

Controlla se le distribuzioni delle variabili di input cambiano nel tempo:

• Analisi a livello di feature e dell’intero dataset

• Usa metriche come divergenza di Jensen-Shannon, PSI, distanza di Wasserstein

• Evidenzia le feature più colpite

• Aiuta a decidere se è necessario un retraining

Confronto tra performance stimate e reali

Quando le etichette diventano disponibili, confronta prestazioni previste e osservate:

• Verifica l’attendibilità delle stime

• Allinea le curve di performance stimata vs. reale

• Migliora la strategia di monitoraggio nel tempo

Analisi dell’importanza delle feature e qualità dei dati

Fornisce spiegazioni su variazioni nel comportamento del modello:

• Misura cambiamenti nell’importanza delle feature

• Rileva dati mancanti, corrotti o anomali

• Aiuta a identificare cause di errore nelle predizioni

Report e visualizzazioni interattive

Genera strumenti visivi per il monitoraggio e l’analisi temporale:

• Integrabile in notebook Jupyter, esportabile in HTML, o visualizzabile come dashboard

• Ideale per workflow MLOps o analisi periodica

• Supporta una comunicazione chiara dei problemi tecnici

Perché scegliere NannyML?

• Monitora anche senza etichette: fondamentale in ambienti con feedback ritardato

• Tecniche statistiche avanzate: migliori rispetto al monitoraggio tradizionale

• Open source e indipendente dal framework

• Visualizzazioni dettagliate e diagnostica chiara

• Ottimizzato per la produzione: pensato per l’uso in contesti reali