大家好，今天为大家分享一个强大的 Python 库 – evidently
Github地址：https://github.com/evidentlyai/evidently
Evidently是一个强大的开源Python库，专为监控和分析机器学习模型的性能及数据漂移设计。它为数据科学家和机器学习工程师提供了深入洞察模型表现的工具，帮助他们优化和改进模型。
安装
要开始使用Evidently，首先需要通过pip安装它：
pip install evidently
特性
-
数据漂移检测：通过对比不同时间点的数据，Evidently能够检测和报告数据漂移情况。 -
模型性能监控：提供详细的性能指标，帮助评估机器学习模型随时间变化的表现。 -
可视化分析：生成交互式仪表板，直观展示模型性能和数据分布的变化。 -
易于集成：Evidently可以轻松集成到现有的机器学习工作流中，支持自动化分析和报告。
基本功能
数据质量分析
Evidently可以对数据集进行全面的质量分析，识别缺失值、异常值和数据分布的变化。这对于早期发现数据问题，保证数据准备阶段的质量至关重要。
import pandas as pd
from evidently import ColumnMapping
from evidently.dashboard import Dashboard
from evidently.tabs import DataQualityTab
# 加载数据集
reference_data = pd.read_csv('reference_data.csv')
current_data = pd.read_csv('current_data.csv')
# 定义列映射（可选）
column_mapping = ColumnMapping(
target='target_column', # 目标变量列
prediction='prediction_column', # 模型预测列
numerical_features=['num_feature1', 'num_feature2'], # 数值特征列
categorical_features=['cat_feature1', 'cat_feature2'], # 分类特征列
datetime_features=['date_feature'] # 日期特征列
)
# 创建数据质量报告
data_quality_dashboard = Dashboard(tabs=[DataQualityTab()])
data_quality_dashboard.calculate(reference_data, current_data, column_mapping)
# 显示报告
data_quality_dashboard.show()
在上述代码中，DataQualityTab用于生成数据质量分析的仪表板，其中column_mapping参数是可选的，用于明确指定数据中各个特征的类型和角色。
模型性能评估
Evidently能够评估机器学习模型的性能，提供关键指标如准确率、召回率、F1分数等，并支持分类和回归任务。
from evidently.dashboard import Dashboard
from evidently.tabs import ClassificationPerformanceTab
# 假设已经加载了数据和列映射
# 创建分类性能报告
classification_dashboard = Dashboard(tabs=[ClassificationPerformanceTab()])
classification_dashboard.calculate(reference_data, current_data, column_mapping)
# 显示报告
classification_dashboard.show()
此代码段创建了一个关于分类模型性能的仪表板。ClassificationPerformanceTab专门用于评估分类任务的模型表现，包括准确率、召回率等指标的计算和可视化。
数据漂移和模型漂移监测
Evidently可以监测数据漂移和模型漂移，帮助用户理解随时间变化的数据和模型表现的稳定性。
from evidently.dashboard import Dashboard
from evidently.tabs import DataDriftTab, ModelDriftTab
# 创建数据和模型漂移报告
drift_dashboard = Dashboard(tabs=[DataDriftTab(), ModelDriftTab()])
drift_dashboard.calculate(reference_data, current_data, column_mapping)
# 显示报告
drift_dashboard.show()
在这段代码中，DataDriftTab和ModelDriftTab被用来分析数据漂移和模型漂移。这有助于监测模型表现的长期稳定性，并及时发现潜在的问题。
高级功能
Evidently的高级功能允许用户进行深入的模型监控和分析，提高模型的稳定性和可靠性。
自动化监控
Evidently支持自动化监控，允许用户定期检查数据和模型性能，自动化生成报告。这种自动化流程对于生产环境中的持续监控至关重要。
首先，可以编写一个脚本，定期运行Evidently分析并保存结果：
import schedule
import time
from evidently.dashboard import Dashboard
from evidently.tabs import DataDriftTab, ModelPerformanceTab
def monitor_model_performance(reference_data, current_data, column_mapping):
# 创建一个仪表板，包含数据漂移和模型性能标签
dashboard = Dashboard(tabs=[DataDriftTab(), ModelPerformanceTab()])
dashboard.calculate(reference_data, current_data, column_mapping)
dashboard.save('monitoring_report.html')
# 设置定时任务，例如每天运行一次监控
schedule.every().day.at("10:00").do(monitor_model_performance, reference_data, current_data, column_mapping)
while True:
schedule.run_pending()
time.sleep(1)
在这个示例中，使用了schedule库来定期执行模型性能监控任务，并将结果保存为HTML报告。
集成到数据流
Evidently可以集成到现有的数据处理流程中，例如与Apache Airflow或Luigi等工作流管理工具结合，实现数据和模型监控的自动化。
集成Evidently到数据处理流程通常涉及到在数据流管理工具中创建特定的任务节点。
以下是在Apache Airflow中定义一个工作流任务的示例：
from airflow import DAG
from airflow.operators.python_operator import PythonOperator
from datetime import datetime
def evidently_monitor():
# 此处调用Evidently进行数据分析和报告生成
pass # 实际监控逻辑
# 定义Airflow DAG
dag = DAG('evidently_monitoring', start_date=datetime(2021, 1, 1))
monitor_task = PythonOperator(
task_id='evidently_monitor',
python_callable=evidently_monitor,
dag=dag
)
在这个例子中，定义了一个Airflow DAG任务，其中包含了一个调用Evidently监控功能的Python操作。
高级分析和定制
Evidently允许高级用户进行深度定制和分析，例如通过编写自定义的数据分析逻辑或者扩展现有的监控标签。
如果想要对Evidently进行更深入的定制，可以创建自定义的分析标签或者使用Evidently的底层API进行数据处理：
# 示范性代码，具体实现需要根据实际需求定制
from evidently.analyzers.base_analyzer import Analyzer
from evidently.model_profile.sections.base_profile_section import ProfileSection
class CustomAnalyzer(Analyzer):
def calculate(self, reference_data, current_data, column_mapping):
# 实现自定义的分析逻辑
pass
class CustomProfileSection(ProfileSection):
def part_id(self):
return 'custom_analysis'
def analyzers(self):
return [CustomAnalyzer()]
在上述代码中，创建了一个自定义的分析器和分析部分，可以实现特定的数据监控需求。
总结
Evidently库是一个强大的Python工具，专为监测和分析机器学习模型的性能及数据漂移设计。通过提供详细的数据分析、模型评估和自动化监控功能，Evidently帮助用户在各个阶段诊断模型表现，确保数据质量，从而提高模型的准确性和可靠性。无论是金融、电商还是医疗等领域，Evidently都能提供关键的洞察，帮助企业及时调整策略，优化模型性能。其交互式的可视化报告和易于集成的特点，使其成为数据科学家和机器学习工程师不可或缺的工具，有效地支持了数据驱动决策和模型管理。
