Evidently AI

Evidently AI是一个开源的Python库，用于创建交互式可视化报告、仪表板和JSON配置文件，有助于在验证和预测期间分析机器学习模型。它可以创建6种不同类型的报告，这些报告与数据漂移、分类或回归的模型性能等有关。[3]

Evidently AI的主要功能包括：

• 模型质量评估：评估机器学习模型的质量，并超越总体性能，发现其失败的位置。
• 数据漂移：运行统计测试以比较输入特征分布，并可视化探索漂移。
• 目标漂移：了解模型预测和目标行为随时间变化的情况。
• 数据质量：获取数据健康状况的快照，并深入探索特征行为和统计属性。
• 作为仪表板：在笔记本中生成交互式报告或将其导出为HTML文件。用于视觉评估、调试和与团队共享。
• 作为流程的一部分：将数据和模型检查作为流程的一部分运行。与Mlflow或Airflow等工具集成，以安排测试并记录结果。
• 作为监视服务：从部署的ML服务中收集模型质量指标。目前通过与Prometheus和Grafana的集成进行工作。[0][3]

Evidently AI采用模块化方法，具有3个接口，共享度量功能，可帮助评估、测试和监视从验证到生产的机器学习模型的性能。它适用于表格和文本数据。[1]