Langsmith引入了实时警报，以增强LLM监控

langsmith引入了实时警报，以增强LLM监控

iris Coleman 2025年4月22日，2025年4月22日，10:26

langchain langsmith平台现在都会提供更多的langsmith Platforts，以更大的效率为eNSER ENSERTICS，以更大的效率为lang效率效果，以启用ll ll ll ll ll llm

Langchain的经验通过其Langsmith平台推出了一项新功能，旨在增强对大语模型（LLM）应用程序和代理商的监视。根据Langchain的说法，该计划旨在通过识别和解决生产失败在影响最终用户之前的生产失败。使用Langsmith Alerts进行监视

新引入的Langmith警报使开发人员可以根据关键指标设置通知，例如错误率，运行延迟和反馈分数。此功能对于已经将生产痕迹发送到Langsmith的应用程序特别有益，使它们能够配置适合其特定需求的警报。

这些警报对于维持LLM驱动的应用程序的性能至关重要，这通常取决于API和数据库等多个外部服务。这些服务中的任何中断都可能导致用户体验大幅退化。通过采用主动监控，开发人员可以迅速识别和减轻这些问题。

确保质量和正确性

langsmith警报不仅关注速度，而且还强调了LLM输出的质量。 LLMS的不可预测性质意味着，即使提示或输入的微小变化也会导致意外的结果。基于feedba的警报CK分数是从用户输入或在线评估中得出的，作为潜在质量问题的预警系统。

详细的警报配置

langsmith支持对几个关键指标的警报，包括错误计数和费率，速率，平均延迟和平均反馈分数。开发人员可以将一系列过滤器应用于针对运行的特定子集，例如通过模型或工具调用过滤。 Aggregation windows of 5 or 15 minutes can be set, along with thresholds to adjust alert sensitivity.

Integration with existing workflows is streamlined through support for alerts via PagerDuty or custom webhooks, facilitating direct notifications to platforms like Slack.

Future Developments

LangChain plans to expand the alerting capabilities of LangSmith by引入新的警报类型，例如运行计数和LLM令牌使用情况，并根据相对值更改触发这些警报。警报的自定义时间窗口也在开发路线图上。

费用通过Langchain Slack社区鼓励Dback和功能请求，邀请用户为Langsmith的监视功能的持续增强做出贡献。

图像来源：Shutterstock