摘要：随着云计算的普及，现代 IT 系统变得更加分布式、动态化和复杂化。微服务架构、容器化部署、Serverless（无服务器计算）等技术的兴起，使得传统的监控手段难以满足系统可见性的需求。为了确保系统的稳定性、性能和安全性，"可观测性"（Observability

随着云计算的普及，现代 IT 系统变得更加分布式、动态化和复杂化。微服务架构、容器化部署、Serverless（无服务器计算）等技术的兴起，使得传统的监控手段难以满足系统可见性的需求。为了确保系统的稳定性、性能和安全性，"可观测性"（Observability）成为云计算运维的重要概念。

可观测性是指通过系统暴露的数据和信号，分析系统的运行状态，并快速定位和解决问题。可观测性主要依赖三大核心支柱：日志（Logging）、指标（Metrics）和追踪（Tracing）。

1. 什么是可观测性？

可观测性源自控制理论，最初用于描述系统的内部状态是否能够通过外部数据推导出来。在云计算领域，可观测性意味着能够通过日志、指标和追踪数据，深入理解系统的行为，并迅速识别和解决问题。

一个高可观测性的系统应具备以下特点：

实时性：能够实时收集和分析数据，快速响应异常情况。

可关联性：不同数据源（日志、指标、追踪）能够互相关联，帮助定位问题。

可查询性：能够灵活查询、过滤、聚合数据，支持故障排查和分析。

2. 可观测性的三大核心支柱

2.1 日志（Logging）

日志是系统运行过程中记录的事件和状态信息，通常用于故障排查、审计和调试。日志的特点是详细、文本化、时间序列化，它记录了系统的行为历史，帮助开发人员分析和还原问题场景。

日志的类型

应用日志：记录应用程序的运行情况，例如错误信息、用户操作、请求参数等。

系统日志：记录操作系统级别的事件，例如 CPU 负载、磁盘 I/O、进程状态等。

安全日志：记录访问控制、身份验证、异常请求等信息，确保系统安全性。

日志的存储与管理

云计算环境下，日志量巨大，需要高效的存储和检索方案，例如：

集中式日志管理：使用 ELK（Elasticsearch + Logstash + Kibana）、Graylog、Splunk 进行日志存储、索引和可视化分析。

日志采集与传输：使用 Fluentd、Filebeat、Vector 等日志代理工具，实现多源日志的采集和传输。

日志生命周期管理：设置日志保留策略，避免存储成本过高，可采用 AWS S3、Google Cloud Storage 等对象存储归档旧日志。

日志的最佳实践

结构化日志：使用 JSON、Key-Value 格式记录日志，方便解析和查询。

统一日志格式：确保不同服务的日志格式一致，便于分析。

添加 Trace ID 和 Span ID：支持分布式追踪，帮助跨服务关联日志。

2.2 指标（Metrics）

指标是系统运行状态的数值化表示，通常用于实时监控、告警和趋势分析。与日志不同，指标是结构化、聚合性的，适用于衡量系统的健康状态和性能。

常见指标类型

系统级指标：CPU 使用率、内存占用、磁盘 I/O、网络流量等。

应用级指标：请求响应时间、错误率、吞吐量、数据库查询时间等。

业务级指标：用户注册量、订单交易量、库存变动等。

指标采集与存储

时间序列数据库（TSDB）：如 Prometheus、InfluxDB、Graphite，专门用于存储和查询时序数据。

云监控服务：如 AWS CloudWatch、Azure Monitor、Google Cloud Operations，可直接集成云资源监控。

服务网格（Service Mesh）指标：Istio、Envoy 代理可以自动采集微服务的流量和健康状态指标。

指标的最佳实践

监控四大黄金指标（Four Golden Signals）：延迟（Latency）、流量（Traffic）、错误（Errors）、饱和度（Saturation）。

结合日志和追踪数据，提供上下文信息，避免单独分析指标造成误判。

设置合理的告警阈值，避免过多误报和漏报。

2.3 追踪（Tracing）

追踪是分布式系统中的请求跟踪技术，主要用于分析跨多个服务的请求流转情况，帮助识别性能瓶颈和异常请求。

在微服务架构中，一个用户请求往往会经过多个服务（如 API 网关、认证服务、数据库等），单靠日志和指标很难完整还原请求链路。分布式追踪通过唯一请求 ID（Trace ID） 和 调用片段 ID（Span ID） 记录每个请求的详细执行路径，从而实现可观测性。

分布式追踪的关键概念

Trace（追踪）：记录一次完整的请求流转过程。

Span（调用片段）：表示请求链路中的某个具体调用，如某个微服务的执行时间。

Context Propagation（上下文传播）：确保 Trace ID 在整个请求链路中传递，不丢失跟踪信息。

追踪工具与实现

开源工具：Jaeger、Zipkin、OpenTelemetry。

云服务集成：AWS X-Ray、Google Cloud Trace、Azure Application Insights。

服务网格支持：Istio、Linkerd 等服务网格能够自动采集分布式追踪数据。

追踪的最佳实践

在日志中记录 Trace ID，结合日志系统实现跨服务故障排查。

采样策略（Sampling）：对高流量请求进行采样，减少存储成本。

结合可视化工具，如 Jaeger 或 Zipkin，直观查看请求链路。

3. 如何构建全面的可观测性体系？

统一数据采集：使用 OpenTelemetry 统一采集日志、指标和追踪数据，避免数据孤岛。

集中化存储与分析：搭建 ELK + Prometheus + Jaeger 组合，实现日志、指标、追踪的统一分析。

智能告警与自动化响应：结合 AIOps 技术，通过 AI 进行异常检测，触发自动化运维流程。

优化可视化仪表盘：使用 Grafana、Kibana 设计直观的监控面板，提升可观测性体验。

持续优化与演进：随着业务增长，定期调整可观测性策略，优化监控指标和日志采集方式。

可观测性是云计算和微服务架构中不可或缺的能力，日志、指标和追踪三者相辅相成，提供系统的全方位可视化。通过合理设计可观测性体系，开发和运维团队能够更快速地发现问题、优化性能，并确保系统的高可用性。

来源：乱侃