摘要：TiDB，由 PingCAP 公司自主研发的开源分布式关系型数据库，是一款创新的 HTAP 数据库产品，它融合了在线事务处理（OLTP）和在线分析处理（OLAP）的能力，支持水平扩容和缩容，确保金融级的高可用性。TiDB 的实时 HTAP 特性使其能够同时高效
TiDB，由 PingCAP 公司自主研发的开源分布式关系型数据库，是一款创新的 HTAP 数据库产品，它融合了在线事务处理（OLTP）和在线分析处理（OLAP）的能力，支持水平扩容和缩容，确保金融级的高可用性。TiDB 的实时 HTAP 特性使其能够同时高效处理高速事务和复杂分析查询，同时，它还是一个云原生的分布式数据库，兼容 MySQL 协议和生态，为用户提供一站式的 OLTP、OLAP 和 HTAP 解决方案，非常适合对高可用性、强一致性有较高要求以及需要处理大规模数据的应用场景。
对 TiDB 进行可观测和监控是确保数据库健康、稳定运行的关键，它允许实时跟踪性能指标，及时发现并解决潜在问题，从而优化性能和资源使用。这种监控还有助于预防故障、提升可靠性、保障数据安全、支持合规性要求、增强用户体验，并为业务决策提供洞察。此外，它支持有效的容量规划、成本控制和自动化运维，使得数据库管理更加高效和经济。简而言之，可观测和监控是维护TiDB高性能、高可用性和数据一致性的基础，对于满足业务需求和保障系统稳定性至关重要。
观测云是一款专为 IT 工程师打造的全链路可观测产品，它集成了基础设施监控、应用程序性能监控和日志管理，为整个技术栈提供实时可观察性。这款产品能够帮助工程师全面了解端到端的用户体验追踪，了解应用内函数的每一次调用，以及全面监控云时代的基础设施。此外，观测云还具备快速发现系统安全风险的能力，为数字化时代提供安全保障。
DataKit 是一个开源的、跨平台的数据收集和监控工具，由观测云开发并维护。它旨在帮助用户收集、处理和分析各种数据源，如日志、指标和事件，以便进行有效的监控和故障排查。DataKit 支持多种数据输入和输出格式，可以轻松集成到现有的监控系统中。
登录观测云控制台，在「集成」 - 「DataKit」选择对应安装方式，当前采用 Linux 主机部署 DataKit。
以下采集流程，均按照 TiDB 在单机上模拟部署生产环境集群方式进行采集。TiDB 各组件（共 4 个组件）均已暴露 metrics，协议为 http。
实例个数IP配置TiKV310.0.1.1:20812 10.0.1.1:20811 10.0.1.1:20810实际生成环境会将TiKV部署在多台服务器上，端口默认20810。本测试环境TiKV部署在一台服务器上为避免端口和目录冲突指定了多个端口TiDB110.0.1.1:10080默认端口 全局目录配置PD110.0.1.1:2379默认端口 全局目录配置TiFlash110.0.1.1:8234 10.0.1.1:20292默认端口 全局目录配置1、TiDB 指标采集
复制配置文件：
cd /usr/local/datakit/conf.d/prom/cp prom.conf.sample tidb_prom.conf2、PD 指标采集
复制配置文件：
cd /usr/local/datakit/conf.d/prom/cp prom.conf.sample tidb_pd_prom.conf3、TiKV指标采集
复制配置文件：
cd /usr/local/datakit/conf.d/prom/cp prom.conf.sample tidb_tikv_prom.conf4、TiFlash 指标采集
复制配置文件：
cd /usr/local/datakit/conf.d/prom/cp prom.conf.sample tidb_tiflash_prom.conf上述配置文件中 urls、source、tidb_cluster 需要修改，其他部分按需修改。
主要参数说明：
urls：prometheus 指标地址，这里填写对应组件暴露出来的指标 urlsource：采集器别名，建议做区分interval：采集间隔measurement_prefix: 指标集前缀，方便管理分类tls_open：TLS 配置metric_types：指标类型，不填，代表采集所有指标，建议按需填写，涉及到时间线tags_ignore： 忽略不需要的 tag[inputs.prom.tags_rename.mapping]：tag 重命名，如果遇到 tag 与 filed 重名，则需要重命名 tag ，否则整个指标都无法进行采集。[inputs.prom.tags] ：设置 tag，应用于当前 metrics 的所有指标MetricDescriptionexecutor_statement_total各类型SQL语句执行次数server_handle_query_duration_secondsSQL查询处理耗时分布（P99/P95等）session_transaction_duration_seconds事务执行耗时分布tikvclient_txn_cmd_duration_secondsTiKV事务命令处理耗时（Get/Prewrite等）server_connections当前活跃数据库连接数server_execute_error_totalSQL执行错误数auto_id_qps自增ID分配速率MetricDescriptionraftstore_region_countLeader Region数量raftstore_region_count总Region数量storage_async_request_duration_seconds存储引擎请求耗时（读/写）cop_scan_keysCoprocessor扫描的Key数量engine_size_bytesRocksDB各层数据量大小snapshot_keys快照处理的Key数量MetricDescriptiontso_rolePD节点角色（Leader/Follower）cluster_status集群总存储容量cluster_status当前已用存储容量regions_statusRegion状态统计（miss/extra/offline等）hotspot_status热点Region分布（读写热点）scheduler_region_heartbeatRegion心跳上报速率client_request_handle_requests_duration_secondsPD处理客户端请求耗时（分类型统计）grpc_server_handling_secondsPD gRPC请求处理耗时schedule_operator_total调度器生成的Operator数量region_heartbeat_latency_secondsRegion心跳延迟登录观测云控制台，点击「场景」 -「新建仪表板」，输入 “TiDB”， 选择 “TiDB监控视图”，点击 “确定” 即可添加视图。
TiDB 重载最新的 Schema 信息失败的总次数。如果在 10 分钟之内重载失败次数超过 10 次，则报警。
TiDB 处理请求的延时。99% 的请求的响应时间都应在 1 秒之内，否则报警。
TiDB 访问 TiKV 发生错误时发起重试的次数。如果在 10 分钟之内重试次数多于 10 次，则报警。
如果 TiDB 中等待执行的 DDL 任务的数量大于 5，则报警。
fsync 操作延迟大于 1s，代表 etcd 写盘慢，这很容易引起 PD leader 超时或者 TSO 无法及时存盘等问题，从而导致整个集群停止服务。
集群空间占用超过 80%。
这个值偏大，表明 Follower 已经远远落后于 Leader，Raft 没法正常同步了。可能的原因是 Follower 所在的 TiKV 卡住或者挂掉了。
TiDB 作为一款高性能的分布式数据库，通过观测云平台进行统一采集和监控其关键指标，对于维护系统性能和稳定性至关重要。监控指标如缓存命中率、内存使用情况和延迟等，为我们提供了洞察数据库行为和性能的窗口。这些指标的实时追踪不仅帮助我们优化缓存策略，提高效率，还能识别性能瓶颈，预防和快速响应故障，确保系统的高可用性。
来源：麟哥爱科技
