Skywalking告警功能

  |   0 评论   |   0 浏览

Skywalking告警功能是在6.x版本新增的,其核心由一组规则驱动,这些规则定义在config/alarm-settings.yml 文件中。告警规则定义分为两部分:

1、告警规则:它们定义了应该如何触发度量警报,应该考虑什么条件

2、webhook(网络钩子):定义当告警触发时,哪些服务终端需要被告知

一、告警规则

告警规则有两种类型:单独规则、复合规则

1.1、单独规则

rules:
 # 规则唯一名称,必须以'_rule'结尾.
 service_resp_time_rule:
 # 度量名称,也是OAL脚本中的度量名,目前Service, Service Instance, Endpoint的度量可以用于告警
 metrics-name: service_resp_time
 # [可选]默认,匹配此指标中的所有服务
 include-names:
 - service_a
 - service_b
 exclude-names:
 - service_c
 # 阈值,对于多种指标值的如percentile可以配置P50、P75、P90、P95、P99的阈值
 threshold: 75
 # 操作符
 op: <
 # 评估度量标准的时间长度
 period: 10
 # 度量有多少次符合告警条件后,才会触发告警
 count: 3
 # 检查多少次,告警触发后保持沉默,默认周期相同
 silence-period: 10
 # 该规则触发时,发送的通知消息
 message: Response time of service {name} is more than 50ms in 1 minutes of last 1 minutes. 

1.2、复合规则

复合规则仅适用于针对相同实体级别的告警规则

例如都是服务级别的告警规则:service_percent_rule && service_resp_time_percentile_rule 不适用于编写不同实体级别的告警规则

rules:
 service_resp_time_rule:
 metrics-name: service_resp_time
 op: ">"
 threshold: 1000
 period: 10
 count: 2
 silence-period: 10
 message: 服务【{name}】的平均响应时间在最近10分钟内有2分钟超过1秒
 service_sla_rule:
 metrics-name: service_sla
 op: "<"
 threshold: 8000
 period: 10
 count: 2
 silence-period: 10
 message: 服务【{name}】的成功率在最近10分钟内有2分钟低于80%
composite-rules:
 # 规则名称:在告警信息中显示的唯一名称,必须以_rule结尾
 comp_rule:
 # 指定如何组成规则,支持&&, ||, ()操作符
 expression: service_resp_time_rule && service_sla_rule
 message: 服务【{name}】在最近10分钟内有2分钟平均响应时间超过1秒并且成功率低于80%

告警规则配置项说明:

  • Rule name: 规则名称,也是在告警信息中显示的唯一名称。必须以’_rule’结尾,前缀可以自定义
  • metrics name:度量名称,取值为脚本中的度量名,目前只支持long、double、int类型。
  • include name:该规则作用于哪些实体名称,比如:服务名,终端名(可选,默认为全部)
  • exclude name:该规则不作用于哪些实体名称,比如:服务名,终端名(可选,默认为空)
  • op: 操作符:目前支持 > , < , = 【当然你可以自己扩展开发其他的操作符】
  • threshold:阈值/目标值:指标数据的目标数据 如sample中的1000就是服务响应时间,配合上操作符就是大于1000ms的服务响应
  • period: 告警检查周期:多久检查一次当前的指标数据是否符合告警规则
  • counts: 在一个period窗口中,如果values超过threshold值,达到counts值需要发送警报
  • silence-period:忽略相同告警信息的周期
  • message:告警信息
  • webhooks:服务告警通知服务地址

默认告警规则

  • 过去 3 分钟内服务平均响应时间超过 1 秒
  • 最后2分钟服务成功率低于80%
  • 最近 3 分钟内服务响应时间超过 1s 的百分比
  • 服务实例在过去 2 分钟内平均响应时间超过 1s,并且实例名称与正则表达式匹配
  • 过去 2 分钟内端点平均响应时间超过 1 秒
  • 过去 2 分钟内数据库访问平均响应时间超过 1 秒
  • 过去 2 分钟内端点关系平均响应时间超过 1 秒

支持的Hook类型

  • WebHook(可以简单理解位一种web层面的回调机制,通常由一些事件出发,与代码中得事件回调类似,只不过是Web层面的。由于是web层面的,所以当事件发生时,回调的不再是代码中得方法或函数,而是服务接口。例如:在告警这个场景,告警就是一个事件,当该事件发生时,Skywalking就会主动去调用一个配置好的接口,该接口就是所谓的webhook。skywalking的告警消息会通过HTTP请求进行发送,请求方法为POST,Content-Type为application/json,其JSON数据基于List进行序列化的。)
  • GRPCHook
  • SlackHook
  • WechatHook

0

  • DingtalkHook

0

  • FeishuHook
  • 测试钉钉告警

测试

由于上面配置了阈值是50ms,多点几次应用接口,到告警页面可见如下告警:

0

钉钉告警示例

修改配置:

tee /skywalking/apache-skywalking-apm-bin-es7/config/alarm-settings.yml <<-'EOF'
dingtalkHooks:
  textTemplate: |-
    {
      "msgtype": "text",
      "text": {
        "content": "Apache SkyWalking Alarm: \n %s."
      }
    }
  webhooks:
    - url: https://oapi.dingtalk.com/robot/send?access_token=xxxxx
      secret: xxxxx
EOF

如下:

0

钉钉告警效果:

0

webhook,编写回调接口

Skywalking通过HttpClient的方式远程调用在配置项webhooks中定义的告警通知服务地址:

0

了解了SW所传送的数据格式我们就可以对告警信息进行接收处理,实现我们需要的告警通知服务啦!我们将一个服务停掉,并将另外一个服务的某个对外暴露的接口让他休眠一定的时间。然后调用一定的次数观察服务的状态信息以及告警情况。

0

打开源码&Live-Demo工程

修改oap-server/server-bootstrap/src/main/resources/alarm-settings.yml文件覆盖如下配置(最近1分钟内,应用平均响应时间超过50ms次数达到1次)

rules:
 service_resp_time_rule:
 metrics-name: service_resp_time
 threshold: 50
 op: ">"
 period: 1
 count: 1
 message: Response time of service {name} is more than 50ms in 1 minutes of last 1 minutes.
 
dingtalkHooks:
 textTemplate: |-
 {
 "msgtype": "text",
 "text": {
 "content": "Apache SkyWalking Alarm: \n %s."
 }
 }
 webhooks:
 - url: https://oapi.dingtalk.com/robot/send?access_token=xxx
 secret: xxx 

0

启动OAP服务

org.apache.skywalking.oap.server.starter.OAPServerStartUp

启动UI服务

org.apache.skywalking.apm.webapp.ApplicationStartUp

启动Eureka test.skywalking.springcloud.test.eureka.service.EurekaService_Main

启动ProjectB

test.skywalking.springcloud.test.projectb.ProjectB_Main

执行 curl http://localhost:8762/projectB/test

等待1min中后,访问Skywalking UI界面中的告警界面可以看到对应的告警信息

0

同时,钉钉群中也可以看到推送的消息

0

原文:https://blog.csdn.net/wb4927598/article/details/119192445


标题:Skywalking告警功能
作者:michael
地址:https://blog.junxworks.cn/articles/2024/01/02/1704174237005.html