当前位置: 首页>资讯 >

Elasticsearch 日志能否把全部请求打印出来? 天天精选

来源: | 时间: 2022-12-31 23:43:12 |

1、实战问题

请问一下球主,es怎么配置可以把请求日志都打印出来。就是不管是调用借口,还是kibana查询数据,es能打印dsl的请求日志吗??求指导。怎么配置?


(资料图片仅供参考)

——问题来源:https://t.zsxq.com/09vv8rqZj

2、Elasticsearch 日志必知必会2.1 Elasticsearch 日志用途集群状态监测和故障诊断。2.2 Elasticsearch 日志缺省路径$ES_HOME/logs。如果命令行启动 ES,则日志输出信息也是命令行。2.3 Elasticsearch 日志基于组件Log4j 2https://logging.apache.org/log4j/2.x/2.4 Elasticsearch 日志配置文件log4j2.properties 。和 elasticsearch.yml 文件路径相同。2.5 Elasticsearch 日志配置内容命名规范日志随日期滚动策略(日志大小等条件设置)等。2.6 Elasticsearch 日志级别

由低到高分别为:TRACE -> DEBUG -> INFO -> WARN -> ERROR -> FATAL,如下图所示。

图片来自:spring 官网

这些大家并不陌生,日志级别越低(前提系统设置的话),打印输出的越多;日志级别越高,比如:FATAL,只是特定致命场景才会打印输出,一般遇不到。

2.7 Elasticsearch 默认日志类型调整方式

前提:支持动态更新。

方式一:支持动态更新,无需重启。

PUT/_cluster/settings{"persistent":{"logger.org.elasticsearch.discovery":"DEBUG"}}

方式二:elasticsearch.yml 配置(静态配置方式,重启后生效)。

logger.org.elasticsearch.discovery:DEBUG

方式三:log4j2.properties 配置(静态配置方式,重启后生效)

logger.discovery.name=org.elasticsearch.discoverylogger.discovery.level=debug

3、日志调到最低级别,看能否输出检索DSL?

问题来了?改成最低TRACE级别,日志能输出咱们的日期请求吗?试试看。

那怎么办?如何输出请求日志?此路已然不同,我们只能另寻他路。除了基础日志,我们还有slowlog日志。

4、Elasticsearch slowlog日志必知必会4.1 Elasticsearc slowlog 用途

见名释义,本质是:慢日志,又可以分为:慢检索日志和慢写入日志。

slowlog 用于显示:query 阶段 和 fetch 阶段的日志。

Elasticsearch 查询请求如下图所示。

图片来自 Elastic 官方博客

query阶段的核心步骤:

客户端发送请求到协调节点;协调阶段转发请求到索引的每个主或副本分片;分片本地查询完成后,将结果添加到本地的优先队列;每个分片将本地结果返回给协调节点,协调节点合并完成后,形成全局排序列表。

fetch阶段的核心步骤:

协调节点接收到客户端请求后,将 GET 请求(来自query 阶段形成的全局排序列表结果数据)-转发给相关节点。接收到请求后的节点向协调节点返回结果数据。待全部结果数据都返回后,协调节点将结果返回给客户端。4.2 Elasticsearc slowlog 设置内容含义

如下所示,拿 query 阶段举例(以实测为准):

query 请求耗时超过 500ms,打印 trace 日志。query 请求耗时超过 2s,打印 debug 日志。query 请求耗时超过 5s,打印 info 日志。query 请求耗时超过 10s,打印 warn 日志。

index.search.slowlog.threshold.query.warn:10sindex.search.slowlog.threshold.query.info:5sindex.search.slowlog.threshold.query.debug:2sindex.search.slowlog.threshold.query.trace:500ms

fetch 阶段设置如下,原理同上。

index.search.slowlog.threshold.fetch.warn:1sindex.search.slowlog.threshold.fetch.info:800msindex.search.slowlog.threshold.fetch.debug:500msindex.search.slowlog.threshold.fetch.trace:200ms

index 写入日志设置如下,原理同上。

index.indexing.slowlog.threshold.index.warn:10sindex.indexing.slowlog.threshold.index.info:5sindex.indexing.slowlog.threshold.index.debug:2sindex.indexing.slowlog.threshold.index.trace:500msindex.indexing.slowlog.source:1000

4.3 slowlog 中 source:1000 含义是?

"index.indexing.slowlog.source":"1000"

如下这个问题至少被问到三次,问题大致如下:

slowlog 日志显示不全、被截取了怎么办?

默认:记录slowlog中_source的前1000个字符。设置为 true 含义:记录整个源请求。设置为 false 或 0 含义:不记录源请求。特别说明:原始_source被重新格式化,以确保它适合于单个日志行。4.3 Elasticsearch slowlog 如何设置?

直接更新 setting 就可以,动态参数,支持动态更新。

PUT/my-index-000001/_settings{"index.search.slowlog.threshold.query.warn":"10s","index.search.slowlog.threshold.query.info":"5s","index.search.slowlog.threshold.query.debug":"2s","index.search.slowlog.threshold.query.trace":"500ms","index.search.slowlog.threshold.fetch.warn":"1s","index.search.slowlog.threshold.fetch.info":"800ms","index.search.slowlog.threshold.fetch.debug":"500ms","index.search.slowlog.threshold.fetch.trace":"200ms"}

4.3 基于slowlog 打印请求日志

slowlog 既然可以基于阈值打印输出请求日志,阈值势必可以设置很低,最低设置为0,必然能打印出全部日志了。

试试看?

如下是基于 packets-2022-12-14 进行的 index、fetch、query 的 debug 设置。

PUTpackets-2022-12-14/_settings{"index.indexing.slowlog.threshold.index.debug":"0s","index.search.slowlog.threshold.fetch.debug":"0s","index.search.slowlog.threshold.query.debug":"0s"}

设置完成后,在 kibana 控制台随意加个 query 请求。

日志存储在:elasticsearch_index_search_slowlog.json 文件下,如下图所示。

如下图标红所示,任意的请求 DSL 被打印出来。

开篇问题得以求解完成!

5、小结

Elasticearch 日志协助排查集群故障,慢日志协助排查写入、查询层面的慢写入、慢查询问题。集群规模大,可以独立采集到 Kibana 可视化展示,更为方便和快捷!

你有没有使用 Elasticsearch 日志?欢迎留言讨论。如何使用的?

参考

[1]https://www.elastic.co/guide/en/elasticsearch/reference/current/logging.html

[2]https://www.elastic.co/guide/en/elasticsearch/reference/current/index-modules-slowlog.html

推荐阅读

全网首发!从 0 到 1 Elasticsearch 8.X 通关视频

重磅 | 死磕 Elasticsearch 8.X 方法论认知清单(2022年国庆更新版)

如何系统的学习 Elasticsearch ?

更短时间更快习得更多干货!

和全球1800+Elastic 爱好者一起精进!

比同事抢先一步学习进阶干货!

关键词: 如下图所示 打印输出

 

热文推荐

Elasticsearch 日志能否把全部请求打印出来? 天天精选

1、实战问题请问一下球主,es怎么配置可以把请求日志都打印出来。就是不管是调用借口,还是kibana查询数据,es能打印dsl的请求日志吗??求指

2022-12-31

12月30日基金净值:中邮稳定收益债券A最新净值1.054,涨0.09%-精选

12月30日,中邮稳定收益债券A最新单位净值为1 054元,累计净值为1 568元,较前一交易日上涨0 09%。历史数据显示该基金近1个月下跌1 03%,近3个

2022-12-31

信阳潢川:“商转公”公积金贷款政策暖人心

为充分发挥住房公积金制度的民生服务保障作用,持续推进“放管服”改革,不断优化营商环境,切实减轻购房职工的还贷压力,住房公积金潢川管理

2022-12-30

全球观点:中注协:将对2022年上市公司财报审计和内部控制审计情况全程监控

【中注协:将对2022年上市公司财报审计和内部控制审计情况全程监控】中国注册会计师协会发布关于做好上市公司2022年年报审计工作的通知称,协

2022-12-30

中国空军地导某旅机动演练砥砺实战硬功

“阵地暴露,命令你部迅速转移!”冬日沿海某地,空军地导某旅举行空地对抗演练,某营营长李良突然接到上级机动转移命令。随着一声令下,该营

2022-12-30

中国石油:扎实做好天然气保供 保障群众温暖过冬

据中国石油新闻中心消息,12月29日,中国石油董事长戴厚良主持召开集团公司第三届董事会第三十次会议。戴厚良强调,要统筹好岁末年初各项工作

2022-12-30

每日观点:“跨年妖股”西安饮食遭大股东高位减持 回应称“属正常现象”

12月29日,西安饮食发布公告,公司控股股东西安旅游集团(以下简称西旅集团)于12月22日减持了公司0 38%股份。12月29日,西安饮食低开高走,盘中

2022-12-29

银保监会:《汽车金融公司管理办法(征求意见稿)》将汽车附加品融资列入业务范围 天天观焦点

证券时报网讯,中国银保监会有关部门负责人就《汽车金融公司管理办法(征求意见稿)》答记者问。上述负责人指出,为引导汽车金融公司聚焦主业

2022-12-29

我阳了...

对于新冠来说,看来谨慎并不顶用,我和家人基本上都是居家办公,网购也仅是买点蔬菜,自己在家做饭。所有的快递过来,先戴上口罩消毒,过一段

2022-12-29

我渴望理解200字作文初中(优选47篇)

我渴望理解200字作文初中第一篇生活中,每个人都有自己的渴望。有的人渴望长大、有的人渴望理解、有的人渴望和平……但是,我最渴望理解。星期

2022-12-29

【BT金融分析师】蔚来汽车股价出现大幅波动,分析师称其仍面临宏观逆风 全球快讯

瑞穗证券(MizuhoSecurities)的分析师VijayRakesh认为,高利率环境和飙升的能源价格将影响汽车的可承受度和接纳度,并将损害2023年的终端市场对

2022-12-29

引进人才还要用好人才 企业引才用才不当易惹纠纷 全球微速讯

阅读提示日前,江苏省无锡市中级人民法院发布了一批涉科技型企业劳动人事争议典型案例,内容涉及离职后竞业限制纠纷、科技人才的专业技术培训

2022-12-29

长沙申请硕士购房补贴要社保证明吗 最新

长沙申请硕士购房补贴要社保证明吗更新时间:2022年12月28日需要。完整硕士购房补贴材料申请条件:1、申报对象本人及家庭成员(配偶及未成年子

2022-12-28

全球热讯:大商所完成铁矿石期货国际化业务首次全市场测试

金融界网站讯3月31日和4月1日,大商所组织了期货市场监控中心、期货公司会员单位以及信息商进行了铁矿石期货引入境外交易者业务的首次全市场测

2022-12-28

时讯:魔芋面条煮多久熟透才能吃 魔芋面条要煮多长时间才熟

1、水开3-5分钟左右。魔芋面具有较强的饱腹感魔芋面,其不含淀粉,热量低,减肥期间可代替面类食品。2、用料:魔芋面1包,鸡蛋/鹌鹑蛋2个,

2022-12-28

保龄宝董秘回复:公司非公开发行 A 股股票申请已获得中国证监会发行审核委员会审核通过|焦点热议

保龄宝(002286)12月28日在投资者关系平台上答复了投资者关心的问题。投资者:董秘你好,请问贵公司大股东定向增发方案何时落地?保龄宝董秘:

2022-12-28

当前快报:承德露露: 第八届董事会2022年第三次临时会议决议公告

证券代码:000848   证券简称:承德露露      公告编号:2022-060              承德露露股份公司   本公司及董事

2022-12-27

中山春运客车网上订票平台 快看点

中山春运客车网上订票平台中山市汽车总站春运车票于2022年12月26日开始开售。中山市汽车总站2023年春运期间车票预售期调整为15天,即2023年1月7日至2

2022-12-27

Apple Pay交通卡接入和包app 已在这个城市上线 世界热点评

凤凰网科技讯(作者 贾楠董盈辰)12月27日消息,中移动?融科技有限公司于日前在和包app内推出和包全国通?卡服务,?持移动?户通过添加城市公共

2022-12-27

国投资本(600061)12月26日主力资金净卖出5971.87万元

截至2022年12月26日收盘,国投资本(600061)报收于6 27元,下跌1 72%,换手率0 5%,成交量32 0万手,成交额2 01亿元。12月26日的

2022-12-27

资讯

Elasticsearch 日志能否把全部请求打印出来? 天天精选

1、实战问题请问一下球主,es怎么配置可以把请求日志都打印出来。就是不管是调用借口,还是kibana查询数据,es能打印dsl的请求日志吗??求指

2022-12-31     
12月30日基金净值:中邮稳定收益债券A最新净值1.054,涨0.09%-精选

12月30日,中邮稳定收益债券A最新单位净值为1 054元,累计净值为1 568元,较前一交易日上涨0 09%。历史数据显示该基金近1个月下跌1 03%,近3个

2022-12-31     
信阳潢川:“商转公”公积金贷款政策暖人心

为充分发挥住房公积金制度的民生服务保障作用,持续推进“放管服”改革,不断优化营商环境,切实减轻购房职工的还贷压力,住房公积金潢川管理

2022-12-30     
全球观点:中注协:将对2022年上市公司财报审计和内部控制审计情况全程监控

【中注协:将对2022年上市公司财报审计和内部控制审计情况全程监控】中国注册会计师协会发布关于做好上市公司2022年年报审计工作的通知称,协

2022-12-30     
中国空军地导某旅机动演练砥砺实战硬功

“阵地暴露,命令你部迅速转移!”冬日沿海某地,空军地导某旅举行空地对抗演练,某营营长李良突然接到上级机动转移命令。随着一声令下,该营

2022-12-30     
中国石油:扎实做好天然气保供 保障群众温暖过冬

据中国石油新闻中心消息,12月29日,中国石油董事长戴厚良主持召开集团公司第三届董事会第三十次会议。戴厚良强调,要统筹好岁末年初各项工作

2022-12-30