Node框架如何高效接入ELK实现日志管理？

本文共计3235个文字，预计阅读时间需要13分钟。

我们都有过使用机器查询日历的经历，当群组人数增多时，这种原始的操作效率低下，不仅让我们定位现网问题带来极大挑战，同时，我们也难以对服务框架的各项指标进行有效监控。

我们都有过上机器查日志的经历，当集群数量增多的时候，这种原始的操作带来的低效率不仅给我们定位现网问题带来极大的挑战，同时，我们也无法对我们服务框架的各项指标进行有效的量化诊断，更无从谈有针对性的优化和改进。这个时候，构建具备信息查找，服务诊断，数据分析等功能的实时日志监控系统尤为重要。

ELK （ELK Stack: ElasticSearch, LogStash, Kibana, Beats） 是一套成熟的日志解决方案，其开源及高性能在各大公司广泛使用。而我们业务所使用的服务框架，如何接入 ELK 系统呢？

业务背景

我们的业务框架背景：

• 业务框架是基于 NodeJs 的 WebServer
• 服务使用 winston 日志模块将日志本地化
• 服务产生的日志存储在各自机器的磁盘上
• 服务部署在不同地域多台机器

我们将整个框架接入 ELK 简单归纳为下面几个步骤：

• 日志结构设计：由传统的纯文本日志改成结构化对象并输出为 JSON.
• 日志采集：在框架请求生命周期的一些关键节点输出日志
• ES 索引模版定义：建立 JSON 到 ES 实际存储的映射

一、日志结构设计

传统的，我们在做日志输出的时候，是直接输出日志的等级（level）和日志的内容字符串（message）。