基于ELK的高校校园网日志平台研究

总结，结合高校校园网环境实际，日志分析平台的功能应具有以下功能.（1）能够及时、准确地采集校园网中网络设备、软件基础设施及应用系统等产生的各类日志数据;（2）能够及时对采集到的海量日志数据进行存储，同时保证日志数据存储高并发性、高可用性要求;（3）能够对日志数据进行统计分析及可视化展示.

3.2 总体设计

针对日志分析平台需求分析，系统目标为设计实现一个对校园网海量日志进行采集、存储、处理和展示的日志分析平台，系统主要功能是日志采集、日志存储、日志可视化分析展示.根据系统功能性需求，对系统模块架构进行划分，日志分析平台的架构如图1所示：

根据日志分析平台功能需求，日志分析平台从日志采集、日志存储、日志可视化分析展示三个模块构建核心流程，系统从logstash分布式日志采集模块开始，首先对采集的日志经过预处理、格式化和过滤，然后将原始日志要存储的日志推送到Redis消息队列，分布式存储模块Elasticsearch从Redis队列中取得数据并进行存储，最后通過Kibana可视化模块对Elasticsearch中存储的原始日志进可视化分析与展示.

3.3 核心模块设计

3.3.1 分布式日志采集模块

该模块完成校园网中原始日志数据的采集，将收集到每条日志进行预处理，最后将日志进行输出到指定位置.以Logstash开源软件为核心，日志采集功能由多个采集节点组成，构建基于logstash的集群保障高可用性.集群中每个Logstash节点采集数据原理如图2所示：

Input输入完成对各类日志数据进行采集定义，日志可以是来自文件或syslog报文等，通过定义输入源及格式，实现日志自动识别和处理日志轮转.Filtert处理主要完成对输入日志数据进行过滤，标识出需要的字段并进行处理.Output用于完成对已过滤日志数据输出的定义，输出可是以文件、数据库、消息队列、Elasticsearch等.Input、Filter、Output三个功能在Logstash是以插件方式实现，部署Logstash时，通过配置相应插件来完成对输入源日志输入信息、过滤规则及输出进行定义，实现校园网中各类日志采集功能.

3.3.2 分布式日志存储模块

日志存储模块是整个系统的基础，由于日志数据的海量性，对数据存储稳定性、容错性、高性能、高可扩展性要求高，采用Elasticsearch作为存储技术对采集的原始日志进行存储、建立索引.Elasticsearch实现数据存储时，采用多副片方式存储日志数据，能实现多用户文档搜索功能.Elasticsearch可扩展性高，支持大模型集群，节点数量扩展容易，扩展后索引库能自动再平衡，以保证集群的负载均衡.

为保证日志平台存储性能，构成存储集群，ES集群有5个节点组成，1个master节点，4个Data节点.Master节点用于协调查询检索请求和索引操作请求，将请求分配给Data节点.Data节点用于存储索引数据和完成数据处理操作.

3.3.3 日志可视分析模块

该模块实现对存储于ES集群的日志数据分析、计算和聚合处理，对处理后的日志进行可视化分析与展示，以达到使用日志结果服务校园网管理与运维.

基于日志数据存储于Elasticsearch，采用Kibana完成原始日志数据的可视化和查询功能，当任何结构化和非结构化日志数据存储到Elasticsearch索引后，Kibana使用Elasticsearch强大的搜索和分析功能，结合Kibana定制的仪表盘，实现原始日志数据分析和展示，到达实时监控系统中原始日志的状态变化.

3.4 系统物理架构

根据日志平台功能需求分析，结合采集的校园网日志占用空间大，平台主要由校园网IT环境、日志采集集群、ES日志存储集群构成，系统物理结构如图3所示.校园网IT环境为产生日志的基础软硬件设施，是校园网日志主要来源;日志采集集群由多台服务器构成，基于Logstash软件构建日志采集集群;ES集群为多台服务器组成，通过部署Elasticsearch软件，构建主节点和数据结节点组成的数据存储集群，完成日志数据存储;日志可视化查询在单台服务器部署Kibana软件，完成对ES集群中存储的日志数据进行可视化分析与展示.

4 结语

校园网日志数据对网络管理运维至关重要，本文提出了基于ELK开源软件构建高校校园网日志平台，分析了日志来源，对日志采集技术、日志存储技术、日志可视化分析及消息队列技术进行详细介绍，结合校园网实际，对高校日志平台设计方案进行了深入讨论，对建设日志分析平台有一定参考价值.

参考文献：

〔1〕杨品林.高校校园网的信息安全策略研究[J].信息安全与技术，2015，6（04）：31-33.

〔2〕姚军，简于涵，刘晖.日志管理与分析权威指南[M].北京：机械工业出版社，2014.

〔3〕李晨光.UNIX/Linux网络日志分析与流量监控[M].北京：机械工业出版社，2015.

〔4〕张春生，郭长杰，尹兆涛.基于大数据技术的IT基础设施日志分析系统设计与实现[J].微型电脑应用，2016，32（06）：49-52.

〔5〕李祥池.基于ELK和Spark Streaming的日志分析系统设计与实现[J].电子科学技术，2015，02（06）：674-678.

〔6〕于兆良，张文涛，葛慧，等.基于Hadoop平台的日志分析模型[J].计算机工程与设计，2016，37（02）：338-344.

推荐访问:校园网 高校 研究 平台 日志