基于仿生学原理的云资源自主监控系统设计与实现

报告。

度量采集线程是监控系统最基本的功能，该线程主要有两大功能：性能信息的采集和采集信息的接收和发送，采集宿主服务节点的性能信息，并将该信息通过网络组播给区域内其他资源，接收区域内其他资源组播的信息，并存储在内存中，而不是马上发给主节点，这样可以减少通信负载。组播后，经过一个sleep时间，线程开始继续监听组播地址。sleep时间是根据主进程读取的配置文件中的采集频率计算得来，在计算的过程中还要考虑程序的执行时间，对sleep的时间稍作微调。在每次性能信息收集完成之后还要和性能的阈值进行比较。若超过阈值，则会启动异常处理线程，将异常信息上报，这样也将进一步降低通信负载，随后会根据反馈的结果进行相应的处理。

指令执行线程则负责接收上层下达的指令，分析下达的指令，并创建进程去执行指令，若指令要求返回数据，还应将数据返回。

3.2CNE的实现

CNE运行在监控中心节点之上，和PN/MPN一样，它也是采用多线程技术实现。CNE初始化读取配置文件后，依次启动存活心跳检测线程、动态资源发现机制服务器端线程、自主分析决策线程、与HMI的交互线程、轮询数据获取线程五个线程来完成CNE的功能。动态资源发现机制服务器端线程和存活心跳检测线程共同负责资源域存活列表的维护，资源域存活列表是进程中的一个链表结构，每一个链表节点对应一项记录，一项记录是对某个资源域的描述包括资源域的标示、资源域的描述、资源域的发言人信息、超时计数等信息，动态资源发现机制服务器端线程向存活列表添加记录，存活心跳检测线程更新存活列表。

存活心跳检测线程初始化后，启动另一线程负责接收心跳信息；同时自身以一定的频率去遍历存活列表这一链表结构。负责接受心跳信息的线程创建阻塞式监听套接字，根据到来的心跳信息判断是否是新的发言人掌权通知信息。

CNE的动态资源发现机制线程实现了监控系统自组织功能在服务器端的响应机制，其流程如图2所示，初始化时，创建监听套接字，进入监听状态，如果有请求信息到来，解析请求信息，根据解析的信息去云平台CC数据库中查询是否有对应资源域的记录项（CC数据库是云平台的管理程序维护的数据库，CC数据库中存储了资源上线时的信息包括MAC地址、宿主关系、所属资源域等，但该数据库内的信息是静态的，即写入后不会动态变化）。若不能查到对应记录，则返回查询失败信息，若能查到对应记录还应该判断发送请求的资源是否是新增资源域中的第一个资源，如果是还应去资源域存活列表结构中添加一项新的资源域记录项，判断结束后，将查询到的信息包括资源的类型、宿主关系、所在资源域名字、所在资源域的发言人联系方式等返回给发送请求的资源。

自主分析决策线程初始化时根据主进程读取的配置文件，随后，提取监听端口等信息，创建监听套接字，进入监听状态等待异常到来，其处理流程如图3所示。

轮询数据获取线程初始化时读取配置文件获取轮询间隔，设定轮询频率，接着遍历存活，依次和存活列表中的发言人进行通信，获取发言人所代表资源域的性能信息，解析收到的信息并存储到数据库中。

与HMI交互线程根据主进程读取的配置文件，创建监听套接字，进入监听状态等待Web界面发送指令。

3.3HMI的实现

HMI界面的实现涉及到PHP（Hypertext Preprocessor）、HTML（Hyper Text Markup Language）、CSS（Cascading Style Sheets）、JavaScript等网页制作技术。HMI界面主要分为三大部分：云平台总览、状态监控、集中控制。云平台总览用于展示平台一系列的资源信息；状态监控实时曲线显示资源的性能信息，能显示各个资源域的资源性能情况；集中控制提供下达指令接口，负责将用户输入的指令传输给后台处理程序。

状态监控实时曲线显示的原理是根据存储的数据产生png图片，将png图片显示在Web界面，为了能实时显示曲线的变化，需要按一定频率产生png图片显示在Web界面上。当监控页面打开后，页面会按一定的频率去向CN请求数据，一次请求就会生成一张png图片并显示在Web界面，当请求的频率足够小就能达到一种实时的效果。

4云资源监控系统测试结果分析

本次实验分别对自组织功能、自修复功能、云资源监控系统的监控效率和监控数据的准确进行了分析和验证。实验采用2台DELL高密服务器（具有4个计算节点），每个计算节点配置为：CPU为16 Core； Memory为128GB；Disk为3TB； Bandwidth为1000Mb/s。运行KVM虚拟机，配置：CPU为2 core； Memory为4GB； Disk为50GB； Bandwidth为1000Mb/s。服务器采用Debian 6.0.5，虚拟机采用Windows Sever 2008操作系统。

计算节点的分布和配置情况如表1所示。节点N1作为控制节点，是云监控系统的中枢神经CNE。N2、N3、N4作为从属节点加入到系统中。N1、N2同属A服务器，N3、N4同属B服务器。因N1属于控制节点，因此仅负载10个虚拟机在其上运行，其他节点都各自负载30个虚拟机。每个节点作为一个单独的域，其中所属的所有虚拟机组成一个独立的周围神经系统PNS。

4.1自组织功能测试

实验如下，首先配置好N1，作为控制节点启动，待所属虚拟机全部启动，系统网络数据传输量稳定后；同时启动N2、N3、N4节点，指定每个节点的1号虚拟机作为周围神经的管理节点MPN，待3个节点虚拟机建立完毕，网络数据传输曲线趋于稳定后，实验结束。在实验中，将记录N2、N3、N4启动后各个时间点的网络数据传输量，以及每个节点成功启动的虚拟机的数量（MPN收到虚拟机作为PN发出的确认信号后，即判定此虚拟机成功启动），随后绘制曲线。

由图4可知，在节点启动后，一段时间内，新虚拟机的建立与加入使得系统内流量大大增加。流量的增加来至于此句不通顺，请作相应调整。系统的类DHCP自组织功能的实现流量的增加来自于系统内DHCP自组织功能的实现，在虚拟机加入系统时，会自动与控制节点CNE与域控制节点MPN进行信息交互，并下载配置信息。因而在此阶段，系统网络中存在大量的信息交互。此外，图5反映了虚拟机加入过程中，整个系统的总虚拟机数。值得一提的是，在虚拟机数量图中，N2节点的虚拟机建立速度，明显快于N3和N4。分析可知，N2与控制节点N1同属一台服务器A，因此，网络信息的传递更快。

4.2自修复功能测试

实验环境描述如下，部署好所有节点和虚拟机，且系统正常运行（周期性地收到监控信息）后，选取节点N2包含的周围神经系统PNS作为实验域。

首先，绘制一段时间内，N2节点域内的网络流量信息曲线，如图6所示。

因MPN会周期性地要求域内的PN上报监控信息，且PN也会根据阈值自动上传信息，因此可以得到如图6所示的一段时间内，N2节点内部的通信流量。由图6可以看出存在明显的周期性特征。

随后，人为地关闭N2节点中，作为域控制节点MPN的1号虚拟机。一段时间后，获取1号虚拟机关闭前后一段时间内N2节点域内的流量数据，绘制如图7所示。

根据图6所展示的监控流量时间周期、流量大小信息，以及图7所展示的失效时间内系统监控流量的变化可知，从9s处开始，流量传输出现了异常状况，而根据流量数据的摘取时间范围属于关闭1号虚拟机前后的时间段来看，正好可以判定，此时MPN节点出现了异常。随后从时间17s处开始，N2节点域内恢复了正常的监控流量传输。由此可以说明，系统很好地实现了自修复功能，且能在MPN节点出现状况后在较短时间内选出新的主监控节点，使系统恢复正常的监控状态。

4.3监控系统效率分析

云平台A采用一台DELL并部署Ganglia（Ganglia3.0.3）监控软件；云平台B部署BCMS。平台A、B各选取1个计算节点作为监控中枢，启动gmetad服务和Ncontrol等相关服务进程。各选取余下3个计算节点，并启动30台虚拟机，均部署gmond服务和Nagent/Nspeake数据采集服务。

在云平台A和B中每台虚拟机上运行测试程序，分别在监控中枢服务器上使用tcpdump命令测试网络通信带宽，并将30min内的网络通信流量结果保存到指定文件中。测试结果如图8所示（横轴表示时间，单位为分钟；竖轴表示网络通信量，单位为：kb/s）。

在基于BANS的云资源监控系统中，监控中枢的网络流量总和=f（历史数据汇总+异常报警信息）；在安装Ganglia监控系统中，网络流量总和=f（实时数据）。从图4可以看出基于BANS的云资源监控系统，由于各层具有自主决策能力，减少了不必要数据的传输，对比发现，在某些单一时刻，流量最多能降低到原来的1/3左右。

4.4监控系统数据验证

在云平台A和B中，分别在一台虚拟机上运行测试程序，记录30min内虚拟机上CPU利用率的情况。测试结果如图9图9中横轴的单位为秒，而此处文字描述的单位为min？到底以哪个为准？请明确。所示。

从图9可以看出，BCMS和Ganglia系统的监控结果是基本吻合的，由此可知，该监控系统提供数据的真实、有效，反映了实际状况。

5结语

本文针对现有监控系统网络负载过重、扩展繁琐、低可靠性问题进行了改进，提出了基于BANS构造的云资源监控模型，通过分级存储，分批上报机制，降低了系统的网络负载；同时引入新的发现与轮询机制，赋予了监控系统自主能力，使得系统中的节点具有本地自治与自修复能力。后续工作可根据不同的监控特征划分不同的周围神经系统，进行按任务为导向的动态区域监控，并增加对历史数据的进一步挖掘分析，实现更多自主决策机制，进一步扩展模型。

参考文献：

[1]

MA S. A review on cloud computing development [J]. Journal of Networks， 2012， 7（2）： 305-310.

[2]

GAO J， XIAO Y， LIU J， et al. A survey of communication/networking in smart grids [J]. Future Generation Computer Systems， 2012， 28（2）： 391-404.

[3]

ACETO G， BOTTA A， DE DONATO W， et al. Cloud monitoring： a survey [J]. Computer Networks， 2013， 57（9）： 2093-2115.

[4]

MASSIE M L， CHUN B N， CULLER D E. The Ganglia distributed monitoring system： design， implementation， and experience [J]. Parallel Computing， 2004， 30（7）： 817-840.

[5]

SACERDOTI F D， KATZ M J， MASSIE M L， et al. Wide area cluster monitoring with ganglia [C]// Proceedings of the 2003 IEEE International Conference on Cluster Computing. Piscataway， NJ： IEEE， 2003： 289-298.

[6]

YANG C T， CHEN T T， CHEN S Y. Implementation of monitoring and information service using Ganglia and NWS for grid resource brokers [C]// Proceedings of the 2nd IEEE AsiaPacific Service Computing Conference. Piscataway， NJ： IEEE， 2007： 356-363.

[7]

HINCHEY M， DAI Y S， RASH J L， et al. Bionic autonomic nervous system and selfhealing for NASA ANTSlike missions [C]// Proceedings of the 2007 ACM Symposium on Applied Computing. New York： ACM， 2007： 90-96.

[8]

KEPHART J O， CHESS D M. The vision of autonomic computing [J]. Computer， 2003， 36（1）： 41-50.

[9]

CARAFFINI F， NERI F， PICINALI L. An analysis on separability for memetic computing automatic design [J]. Information Sciences， 2014， 265： 1-22.（无期）

[10]

DROMS R. Stateless Dynamic Host Configuration Protocol （DHCP） Service for IPv6 [EB/OL]. [20150920]. http：//tools.ietf.org/html/rfc3736.

[11]

HUEBSCHER M C， MCCANN J A. A survey of autonomic computing—degrees， models， and applications [J]. ACM Computing Surveys， 2008， 40（3）： Article No. 7.

[12]

MARSHALL T， DAI Y S. Reliability improvement and models in autonomic computing [C]// Proceedings of the 11th International Conference on Parallel and Distributed Systems. Piscataway， NJ： IEEE， 2005： 468-472.

推荐访问:仿生学 监控系统 原理 自主 设计