Linux服务器构建与运维管理 第9章:系统监控 阮晓龙 13938213680/ rxI@hactcmeducn http://linux.xg.hactcm.edu.cn http://www.5lxueweb.cn 河南中医药大学管理科学与工程学科 018.5
Linux服务器构建与运维管理 第9章：系统监控 阮晓龙 13938213680 / rxl@hactcm.edu.cn http://linux.xg.hactcm.edu.cn http://www.51xueweb.cn 河南中医药大学管理科学与工程学科 2018.5 1
2 提纲 口系统监控概述 □PROC PROC概述、PROC下的目录、PROC下的进程 口监控工具 状态监控:top、htop、atop、 loto 网络监控: ftop 硬件监控: powertop、 ipmitool 性能监控:sar、tsar、perf 口监控系统 Ubuntu server +Observium Centos7+ NagiosⅪ 河南中医药大学/阮晓龙/13938213680/http://linux.xg.hactcm.edu.cn/http:/www.51xueweb.cn
河南中医药大学 / 阮晓龙 / 13938213680 / http://linux.xg.hactcm.edu.cn / http://www.51xueweb.cn 提纲 系统监控概述 PROC PROC概述、PROC下的目录、PROC下的进程 监控工具 状态监控：top、htop、atop、iotop 网络监控：iftop 硬件监控：powertop、ipmitool 性能监控：sar、tsar、perf 监控系统 Ubuntu Server + Observium CentOS 7 + Nagios XI 2
3 1系统监控概述 1.1系统监控概述 ¤随着各单位信息化建设的不断深入,应用系统不断增多,运维人员需 要管理的设备、业务数量也急剧增加,如何直观地查看多个设备、业 务的运行情况,并保证设备、业务出现异常时能及时发现,已经成为 运维人员最关心也最需要解决的问题。 在此中需求下系统监控应运而生,通过系统监控可以实时了解系统的 运行状态,快速发现系统异常,分析异常原因,及时解决异常问题, 有效避免系统故障,从而保障系统对外服务的高可用与高持续,有效 提升用户对系统的满意度。 河南中医药大学/阮晓龙/13938213680/http://linux.xg.hactcm.edu.cn/http:/www.51xueweb.cn
河南中医药大学 / 阮晓龙 / 13938213680 / http://linux.xg.hactcm.edu.cn / http://www.51xueweb.cn 1.系统监控概述 随着各单位信息化建设的不断深入，应用系统不断增多，运维人员需 要管理的设备、业务数量也急剧增加，如何直观地查看多个设备、业 务的运行情况，并保证设备、业务出现异常时能及时发现，已经成为 运维人员最关心也最需要解决的问题。 在此中需求下系统监控应运而生，通过系统监控可以实时了解系统的 运行状态，快速发现系统异常，分析异常原因，及时解决异常问题， 有效避免系统故障，从而保障系统对外服务的高可用与高持续，有效 提升用户对系统的满意度。 3 1.1系统监控概述
1系统监控概述 1.2监控分类 ¤按监控的时效性 按监控的时效性划分,可分为实时监控和周期性监控两种类型 实时监控是指利用软件对系统运行信息进行实时的采集,具有较强的时效 性,其数据可反应系统当前运行情况 周期性监控是指利用软件以一定的时间间隔对系统运行信息进行周期性采 集,其数据可反应系统的运行趋势。 河南中医药大学/阮晓龙/13938213680/http://linux.xg.hactcm.edu.cn/http:/www.51xueweb.cn
河南中医药大学 / 阮晓龙 / 13938213680 / http://linux.xg.hactcm.edu.cn / http://www.51xueweb.cn 1.系统监控概述 按监控的时效性 按监控的时效性划分，可分为实时监控和周期性监控两种类型。 实时监控是指利用软件对系统运行信息进行实时的采集，具有较强的时效 性，其数据可反应系统当前运行情况。 周期性监控是指利用软件以一定的时间间隔对系统运行信息进行周期性采 集，其数据可反应系统的运行趋势。 4 1.2监控分类
1系统监控概述 1.2监控分类 按监控的方式 按监控的方式划分,可分为命令监控和软件监控两种类型。 命令监控是指通过操作系统相关命令实现对系统运行情况的监控,常用的 命令监控有top(查看所有正在运行且处于活动状态的实时进程) netstat(查看系统网络性能情况)、 lestat(查看系统CpU使用情况与磁盘 I/O情况)、fre(查看系统内存使用情况)、Ⅷ stati(查看系统CPU等指 负载情况)等。 软件监控是指通过第三方软件使用SNMP( Simple Network Management Protoco,简单网络管理协议)协议、 Agent、探针等手段,对系统运行情 况进行周期性监控,并记录监控数据,可实现监控历史数据査看及系统运 行情况分析,并可将系统异常情况通过某种手段(如邮件、短信等)通知 相关人员。 河南中医药大学/阮晓龙/13938213680/http://linux.xg.hactcm.edu.cn/http:/www.51xueweb.cn
河南中医药大学 / 阮晓龙 / 13938213680 / http://linux.xg.hactcm.edu.cn / http://www.51xueweb.cn 1.系统监控概述 按监控的方式 按监控的方式划分，可分为命令监控和软件监控两种类型。 命令监控是指通过操作系统相关命令实现对系统运行情况的监控，常用的 命令监控有top（查看所有正在运行且处于活动状态的实时进程）、 netstat（查看系统网络性能情况）、iostat（查看系统CPU使用情况与磁盘 I/O情况）、free（查看系统内存使用情况）、vmstatI（查看系统CPU等指 标负载情况）等。 软件监控是指通过第三方软件使用SNMP（Simple Network Management Protocol，简单网络管理协议）协议、Agent、探针等手段，对系统运行情 况进行周期性监控，并记录监控数据，可实现监控历史数据查看及系统运 行情况分析，并可将系统异常情况通过某种手段（如邮件、短信等）通知 相关人员。 5 1.2监控分类
6 1系统监控概述 1.2监控分类 □按监控的对象 ■按监控的对象划分,可分为设备监控、系统监控、网络监控、业务监控和环境监控 五种类型。 设备监控是对物理设备运行情况的监控,主要监控设备的温度、电源、电压、风扇等方面。常 用设备监控手段有PMI( Intelligent Platform Management Interface,智能平台管理接口)监 控,通过设备自身的PM监控体系,从而掌握设备的物理运行状态。 ■系统监控是对操作系统整体运行情况的监控,主要监控系统的物理内存、虚拟内存、CPU、内 核线程、磁盘、进程等方面。常用的系统监控手段主要有命令监控和监控系统监控两种 网络监控是对网络运行情况的监控,主要监控网络的可用性、性能以及流量等方面。常用网络 监控的手段有网络嗅探和数据流层面的统计等 业务监控是对业务运行情况的监控,主要监控网站、web服务器、数据库、中间件、域名、电 子邮件以及基础服务等方面。常用的业务监控手段有业务自身监控状态监控和监控系统监控等。 ■环境监控是对基础环境设夆运行状态的监控,主要包括监控配电、UPS、空调、温度、湿度、 漏水、烟雾、视频、门禁、防雷及消防系统等方面,常用的环境监控手段主要有设备自身监控、 探针(或SNMP)采集监控等。 河南中医药大学/阮晓龙/13938213680/http://linux.xg.hactcm.edu.cn/http:/www.51xueweb.cn
河南中医药大学 / 阮晓龙 / 13938213680 / http://linux.xg.hactcm.edu.cn / http://www.51xueweb.cn 1.系统监控概述 按监控的对象 按监控的对象划分，可分为设备监控、系统监控、网络监控、业务监控和环境监控 五种类型。 设备监控是对物理设备运行情况的监控，主要监控设备的温度、电源、电压、风扇等方面。常 用设备监控手段有IPMI（Intelligent Platform Management Interface，智能平台管理接口）监 控，通过设备自身的IPMI监控体系，从而掌握设备的物理运行状态。 系统监控是对操作系统整体运行情况的监控，主要监控系统的物理内存、虚拟内存、CPU、内 核线程、磁盘、进程等方面。常用的系统监控手段主要有命令监控和监控系统监控两种。 网络监控是对网络运行情况的监控，主要监控网络的可用性、性能以及流量等方面。常用网络 监控的手段有网络嗅探和数据流层面的统计等。 业务监控是对业务运行情况的监控，主要监控网站、Web服务器、数据库、中间件、域名、电 子邮件以及基础服务等方面。常用的业务监控手段有业务自身监控状态监控和监控系统监控等。 环境监控是对基础环境设备运行状态的监控，主要包括监控配电、UPS、空调、温度、湿度、 漏水、烟雾、视频、门禁、防雷及消防系统等方面，常用的环境监控手段主要有设备自身监控、 探针（或SNMP）采集监控等。 6 1.2监控分类
2. PROC 2.1PRoc概述 Linux系统上的/pro是一种伪文件系统(即虚拟文件系统),与其它常见的文 件系统不同的是/proc只存在内存当中,是存储当前内核运行状态的一系列特 殊文件,用户可以通过这些文件查看有关硬件及当前正在运行进程的信息, 甚至可以通过更改其中某些文件来改变内核的运行状态 鉴于/pro文件系统的特殊性,其目录下的文件也常被称作为虚拟文件,并具有一些独特的特点 例如,有些文件虽然使用查看命令查看时会返回大量信息,但文件本身的大小却显示为0字节 此外,其中大多数文件的时间及日期属性通常为当前系统时间和日期,这些文件会被随时刷新。 ■为了查看和使用上的方便,这些文件通常会按照相关性分类存储于不同的目录甚至子目录中 例如,/proc/scs目录中存储的是当前系统上所有SCS设备的相关信息,/pro/N中存储的则是 系统当前正在运行的进程相关信息,其中N为正在运行的进程ID, 大多数虚拟文件都可使用文件查看命令(如cat、more、less等)进行查看,有些文件信息表述 的内容是一目了然的,但也有文件的信息不具备可读性,不过,可读性较差的文件可使用一些 命令(如apm、fe、lspd或top等)来提高文件的可读性 河南中医药大学/阮晓龙/13938213680/http://linux.xg.hactcm.edu.cn/http:/www.51xueweb.cn
河南中医药大学 / 阮晓龙 / 13938213680 / http://linux.xg.hactcm.edu.cn / http://www.51xueweb.cn 2.PROC Linux系统上的/proc是一种伪文件系统（即虚拟文件系统），与其它常见的文 件系统不同的是/proc只存在内存当中，是存储当前内核运行状态的一系列特 殊文件，用户可以通过这些文件查看有关硬件及当前正在运行进程的信息， 甚至可以通过更改其中某些文件来改变内核的运行状态。 鉴于/proc文件系统的特殊性，其目录下的文件也常被称作为虚拟文件，并具有一些独特的特点。 例如，有些文件虽然使用查看命令查看时会返回大量信息，但文件本身的大小却显示为0字节。 此外，其中大多数文件的时间及日期属性通常为当前系统时间和日期，这些文件会被随时刷新。 为了查看和使用上的方便，这些文件通常会按照相关性分类存储于不同的目录甚至子目录中， 例如，/proc/scsi目录中存储的是当前系统上所有SCSI设备的相关信息，/proc/N中存储的则是 系统当前正在运行的进程相关信息，其中N为正在运行的进程ID。 大多数虚拟文件都可使用文件查看命令（如cat、more、less等）进行查看，有些文件信息表述 的内容是一目了然的，但也有文件的信息不具备可读性，不过，可读性较差的文件可使用一些 命令（如apm、free、lspci或top等）来提高文件的可读性。 7 2.1 PROC概述
8 2. PROC 22PRoC下的进程目录 /proc目录中包含许多以数字命名的子目录,这些数字表示系统当前正 在运行的进程ID。 河南中医药大学/阮晓龙/13938213680/http://linux.xg.hactcm.edu.cn/http:/www.51xueweb.cn
河南中医药大学 / 阮晓龙 / 13938213680 / http://linux.xg.hactcm.edu.cn / http://www.51xueweb.cn 2.PROC /proc目录中包含许多以数字命名的子目录，这些数字表示系统当前正 在运行的进程ID。 8 2.2 PROC下的进程目录
J Teach-CentoS 7-rootaCentoS7Teache-xshell 5 (Free for Home/School) N Teach-CentoS 7-rootecentOS7Teach: Shell 5(Free fe 文件行编描日查00工具①选项卡(B)口M秘sh/oot文件编描日查工具m选项卡(B)囗w0稀 9 2·团·0Q·命·6·A··∷向·四·Q·, [root@centos7Teach -] tree -L 1/proc /Teach 2. PROC prog OC下的进程目录 ug1m coredump_filter environ exe ->/usr/sbin/sshd 510 limit files mounts 278 oom_adj oom score oom_score_adj 280 provid_map 295 onid 仅柯文本发送到图献项卡 仅文本发送到当前选项卡 河南中医药大学/阮晓龙/mna2 ssh/rot211693521322
河南中医药大学 / 阮晓龙 / 13938213680 / http://linux.xg.hactcm.edu.cn / http://www.51xueweb.cn 2.PROC 9 2.2 PROC下的进程目录
文件(病辑日查霜(工具①选项卡(B)密□(M和sh/root②211693521322 10 F·,國·0Q··5·A·∷血··②,卩要添加会,击左 2PROC部 dr-xr-xr-x. 2 root root 0 May 20 22: 44 attr 3OC下的进程目录 rw-r--r--, 1 root root o may 22: 44 autogroup 1 root root 0 May 20 22: 43 cgroup 022: 44 clear refs r--r--r--. 1 root root 0 May 20 22: 43 cmdline rw-r--r--, 1 root root 0 May 20 22: 43 comm rw-r--r--. l root root 0 May 20 22: 44 coredump_filter r--r--r--. 1 root root 0 May 20 22: 44 cpuset Irwxrwxrwx. 1 root root 0 May 20 22: 44 22: 44 environ Irwxrwxrwx. 1 root root 0 May 20 22: 43 >/usr/sbin/sshd 2 rootroot 0 May 20 22: 43 2 root root 0 May 20 22: 44 fdinfo -rw-r--r--. 1 root root 0 May 20 22: 44 10 rw-r--r--. 1 root root 0 May 20 22: 43 loginuid dr-x------.2 rootroot 0 May 20 22: 44 map_files -r--r--r--,1 root root o ot 0 May 20 22: 43 mountinfo --r--r--.1 rootroot 0 May 20 22: 44 mounts ---- 1 root root 0 May 20 22: 44 mountstats dr-xr-xr-x root root 0 May 20 22: 44 net dr-x--x--x. 2 root root o May 20 22: 4 -rw-r-P,a root root o May 20 22: 44 numa_maps 1 root root 0 May 20 22: 44 oom_ad] r--r--r--, 1 root root 0 May 20 22: 44 oom_score rw-r--r--. l root root 0 May 20 22: 43 oom_score_adj -r--r--r--, 1 root root o May 20 22: 44 l root root 0 May 20 22: 44 1 root root 0 May 20 22: 44 projid_map 1 root root o May 20 22: 44 sched t0May2022:44 r--r--r--.1 root root 0 May 20 22: 43 sess rw-r--r--. 1 root root 0 May 20 22: 44 setgroups 仅柯文本发送到图献项卡 河南中医药大学/阮晓龙/mna2 0 SsH2 b40厘40241会活4 CAF NUM
河南中医药大学 / 阮晓龙 / 13938213680 / http://linux.xg.hactcm.edu.cn / http://www.51xueweb.cn 2.PROC 10 2.2 PROC下的进程目录