《运维--PlayBook》更新中.......!请访问： https://ops.cnmysql.com

Supervisor进程管理工具 不指定

kangyang , 2015/01/05 15:24 , LINUX系统管理 , 评论(0) , 阅读(6632) , Via 本站原创

之前研究docker，希望docker里面的应用挂了自动拉起，看到Supervisor很适合，现在线上已采用。而且通过Supervisor可以实现在docker容器里面启动N个进程。

Supervisor是一个C/S系统,它可以在类UNIX系统上控制系统进程，由python编写，它提供了大量的功能来实现对进程的管理。
程序的多进程启动，可以配置同时启动的进程数，而不需要一个个启动
程序的退出码，可以根据程序的退出码来判断是否需要自动重启
程序所产生日志的处理
进程初始化的环境，包括目录，用户，umask，关闭进程所需要的信号等等
手动管理进程(开始，启动，重启，查看进程状态)的web界面，和xmlrpc接口
支持的平台

可以运行在大多数类UNIX系统上，比如Linux、MAC OS X、Solaris、FreeBSD。
不支持任何版本的Windows。
支持Python2.4以及之后的版本，但不支持Python3。

安装（centos 6.5 ）
rpm -ivh http://dl.fedoraproject.org/pub/epel/6/i386/epel-release-6-8.noarch.rpm
rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-6
yum install supervisor

启动：/usr/bin/supervisord
可以写到rc.local里面实现开机启动

以redis为例，配置文件如下：redis必须以前台运行方式
[supervisord]
logfile=/var/log/supervisor/supervisord.log ; 定义supervisord日志文件
logfile_maxbytes=50MB       ; 日志大小
logfile_backups=10          ; 日志个数
loglevel=info               ; 日志等级
pidfile=/var/run/supervisord.pid ;pid路径
nodaemon=false          ；是否以daemon模式启动

[program:redis]
command=/usr/local/redis/bin/redis-server /etc/redis.conf   ；redis启动命令
log_stdout=true             ; if true, log program stdout (default true)
log_stderr=true             ; if true, log program stderr (def false)
logfile=/var/log/redis.log  ；redis日志
logfile_maxbytes=102400MB        ; max # logfile bytes b4 rotation (default 50MB)
logfile_backups=10          ; # of logfile backups (default 10)
logfile_maxbytes=50MB       ; (max main logfile bytes b4 rotation;default 50MB)
logfile_backups=10          ; (num of main logfile rotation backups;default 10)
loglevel=info               ; (logging level;default info; others: debug,warn)
pidfile=/var/run/supervisord.pid ; (supervisord pidfile;default supervisord.pid)
minfds=1024                 ; (min. avail startup file descriptors;default 1024)
minprocs=200                ; (min. avail process descriptors;default 200)
nodaemon=false

supervisor配置文件详解

; Sample supervisor config file.
;
; For more information on the config file, please see:
; http://supervisord.org/configuration.html
;
; Note: shell expansion ("~" or "$HOME") is not supported.  Environment
; variables can be expanded using this syntax: "%(ENV_HOME)s".

[unix_http_server]          ; supervisord的unix socket服务配置
file=/tmp/supervisor.sock   ; socket文件的保存目录
;chmod=0700                 ; socket的文件权限 (default 0700)
;chown=nobody:nogroup       ; socket的拥有者和组名
;username=user              ; 默认不需要登陆用户 (open server)
;password=123               ; 默认不需要登陆密码 (open server)

;[inet_http_server]         ; supervisord的tcp服务配置
;port=127.0.0.1:9001        ; tcp端口
;username=user              ; tcp登陆用户
;password=123               ; tcp登陆密码

[supervisord]                ; supervisord的主进程配置
logfile=/tmp/supervisord.log ; 主要的进程日志配置
logfile_maxbytes=50MB        ; 最大日志体积，默认50MB
logfile_backups=10           ; 日志文件备份数目，默认10
loglevel=info                ; 日志级别，默认info; 还有:debug,warn,trace
pidfile=/tmp/supervisord.pid ; supervisord的pidfile文件
nodaemon=false               ; 是否以守护进程的方式启动
minfds=1024                  ; 最小的有效文件描述符，默认1024
minprocs=200                 ; 最小的有效进程描述符，默认200
;umask=022                   ; 进程文件的umask，默认200
;user=chrism                 ; 默认为当前用户，如果为root则必填
;identifier=supervisor       ; supervisord的表示符, 默认时'supervisor'
;directory=/tmp              ; 默认不cd到当前目录
;nocleanup=true              ; 不在启动的时候清除临时文件，默认false
;childlogdir=/tmp            ; ('AUTO' child log dir, default $TEMP)
;environment=KEY=value       ; 初始键值对传递给进程
;strip_ansi=false            ; (strip ansi escape codes in logs; def. false)

; the below section must remain in the config file for RPC
; (supervisorctl/web interface) to work, additional interfaces may be
; added by defining them in separate rpcinterface: sections
[rpcinterface:supervisor]
supervisor.rpcinterface_factory = supervisor.rpcinterface:make_main_rpcinterface

[supervisorctl]
serverurl=unix:///tmp/supervisor.sock ; use a unix:// URL  for a unix socket
;serverurl=http://127.0.0.1:9001 ; use an http:// url to specify an inet socket
;username=chris              ; 如果设置应该与http_username相同
;password=123                ; 如果设置应该与http_password相同
;prompt=mysupervisor         ; 命令行提示符，默认"supervisor"
;history_file=~/.sc_history  ; 命令行历史纪录

; The below sample program section shows all possible program subsection values,
; create one or more 'real' program: sections to be able to control them under
; supervisor.

;[program:theprogramname]
;command=/bin/cat              ; 运行的程序 (相对使用PATH路径, 可以使用参数)
;process_name=%(program_name)s ; 进程名表达式，默认为%(program_name)s
;numprocs=1                    ; 默认启动的进程数目，默认为1
;directory=/tmp                ; 在运行前cwd到指定的目录，默认不执行cmd
;umask=022                     ; 进程umask，默认None
;priority=999                  ; 程序运行的优先级，默认999
;autostart=true                ; 默认随supervisord自动启动，默认true
;autorestart=unexpected        ; whether/when to restart (default: unexpected)
;startsecs=1                   ; number of secs prog must stay running (def. 1)
;startretries=3                ; max # of serial start failures (default 3)
;exitcodes=0,2                 ; 期望的退出码，默认0,2
;stopsignal=QUIT               ; 杀死进程的信号，默认TERM
;stopwaitsecs=10               ; max num secs to wait b4 SIGKILL (default 10)
;stopasgroup=false             ; 向unix进程组发送停止信号，默认false
;killasgroup=false             ; 向unix进程组发送SIGKILL信号，默认false
;user=chrism                   ; 为运行程序的unix帐号设置setuid
;redirect_stderr=true          ; 将标准错误重定向到标准输出，默认false
;stdout_logfile=/a/path        ; 标准输出的文件路径NONE＝none;默认AUTO
;stdout_logfile_maxbytes=1MB   ; max # logfile bytes b4 rotation (default 50MB)
;stdout_logfile_backups=10     ; # of stdout logfile backups (default 10)
;stdout_capture_maxbytes=1MB   ; number of bytes in 'capturemode' (default 0)
;stdout_events_enabled=false   ; emit events on stdout writes (default false)
;stderr_logfile=/a/path        ; stderr log path, NONE for none; default AUTO
;stderr_logfile_maxbytes=1MB   ; max # logfile bytes b4 rotation (default 50MB)
;stderr_logfile_backups=10     ; # of stderr logfile backups (default 10)
;stderr_capture_maxbytes=1MB   ; number of bytes in 'capturemode' (default 0)
;stderr_events_enabled=false   ; emit events on stderr writes (default false)
;environment=A=1,B=2           ; process environment additions (def no adds)
;serverurl=AUTO                ; override serverurl computation (childutils)

; The below sample eventlistener section shows all possible
; eventlistener subsection values, create one or more 'real'
; eventlistener: sections to be able to handle event notifications
; sent by supervisor.

;[eventlistener:theeventlistenername]
;command=/bin/eventlistener    ; 运行的程序 (相对使用PATH路径, 可以使用参数)
;process_name=%(program_name)s ; 进程名表达式，默认为%(program_name)s
;numprocs=1                    ; 默认启动的进程数目，默认为1
;events=EVENT                  ; event notif. types to subscribe to (req'd)
;buffer_size=10                ; 事件缓冲区队列大小，默认10
;directory=/tmp                ; 在运行前cwd到指定的目录，默认不执行cmd
;umask=022                     ; 进程umask，默认None
;priority=-1                   ; 程序运行的优先级，默认-1
;autostart=true                ; 默认随supervisord自动启动，默认true
;autorestart=unexpected        ; whether/when to restart (default: unexpected)
;startsecs=1                   ; number of secs prog must stay running (def. 1)
;startretries=3                ; max # of serial start failures (default 3)
;exitcodes=0,2                 ; 期望的退出码，默认0,2
;stopsignal=QUIT               ; 杀死进程的信号，默认TERM
;stopwaitsecs=10               ; max num secs to wait b4 SIGKILL (default 10)
;stopasgroup=false             ; 向unix进程组发送停止信号，默认false
;killasgroup=false             ; 向unix进程组发送SIGKILL信号，默认false
;user=chrism                   ; setuid to this UNIX account to run the program
;redirect_stderr=true          ; redirect proc stderr to stdout (default false)
;stdout_logfile=/a/path        ; stdout log path, NONE for none; default AUTO
;stdout_logfile_maxbytes=1MB   ; max # logfile bytes b4 rotation (default 50MB)
;stdout_logfile_backups=10     ; # of stdout logfile backups (default 10)
;stdout_events_enabled=false   ; emit events on stdout writes (default false)
;stderr_logfile=/a/path        ; stderr log path, NONE for none; default AUTO
;stderr_logfile_maxbytes=1MB   ; max # logfile bytes b4 rotation (default 50MB)
;stderr_logfile_backups        ; # of stderr logfile backups (default 10)
;stderr_events_enabled=false   ; emit events on stderr writes (default false)
;environment=A=1,B=2           ; process environment additions
;serverurl=AUTO                ; override serverurl computation (childutils)

; The below sample group section shows all possible group values,
; create one or more 'real' group: sections to create "heterogeneous"
; process groups.

;[group:thegroupname]
;programs=progname1,progname2  ; 任何在[program:x]中定义的x
;priority=999                  ; 程序运行的优先级，默认999

; The [include] section can just contain the "files" setting.  This
; setting can list multiple files (separated by whitespace or
; newlines).  It can also contain wildcards.  The filenames are
; interpreted as relative to this file.  Included files *cannot*
; include files themselves.

;[include]
;files = relative/directory/*.ini


参考：
http://ilvsx.im/index.php/archives/32/
Tags: , ,

Linux运维实用工具集合 不指定

kangyang , 2014/08/20 14:46 , LINUX系统管理 , 评论(0) , 阅读(3231) , Via 本站原创
1、查看进程占用带宽情况-Nethogs
Nethogs 是一个终端下的网络流量监控工具可以直观的显示每个进程占用的带宽。
下载：http://sourceforge.net/projects/nethogs/files/nethogs/0.8/nethogs-0.8.0.tar.gz/download

2、硬盘读取性能测试-IOZone
IOZone是一款Linux文件系统性能测试工具 可以测试不同的操作系统中文件系统的读写性能。
下载：http://www.iozone.org/src/current/
    -a使用全自动模式
    -n为自动模式设置最小文件大小(Kbytes)。
    -g设置自动模式可使用的最大文件大小Kbytes。
    -i用来指定运行哪个测试。
    -f指定测试文件的名字完成后自动删除
    -R产生Excel到标准输出
    -b指定输出到指定文件上

3、实时监控磁盘IO-IOTop
IOTop命令是专门显示硬盘IO的命令,界面风格类似top命令。
[root@localhost ~]# yum -y install iotop

4、网络流量监控-IPtraf
IPtraf是一个运行在Linux下的简单的网络状况分析工具。
[root@localhost ~]# yum -y install iptraf

5、网络流量监控-IFTop
iftop是类似于linux下面top的实时流量监控工具。比iptraf直观些。
下载：http://www.ex-parrot.com/~pdw/iftop/
    TX：发送流量
    RX：接收流量
    TOTAL：总流量
    Cumm：运行iftop到目前时间的总流量
    peak：流量峰值
    rates：分别表示过去 2s 10s 40s 的平均流量

6、进程实时监控-HTop
HTop是一个 Linux 下的交互式的进程浏览器可以用来替换Linux下的top命令。
rpm -ivh http://pkgs.repoforge.org/rpmforge-release/rpmforge-release-0.5.2-2.el6.rf.x86_64.rpm（安装第三方YUM源）
[root@localhost ~]# yum -y install htop

7、系统资源监控-NMON
NMON是一种在AIX与各种Linux操作系统上广泛使用的监控与分析工具
下载：http://sourceforge.jp/projects/sfnet_nmon/releases/
[root@localhost ~]# chmod +x nmon_x86_64_rhel6
[root@localhost ~]# mv nmon_x86_64_rhel6 /usr/sbin/nmon
[root@localhost ~]# nmon

8、监控多个日志-MultiTail
MultiTail是在控制台打开多个窗口用来实现同时监控多个日志文档、类似tail命令的功能的软件。
rpm -ivh http://pkgs.repoforge.org/rpmforge-release/rpmforge-release-0.5.2-2.el6.rf.x86_64.rpm （安装第三方YUM源）
[root@localhost ~]# yum -y install  multitail
[root@localhost ~]# multitail -e ”fail” /var/log/secure   #筛选关键字进行监控
[root@localhost ~]# multitail -l ”ping baidu.com”   #监控后面的命令-l将要执行的命令
[root@localhost ~]# multitail -i /var/log/messages -i /var/log/secure   #-i指定一个文件名

9、SSH暴力破解防护-Fail2ban
Fail2ban可以监视你的系统日志然后匹配日志的错误信息正则式匹配执行相应的屏蔽动作一般情况下是调用防火墙屏蔽
下载：http://www.fail2ban.org/wiki/index.php/Downloads
[root@localhost ~]# cd fail2ban-0.8.11
[root@localhost fail2ban-0.8.11]# python setup.py install
[root@localhost fail2ban-0.8.11]# cd files/
[root@localhost files]# cp ./redhat-initd /etc/init.d/fail2ban
[root@localhost files]# service fail2ban start
[root@localhost files]# chkconfig –add fail2ban
[root@localhost files]# chkconfig fail2ban on
注：需要配置iptables实用，如果重启iptables了也要重启fail2ban，因为fail2ban的原理是调用iptables实时阻挡外界的攻击。
[root@localhost ~]# grep -v ”^#” /etc/fail2ban/jail.conf | grep -v ”^$”
[DEFAULT]
ignoreip = 127.0.0.1/8#忽略本机IP
bantime  = 600   #符合规则后封锁时间
findtime  = 600  #在多长时间内符合规则执行封锁如600秒达到3次则执行
maxretry = 3    #最大尝试次数
backend = auto   #日志修改检测日志gamin、polling和auto这三种
usedns = warn  
[ssh-iptables]
enabled  = true#默认是禁用false
filter   = sshd
action   = iptables[name=SSH, port=ssh, protocol=tcp]
# sendmail-whois[name=SSH,dest=收件人邮箱, sender=发件人邮箱, sendername="Fail2Ban"]
logpath  = /var/log/sshd.log  #响应的错误日志一般在/var/log/secure
maxretry = 5    #尝试错误次数覆盖全局中的maxretry
注：默认所有的应用防护都是关闭的，需要我们手动开启。fail2ban.conf文件是日志信息，jail.conf文件是保护的具体服务和动作配置信息。
[root@localhost ~]# touch /var/log/sshd.log
[root@localhost ~]# service fail2ban restart
[root@localhost ~]# fail2ban-client status    #查看监控已经开启
Status
|- Number of jail:      1
`- Jail list:           ssh-iptables
[root@localhost ~]# iptables -L  #iptables过滤表有fail2ban一条规则
fail2ban-SSH  tcp  –  anywhere             anywhere            tcp dpt:ssh

10、连接会话终端持续化-Tmux
Tmux是一个优秀的终端复用软件类似GNU Screen比Screen更加方面、灵活和高效。为了确保连接SSH时掉线不影响任务运行。
rpm -ivh http://pkgs.repoforge.org/rpmforge-release/rpmforge-release-0.5.2-2.el6.rf.x86_64.rpm（安装第三方YUM源）

11、页面显示磁盘空间使用情况-Agedu
下载：http://www.chiark.greenend.org.uk/~sgtatham/agedu/
[root@localhost ~]# tar zxvf agedu-r9723.tar.gz
[root@localhost ~]# cd agedu-r9723
[root@localhost ~]# ./configure
[root@localhost ~]# make && make install
[root@localhost ~]# agedu -s /    #-s扫描
[root@localhost ~]# agedu -w –address 192.168.0.10:80  #-w输入一个网页链接
[root@localhost ~]# agedu -w –address 192.168.0.108080 –auth none  #–auth关闭认证如果不加端口号会生成一个随机的用浏览器访问

12、安全扫描工具-NMap
NMap是Linux下的网络连接扫描和嗅探工具包用来扫描网上电脑开放的网络连接端。
下载：http://nmap.org/download.html
[root@localhost ~]# tar jxvf nmap-6.40.tar.bz2
[root@localhost nmap-6.40]# ./configure
[root@localhost nmap-6.40]# make && make install
[root@localhost ~]# nmap 192.168.0.10   #获取基本信息
[root@localhost ~]# nmap -O 192.168.0.10 #获取系统版本信息
[root@localhost ~]# nmap -A 192.168.0.10 #获取系统综合信息
[root@localhost ~]# nmap 192.168.0.0/24  #获取一个网段工作设备基本信息
    -sSTCP扫描
    -sV系统版本检测

13、Web压力测试-Httperf
Httperf比ab更强大，能测试出web服务能承载的最大服务量及发现潜在问题；比如：内存使用、稳定性。最大优势：可以指定规律进行压力测试，模拟真实环境。
下载：http://code.google.com/p/httperf/downloads/list
[root@localhost ~]# tar zxvf httperf-0.9.0.tar.gz
[root@localhost ~]# cd httperf-0.9.0
[root@localhost httperf-0.9.0]# ./configure
[root@localhost httperf-0.9.0]# make && make install
[root@localhost ~]# httperf –hog –server=192.168.0.202 –uri=/index.html –num-conns=10000 –wsess=10,10,0.1
参数说明：
–hog：让httperf尽可能多产生连接，httperf会根据硬件配置，有规律的产生访问连接
–num-conns：连接数量，总发起10000请求
–wsess： 用户打开网页时间规律模拟，第一个10表示产生10个会话连接，第二个10表示每个会话连接进行10次请求，0.1表示每个会话连接请求之间的间隔时间/s
Tags: , , , , ,
分页： 1/1 第一页 1 最后页 [ 显示模式： 摘要 | 列表 ]