Bokaro:几口linux
前述组织工作中,crontab再次出现的难题是各种各样的,上面就深入细致介绍下crontab在具体组织工作中容易再次出现的难题和补救的办法。
一、crontab有才干啥
crond是Linux下用以周期性的继续执行这种各项任务或等候处理这类该事件的一个守护者民主化,与windows下的方案各项任务类似于,当加装完成操作控制系统后,预设会加装此服务项目辅助工具,并且会手动开启crond民主化,crond民主化每秒钟会maintenance是否图伦区继续执行的各项任务,假如图伦区继续执行的各项任务,则手动继续执行该各项任务。
Linux下的sysfs分为三类,控制系统sysfs和采用者sysfs。
控制系统sysfs:控制系统持续性所要继续执行的组织工作,比如说写软件程序到硬碟、笔记清扫等。采用者sysfs:采用者定期要继续执行的组织工作,比如说采用者备份、间歇电子邮件告诫等。采用者可以采用 crontab 辅助工具来订制自己的方案各项任务。所有采用者表述的crontab 文档都被留存在 /var/spool/cron产品目录中。其文档名与采用者名完全一致。有关crontab的商业用途,在企业前述应用领域中非常广泛,常用的有间歇备份、间歇控制系统检验、间歇数据搜集、间歇预览实用性、间歇聚合财务报表之类。
二、crontab应用领域示例
1、crontab采用文件格式
crontab常用的采用文件格式有如下表所示三种:
crontab [-u user] [file] crontab [-u user] [-e|-l|-r |-i]
快捷键涵义如下表所示:
-u user:用以预设某一采用者的crontab服务项目,例如,“-u ixdba”则表示预设ixdba采用者的crontab服务项目,此参数一般有root采用者来运转。file:file是指示文档的英文名字,则表示将file作为crontab的各项任务条目文档并写入crontab。假如在指示行中没有选定这个文档,crontab指示将接受标准输出(按键)上点选的指示,并将它们写入crontab。-e:撰稿某一采用者的crontab文档文本。假如不选定采用者,则则表示撰稿现阶段采用者的crontab文档。-l:表明某一采用者的crontab文档文本,假如不选定采用者,则则表示表明现阶段采用者的crontab文档文本。-r:从/var/spool/cron产品目录中删掉某一采用者的crontab文档,假如不选定采用者,则预设删掉现阶段采用者的crontab文档。-i:在删掉采用者的crontab文档时给证实提示信息。2、crontab文档句法
采用者所建立的crontab文档中,每带队都代表一项各项任务,每行的每个字段代表一项设置,它的文件格式共分为六个字段,前五段是时间预设段,第六段是要继续执行的指示段,文件格式如下表所示:
minute hour day month week command
其中:
? minute:则表示分钟,可以是从0到59之间的任何整数。 ? hour:则表示小时,可以是从0到23之间的任何整数。 ? day:则表示日期,可以是从1到31之间的任何整数。 ? month:则表示月份,可以是从1到12之间的任何整数。 ? week:则表示星期几,可以是从0到7之间的任何整数,这里的0或7代表星期日。 ? command:要继续执行的指示,可以是控制系统指示,也可以是自己编写的脚本文档。在以上各个字段中,还可以采用以下特殊字符:
? 星号():代表所有可能的值,例如month字段假如是星号,则则表示在满足其它字段的制约条件后每月都继续执行该指示操作。 ? 逗号(,):可以用逗号隔开的值选定一个条目范围,例如,“1,2,5,7,8,9” ? 中杠(-):可以用整数之间的中杠则表示一个整数范围,例如“2-6”则表示“2,3,4,5,6” ? 正斜线(/):可以用正斜线指间歇间的间隔频率,例如“0-23/2”表示每两小时继续执行一次。同时正斜线可以和星号一起采用,例如/10,假如用在minute字段,则表示每十分钟继续执行一次。3、几个crontab例子
0 /3 /usr/local/apache2/apachectl restart
则表示每隔3个小时重启apache服务项目一次。
30 3 6 /webdata/bin/backup.sh
则表示每周六的3点30分继续执行/webdata/bin/backup.sh脚本的操作。
0 0 1,20 fsck /dev/sdb8
则表示每个月的1号和20号检查/dev/sdb8磁盘设备。
10 5 /5 * echo “”>/usr/local/apache2/log/access_log
则表示每个月的5号、10号、15号、20号、25号、30号的5点10分继续执行清扫apache笔记操作。
三、控制系统级sysfs/etc/crontab
在/etc产品目录下有一个crontab文档,这个就是控制系统任务调度的实用性文档。
/etc/crontab文档包括上面几行:
shell=/bin/bash PATH=/sbin:/bin:/usr/sbin:/usr/bin MAILTO=root HOME=/ # run-parts 01 * * * * root run-parts /etc/cron.hourly 02 4 * * * root run-parts /etc/cron.daily 22 4 * * 0 root run-parts /etc/cron.weekly 42 4 1 * * root run-parts /etc/cron.monthly
从上面的示例文档可看出,crontab的各项任务条目主要由两部分组成:环境变量实用性与间歇各项任务实用性。可能大家在组织工作中更多是只用到了各项任务实用性部分。
前四行是用以实用性crond各项任务运转的环境变量,第带队SHELL变量选定了控制系统要采用哪个shell,这里是bash,第二行PATH变量选定了控制系统继续执行指示的路径,第三行MAILTO变量选定了crond的各项任务继续执行信息将通过电子电子邮件发送给root采用者,假如MAILTO变量的值为空,则则表示不发送各项任务继续执行信息给采用者,第四行的HOME变量选定了在继续执行指示或者脚本时采用的主产品目录。第六至九行就是crontab继续执行文件格式的具体写法。
四、crontab调试解析神器
通常在采用crontab添加各项任务时,我们会依靠自己已有知识编写间歇语句。当需要测试语句是否正确时,还需要在服务项目器上不断调试,,这种方式太不高效了。有没有一款辅助工具,只要我们给出语句,就能告诉具体继续执行时间以及对错呢?还真有,上面介绍一款老外开发的crontab在线解析辅助工具。
辅助工具地址:https://crontab.guru
给出这个辅助工具的截图如下表所示:
好用不好用,你试试就知道。
五、crontab采用的各种坑
1、环境变量难题
当我们刚采用crontab时,运维老鸟们一般会告知所有指示尽量都采用绝对路径,以防错误。这是为什么?这就和我们上面要谈的环境变量有关了。
[root@SparkWorker1 dylogs]# env XDG_SESSION_ID=1629 HOSTNAME=SparkWorker1 TERM=linux SHELL=/bin/bash HISTSIZE=1000 SSH_CLIENT=172.16.213.132 50080 22 HADOOP_PREFIX=/opt/hadoop/current CATALINA_BASE=/opt/hadoop/current/share/hadoop/httpfs/tomcat SSH_TTY=/dev/pts/1 QT_GRAPHICSSYSTEM_CHECKED=1 USER=root MAIL=/var/spool/mail/root PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/usr/java/default/bin:/opt/hadoop/current/bin:/opt/hadoop/current/sbin:/root/bin PWD=/data/dylogs LANG=zh_CN.UTF-8 HOME=/root
置如下表所示方案各项任务:
* * * * * /usr/bin/env > /tmp/env.txt
等候片刻,env.txt输出文本如下表所示:
[root@SparkWorker1 dylogs]# cat /tmp/env.txt XDG_SESSION_ID=1729 SHELL=/bin/sh USER=root PATH=/usr/bin:/bin PWD=/root LANG=zh_CN.UTF-8 SHLVL=1 HOME=/root LOGNAME=root XDG_RUNTIME_DIR=/run/user/0 _=/usr/bin/env
从上面输出结果可知,shell指示行的PATH值为
PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/usr/java/default/bin:/opt/hadoop/current/bin:/opt/hadoop/current/sbin:/root/bin
而crontab中的PATH值为:
PATH=/usr/bin:/bin
对比crontab环境变量与shell终端环境变量的输出,可以发现两者的差异很大。大家可能遇到过,在shell指示行继续执行脚本都没有难题,而放到crontab后却继续执行异常,或者继续执行失败,此时,我们就需要考虑是否指示涉及的环境变量在crontab和shell指示行间存在差异。
例如,我们在crontab中继续执行了如下表所示间歇各项任务:
20 16 * * * php autosave.php
而假如我们的php是加装在/usr/local/bin/产品目录下的话,那么上面这个间歇各项任务由于无法找到php指示,会运转失败。
那么,知道了环境变量难题,可能导致方案各项任务无法正常继续执行,怎么才能避免这个难题呢,这个交给大家一个终极大招,可以在crontab中加入如下表所示实用性,保证你的方案各项任务继续执行不会再次出现环境变量难题:
* * * * * source /$HOME/.bash_profile && command
这个其实是在继续执行方案各项任务指示之前,先加载了采用者环境变量信息,由此可保证所有环境变量都可正常加载。
2、间歇时间实用性误区
时间是crontab的核心,稍微实用性不当,就会再次出现难题,先看在整点时间设置时可能再次出现的错误,例如,预设每天2点继续执行一次各项任务,很多朋友可能这么写过:
* 2 * * * command
很明显,这个时间写法是错误的,当我们听到每天2点继续执行一次某各项任务时,很多人会把重点放在2点,而忽略了继续执行一次的需求。上面这个间歇各项任务他会在2点开始继续执行,每秒钟继续执行一次,总共继续执行60次。
正确的写法应该是这样的:
0 2 * * * command
这个才则表示每天2点0分继续执行command对应的各项任务。
3、特殊符号%难题
%在crontab中是特殊符号,具体涵义如下表所示:
第一个%则表示标准输出的开始,其余%则表示换行符,看上面两个例子:
* * * * * cat >> /tmp/cat.txt 2>&1 % stdin out
查看/tmp/cat.txt的文本为:
stdin out
再看上面这个例子:
* * * * * cat >> /tmp/cat1.txt 2>&1 % stdin out 1 % stdin out 2 % stdin out 3
查看 /tmp/cat1.txt的文本如下表所示:
stdin out 1 stdin out 2 stdin out 3
有输出文本可知,第一个%则表示标准输出的开始,其余%则表示换行符。
既然”%”是特殊字符,那么在crontab中采用时,就要特别注意,怎么采用这些特殊字符呢,很明显,采用转移字符即可,例如:
* * * * * cat >> /tmp/cat2.txt 2>&1 % Special character escape \%.
查看输出/tmp/cat2.txt 输出文本如下表所示:
Special character escape %.
可以看到,继续执行成功了,并成功避开这个坑了。
4、有关crontab的输出重定向
在crontab继续执行的方案各项任务中,有些任务假如不做输出重定向,那么原本会输出到屏幕的信息,会以电子邮件的形式输出到某一文档中,例如,继续执行上面这个方案各项任务:
* * * * * /bin/date
这个方案各项任务是没有做输出重定向的,他的主要商业用途是输出时间,由于没有实用性输出重定向,那么这个时间信息预设将以电子邮件的形式输出到/var/spool/mail/$USER(这个$USER对应的是控制系统采用者,这里是root采用者)文档中,大致文本如下表所示:
From [email protected] Fri Sep 21 12:58:02 2022 Return-Path: X-Original-To: root Delivered-To: [email protected] Received: by SparkWorker1.localdomain (Postfix, from userid 0) id F2745192AE; Fri, 21 Sep 2022 12:58:01 +0800 (CST) From: “(Cron Daemon)” To: [email protected] Subject: Cron /bin/date Content-Type: text/plain; charset=UTF-8 Auto-Submitted: auto-generated Precedence: bulk X-Cron-Env: X-Cron-Env: X-Cron-Env: X-Cron-Env: X-Cron-Env: X-Cron-Env: X-Cron-Env: X-Cron-Env: Message-Id: <[email protected]> Date: Fri, 21 Sep 2022 12:58:01 +0800 (CST) 2022年 09月 21日 星期五 12:58:01 CST
由此可见,输出文本还是很多的,如遇到各项任务有大量输出的话,会占用大量磁盘空间,显然,这个电子邮件输出最好关闭,怎么关闭呢,只需设置MAILTO环境变量为空即可,上面的方案各项任务,可做如下表所示修改:
MAILTO=”” * * * * * /bin/date
这样,就不会发电子邮件信息到/var/spool/mail/$USER下了,但是难题并没有彻底解决,关闭mail功能后,输出文本将继续写入到/var/spool/clientmqueue中,长期下去,可能占满分区的inode资源,导致各项任务无法继续执行。
为了避免此类问题发生,建议各项任务都加上输出重定向,例如,可以在crontab文档中设置如下表所示形式,忽略笔记输出:
0 */3 * * * /usr/local/apache2/apachectl restart >/dev/null 2>&1
其中,“/dev/null 2>&1”则表示先将标准输出重定向到/dev/null,然后将标准错误重定向到标准输出,由于标准输出已经重定向到了/dev/null,因此标准错误也会重定向到/dev/null,这样笔记输出难题就解决了。
5、调试crontab难题的一般思路
要解决crontab相关异常难题,可按照如下表所示思路进行调试:
(1)、通过/var/log/cron笔记证实各项任务是否继续执行
(2)、如未继续执行则分析间歇语句,是否是环境变量难题、特殊字符难题、时间实用性难题、权限难题等。
(3)、证实crond服务项目开启,假如间歇语句也正确,检查crond服务项目是否开启。
Systemd方式(centos7及以上)
[root@SparkWorker1 spool]# systemctl status crond.service
SysVinit方式(centos7以下)
[root@SparkWorker1 spool]# service crond status
(4)证实间歇各项任务中指示是否继续执行成功
* * * * * python /usr/local/dyserver/dypos.py >> /tmp/dypos.log 2>&1
通过加上“/tmp/dypos.log 2>&1”,就可以很快定位问题,因为这个dypos.py脚本在继续执行的时候会把错误信息都输出到dypos.log 中,接着查看dypos.log文档,难题一目了然:
[root@SparkWorker1 spool]# cat /tmp/dypos.log /bin/sh: python: 未找到指示 /bin/sh: python: 未找到指示
表明python指示没有找到,很明显的就可以确定是环境变量的难题。这种方式定位难题非常有效。