added cancel
[matthijs/upstream/backupninja.git] / backupninja
1 #!/bin/bash
2 #                          |\_
3 # B A C K U P N I N J A   /()/
4 #                         `\|
5 #
6 # Copyright (C) 2004-05 riseup.net -- property is theft.
7 #
8 # This program is free software; you can redistribute it and/or modify
9 # it under the terms of the GNU General Public License as published by
10 # the Free Software Foundation; either version 2 of the License, or
11 # (at your option) any later version.
12 #
13 # This program is distributed in the hope that it will be useful,
14 # but WITHOUT ANY WARRANTY; without even the implied warranty of
15 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
16 # GNU General Public License for more details.
17 #
18
19 #####################################################
20 ## FUNCTIONS
21
22 function setupcolors() {
23         BLUE="\033[34;01m"
24         GREEN="\033[32;01m"
25         YELLOW="\033[33;01m"
26         PURPLE="\033[35;01m"
27         RED="\033[31;01m"
28         OFF="\033[0m"
29         CYAN="\033[36;01m"
30         COLORS=($BLUE $GREEN $YELLOW $RED $PURPLE)
31 }
32
33 function colorize() {
34         if [ "$usecolors" == "yes" ]; then
35                 local typestr=`echo "$@" | sed 's/\(^[^:]*\).*$/\1/'`
36                 [ "$typestr" == "Debug" ] && type=0
37                 [ "$typestr" == "Info" ] && type=1
38                 [ "$typestr" == "Warning" ] && type=2
39                 [ "$typestr" == "Error" ] && type=3
40                 [ "$typestr" == "Fatal" ] && type=4
41                 color=${COLORS[$type]}
42                 endcolor=$OFF
43                 echo -e "$color$@$endcolor"
44         else
45                 echo -e "$@"
46         fi
47 }
48
49 # We have the following message levels:
50 # 0 - debug - blue
51 # 1 - normal messages - green
52 # 2 - warnings - yellow
53 # 3 - errors - orange
54 # 4 - fatal - red
55 # First variable passed is the error level, all others are printed
56
57 # if 1, echo out all warnings, errors, or fatal
58 # used to capture output from handlers
59 echo_debug_msg=0
60
61 usecolors=yes
62
63 function printmsg() {
64         [ ${#@} -gt 1 ] || return
65
66         type=$1
67         shift
68         if [ $type == 100 ]; then
69                 typestr=`echo "$@" | sed 's/\(^[^:]*\).*$/\1/'`
70                 [ "$typestr" == "Debug" ] && type=0
71                 [ "$typestr" == "Info" ] && type=1
72                 [ "$typestr" == "Warning" ] && type=2
73                 [ "$typestr" == "Error" ] && type=3
74                 [ "$typestr" == "Fatal" ] && type=4
75                 typestr=""
76         else
77                 types=(Debug Info Warning Error Fatal)
78                 typestr="${types[$type]}: "
79         fi
80         
81         print=$[4-type]
82         
83         if [ $echo_debug_msg == 1 ]; then
84                 echo -e "$typestr$@" >&2
85         elif [ $debug ]; then
86                 colorize "$typestr$@" >&2
87         fi
88         
89         if [ $print -lt $loglevel ]; then
90                 logmsg "$typestr$@"
91         fi
92 }
93
94 function logmsg() {
95         if [ -w "$logfile" ]; then
96                 echo -e `date "+%h %d %H:%M:%S"` "$@" >> $logfile
97         fi
98 }
99
100 function passthru() {
101         printmsg 100 "$@"
102 }
103 function debug() {
104         printmsg 0 "$@"
105 }
106 function info() {
107         printmsg 1 "$@"
108 }
109 function warning() {
110         printmsg 2 "$@"
111 }
112 function error() {
113         printmsg 3 "$@" 
114 }
115 function fatal() {
116         printmsg 4 "$@"
117         exit 2
118 }
119
120 msgcount=0
121 function msg {
122         messages[$msgcount]=$1
123         let "msgcount += 1"
124 }
125
126 function setfile() {
127         CURRENT_CONF_FILE=$1
128 }
129
130 function setsection() {
131         CURRENT_SECTION=$1
132 }
133
134 #
135 # sets a global var with name equal to $1
136 # to the value of the configuration parameter $1
137 # $2 is the default.
138
139
140 function getconf() {
141         CURRENT_PARAM=$1
142         ret=`awk -f $scriptdir/parseini S=$CURRENT_SECTION P=$CURRENT_PARAM $CURRENT_CONF_FILE`
143         # if nothing is returned, set the default
144         if [ "$ret" == "" -a "$2" != "" ]; then
145                 ret="$2"
146         fi
147
148         # replace * with %, so that it is not globbed.
149         ret="${ret//\\*/__star__}"
150
151         # this is weird, but single quotes are needed to 
152         # allow for returned values with spaces. $ret is still expanded
153         # because it is in an 'eval' statement.
154         eval $1='$ret'
155 }
156
157 #
158 # enforces very strict permissions on configuration file $file.
159 #
160
161 function check_perms() {
162         local file=$1
163         local perms=`ls -ld $file`
164         perms=${perms:4:6}
165         if [ "$perms" != "------" ]; then
166                 echo "Configuration files must not be group or world writable/readable! Dying on file $file"
167                 fatal "Configuration files must not be group or world writable/readable! Dying on file $file"
168         fi
169         if [ `ls -ld $file | awk '{print $3}'` != "root" ]; then
170                 echo "Configuration files must be owned by root! Dying on file $file"
171                 fatal "Configuration files must be owned by root! Dying on file $file"
172         fi
173 }
174
175 # simple lowercase function
176 function tolower() {
177         echo "$1" | tr [:upper:] [:lower:]
178 }
179
180 # simple to integer function
181 function toint() {
182         echo "$1" | tr [:alpha:] -d 
183 }
184
185 #
186 # function isnow(): returns 1 if the time/day passed as $1 matches
187 # the current time/day.
188 #
189 # format is <day> at <time>:
190 #   sunday at 16
191 #   8th at 01
192 #   everyday at 22
193 #
194
195 # we grab the current time once, since processing
196 # all the configs might take more than an hour.
197 nowtime=`date +%H`
198 nowday=`date +%d`
199 nowdayofweek=`date +%A`
200 nowdayofweek=`tolower "$nowdayofweek"`
201
202 function isnow() {
203         local when="$1"
204         set -- $when
205         whendayofweek=$1; at=$2; whentime=$3;
206         whenday=`toint "$whendayofweek"`
207         whendayofweek=`tolower "$whendayofweek"`
208         whentime=`echo "$whentime" | sed 's/:[0-9][0-9]$//' | sed -r 's/^([0-9])$/0\1/'`
209
210         if [ "$whendayofweek" == "everyday" -o "$whendayofweek" == "daily" ]; then
211                 whendayofweek=$nowdayofweek
212         fi
213
214         if [ "$whenday" == "" ]; then
215                 if [ "$whendayofweek" != "$nowdayofweek" ]; then
216                         whendayofweek=${whendayofweek%s}
217                         if [ "$whendayofweek" != "$nowdayofweek" ]; then
218                                 return 0
219                         fi
220                 fi
221         elif [ "$whenday" != "$nowday" ]; then
222                 return 0
223         fi
224
225         [ "$at" == "at" ] || return 0
226         [ "$whentime" == "$nowtime" ] || return 0
227
228         return 1
229 }
230
231 function usage() {
232         cat << EOF
233 $0 usage:
234 This script allows you to coordinate system backup by dropping a few
235 simple configuration files into /etc/backup.d/. Typically, this
236 script is run hourly from cron.
237
238 The following options are available:
239 -h, --help           This usage message
240 -d, --debug          Run in debug mode, where all log messages are
241                      output to the current shell.
242 -f, --conffile FILE  Use FILE for the main configuration instead
243                      of /etc/backupninja.conf
244 -t, --test           Test run mode. This will test if the backup
245                      could run, without actually preforming any
246                      backups. For example, it will attempt to authenticate
247                      or test that ssh keys are set correctly.
248 -n, --now            Perform actions now, instead of when they might
249                      be scheduled. No output will be created unless also
250                      run with -d.
251     --run FILE       Execute the specified action file and then exit.    
252                      Also puts backupninja in debug mode.
253                      
254 When in debug mode, output to the console will be colored:
255 EOF
256         debug=1
257         debug   "Debugging info (when run with -d)"
258         info    "Informational messages (verbosity level 4)"
259         warning "Warnings (verbosity level 3 and up)"
260         error   "Errors (verbosity level 2 and up)"
261         fatal   "Fatal, halting errors (always shown)"
262 }
263
264 ##
265 ## this function handles the running of a backup action
266 ##
267 ## these globals are modified:
268 ## fatals, errors, warnings, actions_run, errormsg
269 ##
270
271 function process_action() {
272         local file="$1"
273         local suffix="$2"
274
275         setfile $file
276
277         # skip over this config if "when" option
278         # is not set to the current time.
279         getconf when "$defaultwhen"
280         if [ "$processnow" == 1 ]; then
281                 info ">>>> starting action $file (because of --now)"
282         elif [ "$when" == "hourly" ]; then
283                 info ">>>> starting action $file (because 'when = hourly')"
284         else
285                 IFS=$'\t\n'
286                 for w in $when; do
287                         IFS=$' \t\n'
288                         isnow "$w"
289                         ret=$?
290                         IFS=$'\t\n'
291                         if [ $ret == 0 ]; then
292                                 debug "skipping $file because it is not $w"
293                                 return
294                         else
295                                 info ">>>> starting action $file (because it is $w)"
296                         fi
297                 done
298                 IFS=$' \t\n'
299         fi
300         
301         let "actions_run += 1"
302
303         # call the handler:
304         local bufferfile="/tmp/backupninja.buffer.$$"
305         echo "" > $bufferfile
306         echo_debug_msg=1
307         (
308                 . $scriptdir/$suffix $file
309         ) 2>&1 | (
310                 while read a; do
311                         echo $a >> $bufferfile
312                         [ $debug ] && colorize "$a"
313                 done
314         )
315         retcode=$?
316         # ^^^^^^^^ we have a problem! we can't grab the return code "$?". grrr.
317         echo_debug_msg=0
318
319         _warnings=`cat $bufferfile | grep "^Warning: " | wc -l`
320         _errors=`cat $bufferfile | grep "^Error: " | wc -l`
321         _fatals=`cat $bufferfile | grep "^Fatal: " | wc -l`
322         
323         ret=`grep "\(^Warning: \|^Error: \|^Fatal: \)" $bufferfile`
324         rm $bufferfile
325         if [ $_fatals != 0 ]; then
326                 msg "*failed* -- $file"
327                 errormsg="$errormsg\n== fatal errors from $file ==\n\n$ret\n"
328                 passthru "Fatal: <<<< finished action $file: FAILED"
329         elif [ $_errors != 0 ]; then
330                 msg "*error* -- $file"
331                 errormsg="$errormsg\n== errors from $file ==\n\n$ret\n"
332                 error "<<<< finished action $file: ERROR"
333         elif [ $_warnings != 0 ]; then
334                 msg "*warning* -- $file"
335                 errormsg="$errormsg\n== warnings from $file ==\n\n$ret\n"
336                 warning "<<<< finished action $file: WARNING"
337         else
338                 msg "success -- $file"
339                 info "<<<< finished action $file: SUCCESS"
340         fi
341
342         let "fatals += _fatals"
343         let "errors += _errors"
344         let "warnings += _warnings"     
345 }
346
347 #####################################################
348 ## MAIN
349
350 setupcolors
351 conffile="/etc/backupninja.conf"
352 loglevel=3
353
354 ## process command line options
355
356 while [ $# -ge 1 ]; do
357         case $1 in
358                 -h|--help) usage;;
359                 -d|--debug) debug=1;;
360                 -t|--test) test=1;debug=1;;
361                 -n|--now) processnow=1;;
362                 -f|--conffile)
363                         if [ -f $2 ]; then
364                                 conffile=$2
365                         else
366                                 echo "-f|--conffile option must be followed by an existing filename"
367                                 fatal "-f|--conffile option must be followed by an existing filename"
368                                 usage
369                         fi
370                         # we shift here to avoid processing the file path 
371                         shift
372                         ;;
373                 --run)
374                         debug=1
375                         if [ -f $2 ]; then
376                                 singlerun=$2
377                                 processnow=1
378                         else
379                                 echo "--run option must be fallowed by a backupninja action file"
380                                 fatal "--run option must be fallowed by a backupninja action file"
381                                 usage
382                         fi
383                         shift
384                         ;;
385                 *)
386                         debug=1
387                         echo "Unknown option $1"
388                         fatal "Unknown option $1"
389                         usage
390                         exit
391                         ;;
392         esac
393         shift
394 done                                                                                                                                                                                                            
395
396 #if [ $debug ]; then
397 #       usercolors=yes
398 #fi
399
400 ## Load and confirm basic configuration values
401
402 # bootstrap
403 if [ ! -r "$conffile" ]; then
404         echo "Configuration file $conffile not found." 
405         fatal "Configuration file $conffile not found."
406 fi
407
408 scriptdir=`grep scriptdirectory $conffile | awk '{print $3}'`
409 if [ ! -n "$scriptdir" ]; then
410         echo "Cound not find entry 'scriptdirectory' in $conffile" 
411         fatal "Cound not find entry 'scriptdirectory' in $conffile"
412 fi
413
414 if [ ! -d "$scriptdir" ]; then
415         echo "Script directory $scriptdir not found." 
416         fatal "Script directory $scriptdir not found."
417 fi
418
419 setfile $conffile
420
421 # get global config options (second param is the default)
422 getconf configdirectory /etc/backup.d
423 getconf reportemail
424 getconf reportsuccess yes
425 getconf reportwarning yes
426 getconf loglevel 3
427 getconf when "Everyday at 01:00"
428 defaultwhen=$when
429 getconf logfile /var/log/backupninja.log
430 getconf usecolors "yes"
431 getconf SLAPCAT /usr/sbin/slapcat
432 getconf LDAPSEARCH /usr/bin/ldapsearch
433 getconf RDIFFBACKUP /usr/bin/rdiff-backup
434 getconf MYSQL /usr/bin/mysql
435 getconf MYSQLHOTCOPY /usr/bin/mysqlhotcopy
436 getconf MYSQLDUMP /usr/bin/mysqldump
437 getconf GZIP /bin/gzip
438 getconf RSYNC /usr/bin/rsync
439 getconf vservers no
440 getconf VSERVERINFO /usr/sbin/vserver-info
441 getconf VSERVER /usr/sbin/vserver
442 getconf VROOTDIR `if [ -f "$VSERVERINFO" ]; then $VSERVERINFO info SYSINFO |grep vserver-Rootdir | awk '{print $2}'; fi`
443
444 if [ ! -d "$configdirectory" ]; then
445         echo "Configuration directory '$configdirectory' not found."
446         fatal "Configuration directory '$configdirectory' not found."
447 fi
448
449 [ -f "$logfile" ] || touch $logfile
450
451 if [ "$UID" != "0" ]; then
452         echo "$0 can only be run as root"
453         exit 1
454 fi
455
456 if [ "$vservers" == "yes" -a ! -d "$VROOTDIR" ]; then
457         echo "vservers option set in config, but $VROOTDIR is not a directory!"
458         fatal "vservers option set in config, but $VROOTDIR is not a directory!"
459 fi
460
461 ## Process each configuration file
462
463 # by default, don't make files which are world or group readable.
464 umask 077
465
466 # these globals are set by process_action()
467 fatals=0
468 errors=0
469 warnings=0
470 actions_run=0
471 errormsg=""
472
473 if [ "$singlerun" ]; then
474         files=$singlerun
475 else
476         files=`find $configdirectory -mindepth 1 | sort -n`
477 fi
478
479 for file in $files; do
480         [ -f "$file" ] || continue
481
482         check_perms $file
483         suffix="${file##*.}"
484         base=`basename $file`
485         if [ "${base:0:1}" == "0" -o "$suffix" == "disabled" ]; then
486                 info "Skipping $file"
487                 continue
488         fi
489
490         if [ -e "$scriptdir/$suffix" ]; then
491                 process_action $file $suffix
492         else
493                 error "Can't process file '$file': no handler script for suffix '$suffix'"
494                 msg "*missing handler* -- $file"
495         fi
496 done
497
498 ## mail the messages to the report address
499
500 if [ $actions_run == 0 ]; then doit=0
501 elif [ "$reportemail" == "" ]; then doit=0
502 elif [ $fatals != 0 ]; then doit=1
503 elif [ $errors != 0 ]; then doit=1
504 elif [ "$reportsuccess" == "yes" ]; then doit=1
505 elif [ "$reportwarning" == "yes" -a $warnings != 0 ]; then doit=1
506 else doit=0
507 fi
508
509 if [ $doit == 1 ]; then
510         debug "send report to $reportemail"
511         hostname=`hostname`
512         [ $warnings == 0 ] || subject="WARNING"
513         [ $errors == 0 ] || subject="ERROR"
514         [ $fatals == 0 ] || subject="FAILED"
515         
516         {
517                 for ((i=0; i < ${#messages[@]} ; i++)); do
518                         echo ${messages[$i]}
519                 done
520                 echo -e "$errormsg"
521         } | mail $reportemail -s "backupninja: $hostname $subject"
522 fi
523
524 if [ $actions_run != 0 ]; then
525         info "FINISHED: $actions_run actions run. $fatals fatal. $errors error. $warnings warning."
526 fi