fixed many bugs in rdiff.helper
[matthijs/upstream/backupninja.git] / backupninja
1 #!/bin/bash
2 #                          |\_
3 # B A C K U P N I N J A   /()/
4 #                         `\|
5 #
6 # Copyright (C) 2004-05 riseup.net -- property is theft.
7 #
8 # This program is free software; you can redistribute it and/or modify
9 # it under the terms of the GNU General Public License as published by
10 # the Free Software Foundation; either version 2 of the License, or
11 # (at your option) any later version.
12 #
13 # This program is distributed in the hope that it will be useful,
14 # but WITHOUT ANY WARRANTY; without even the implied warranty of
15 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
16 # GNU General Public License for more details.
17 #
18
19 #####################################################
20 ## FUNCTIONS
21
22 function setupcolors() {
23         BLUE="\033[34;01m"
24         GREEN="\033[32;01m"
25         YELLOW="\033[33;01m"
26         PURPLE="\033[35;01m"
27         RED="\033[31;01m"
28         OFF="\033[0m"
29         CYAN="\033[36;01m"
30         COLORS=($BLUE $GREEN $YELLOW $RED $PURPLE)
31 }
32
33 function colorize() {
34         if [ "$usecolors" == "yes" ]; then
35                 local typestr=`echo "$@" | sed 's/\(^[^:]*\).*$/\1/'`
36                 [ "$typestr" == "Debug" ] && type=0
37                 [ "$typestr" == "Info" ] && type=1
38                 [ "$typestr" == "Warning" ] && type=2
39                 [ "$typestr" == "Error" ] && type=3
40                 [ "$typestr" == "Fatal" ] && type=4
41                 color=${COLORS[$type]}
42                 endcolor=$OFF
43                 echo -e "$color$@$endcolor"
44         else
45                 echo -e "$@"
46         fi
47 }
48
49 # We have the following message levels:
50 # 0 - debug - blue
51 # 1 - normal messages - green
52 # 2 - warnings - yellow
53 # 3 - errors - orange
54 # 4 - fatal - red
55 # First variable passed is the error level, all others are printed
56
57 # if 1, echo out all warnings, errors, or fatal
58 # used to capture output from handlers
59 echo_debug_msg=0
60
61 usecolors=yes
62
63 function printmsg() {
64         [ ${#@} -gt 1 ] || return
65
66         type=$1
67         shift
68         if [ $type == 100 ]; then
69                 typestr=`echo "$@" | sed 's/\(^[^:]*\).*$/\1/'`
70                 [ "$typestr" == "Debug" ] && type=0
71                 [ "$typestr" == "Info" ] && type=1
72                 [ "$typestr" == "Warning" ] && type=2
73                 [ "$typestr" == "Error" ] && type=3
74                 [ "$typestr" == "Fatal" ] && type=4
75                 typestr=""
76         else
77                 types=(Debug Info Warning Error Fatal)
78                 typestr="${types[$type]}: "
79         fi
80         
81         print=$[4-type]
82         
83         if [ $echo_debug_msg == 1 ]; then
84                 echo -e "$typestr$@" >&2
85         elif [ $debug ]; then
86                 colorize "$typestr$@" >&2
87         fi
88         
89         if [ $print -lt $loglevel ]; then
90                 logmsg "$typestr$@"
91         fi
92 }
93
94 function logmsg() {
95         if [ -w "$logfile" ]; then
96                 echo -e `date "+%h %d %H:%M:%S"` "$@" >> $logfile
97         fi
98 }
99
100 function passthru() {
101         printmsg 100 "$@"
102 }
103 function debug() {
104         printmsg 0 "$@"
105 }
106 function info() {
107         printmsg 1 "$@"
108 }
109 function warning() {
110         printmsg 2 "$@"
111 }
112 function error() {
113         printmsg 3 "$@" 
114 }
115 function fatal() {
116         printmsg 4 "$@"
117         exit 2
118 }
119
120 msgcount=0
121 function msg {
122         messages[$msgcount]=$1
123         let "msgcount += 1"
124 }
125
126 function setfile() {
127         CURRENT_CONF_FILE=$1
128 }
129
130 function setsection() {
131         CURRENT_SECTION=$1
132 }
133
134
135 #
136 # create a temporary file in a secure way.
137 #
138 function maketemp() {
139         if [ -x /bin/mktemp ]
140         then
141                 local tempfile=`mktemp /tmp/$1.XXXXXXXX`
142         else
143                 DATE=`date`
144                 sectmp=`echo $DATE | /usr/bin/md5sum | cut -d- -f1`
145                 local tempfile=/tmp/$1.$sectmp
146         fi
147         echo $tempfile
148 }
149
150
151 #
152 # sets a global var with name equal to $1
153 # to the value of the configuration parameter $1
154 # $2 is the default.
155
156
157 function getconf() {
158         CURRENT_PARAM=$1
159         ret=`awk -f $scriptdir/parseini S=$CURRENT_SECTION P=$CURRENT_PARAM $CURRENT_CONF_FILE`
160         # if nothing is returned, set the default
161         if [ "$ret" == "" -a "$2" != "" ]; then
162                 ret="$2"
163         fi
164
165         # replace * with %, so that it is not globbed.
166         ret="${ret//\\*/__star__}"
167
168         # this is weird, but single quotes are needed to 
169         # allow for returned values with spaces. $ret is still expanded
170         # because it is in an 'eval' statement.
171         eval $1='$ret'
172 }
173
174 #
175 # enforces very strict permissions on configuration file $file.
176 #
177
178 function check_perms() {
179         local file=$1
180         local perms=`ls -ld $file`
181         perms=${perms:4:6}
182         if [ "$perms" != "------" ]; then
183                 echo "Configuration files must not be group or world writable/readable! Dying on file $file"
184                 fatal "Configuration files must not be group or world writable/readable! Dying on file $file"
185         fi
186         if [ `ls -ld $file | awk '{print $3}'` != "root" ]; then
187                 echo "Configuration files must be owned by root! Dying on file $file"
188                 fatal "Configuration files must be owned by root! Dying on file $file"
189         fi
190 }
191
192 # simple lowercase function
193 function tolower() {
194         echo "$1" | tr [:upper:] [:lower:]
195 }
196
197 # simple to integer function
198 function toint() {
199         echo "$1" | tr [:alpha:] -d 
200 }
201
202 #
203 # function isnow(): returns 1 if the time/day passed as $1 matches
204 # the current time/day.
205 #
206 # format is <day> at <time>:
207 #   sunday at 16
208 #   8th at 01
209 #   everyday at 22
210 #
211
212 # we grab the current time once, since processing
213 # all the configs might take more than an hour.
214 nowtime=`date +%H`
215 nowday=`date +%d`
216 nowdayofweek=`date +%A`
217 nowdayofweek=`tolower "$nowdayofweek"`
218
219 function isnow() {
220         local when="$1"
221         set -- $when
222         whendayofweek=$1; at=$2; whentime=$3;
223         whenday=`toint "$whendayofweek"`
224         whendayofweek=`tolower "$whendayofweek"`
225         whentime=`echo "$whentime" | sed 's/:[0-9][0-9]$//' | sed -r 's/^([0-9])$/0\1/'`
226
227         if [ "$whendayofweek" == "everyday" -o "$whendayofweek" == "daily" ]; then
228                 whendayofweek=$nowdayofweek
229         fi
230
231         if [ "$whenday" == "" ]; then
232                 if [ "$whendayofweek" != "$nowdayofweek" ]; then
233                         whendayofweek=${whendayofweek%s}
234                         if [ "$whendayofweek" != "$nowdayofweek" ]; then
235                                 return 0
236                         fi
237                 fi
238         elif [ "$whenday" != "$nowday" ]; then
239                 return 0
240         fi
241
242         [ "$at" == "at" ] || return 0
243         [ "$whentime" == "$nowtime" ] || return 0
244
245         return 1
246 }
247
248 function usage() {
249         cat << EOF
250 $0 usage:
251 This script allows you to coordinate system backup by dropping a few
252 simple configuration files into /etc/backup.d/. Typically, this
253 script is run hourly from cron.
254
255 The following options are available:
256 -h, --help           This usage message
257 -d, --debug          Run in debug mode, where all log messages are
258                      output to the current shell.
259 -f, --conffile FILE  Use FILE for the main configuration instead
260                      of /etc/backupninja.conf
261 -t, --test           Test run mode. This will test if the backup
262                      could run, without actually preforming any
263                      backups. For example, it will attempt to authenticate
264                      or test that ssh keys are set correctly.
265 -n, --now            Perform actions now, instead of when they might
266                      be scheduled. No output will be created unless also
267                      run with -d.
268     --run FILE       Execute the specified action file and then exit.    
269                      Also puts backupninja in debug mode.
270                      
271 When in debug mode, output to the console will be colored:
272 EOF
273         debug=1
274         debug   "Debugging info (when run with -d)"
275         info    "Informational messages (verbosity level 4)"
276         warning "Warnings (verbosity level 3 and up)"
277         error   "Errors (verbosity level 2 and up)"
278         fatal   "Fatal, halting errors (always shown)"
279 }
280
281 ##
282 ## this function handles the running of a backup action
283 ##
284 ## these globals are modified:
285 ## fatals, errors, warnings, actions_run, errormsg
286 ##
287
288 function process_action() {
289         local file="$1"
290         local suffix="$2"
291         local run="no"
292         setfile $file
293
294         # skip over this config if "when" option
295         # is not set to the current time.
296         getconf when "$defaultwhen"
297         if [ "$processnow" == 1 ]; then
298                 info ">>>> starting action $file (because of --now)"
299                 run="yes"
300         elif [ "$when" == "hourly" ]; then
301                 info ">>>> starting action $file (because 'when = hourly')"
302                 run="yes"
303         else
304                 IFS=$'\t\n'
305                 for w in $when; do
306                         IFS=$' \t\n'
307                         isnow "$w"
308                         ret=$?
309                         IFS=$'\t\n'
310                         if [ $ret == 0 ]; then
311                                 debug "skipping $file because it is not $w"
312                         else
313                                 info ">>>> starting action $file (because it is $w)"
314                                 run="yes"
315                         fi
316                 done
317                 IFS=$' \t\n'
318         fi
319         debug $run
320         [ "$run" == "no" ] && return
321         
322         let "actions_run += 1"
323
324         # call the handler:
325         local bufferfile=`maketemp backupninja.buffer`
326         echo "" > $bufferfile
327         echo_debug_msg=1
328         (
329                 . $scriptdir/$suffix $file
330         ) 2>&1 | (
331                 while read a; do
332                         echo $a >> $bufferfile
333                         [ $debug ] && colorize "$a"
334                 done
335         )
336         retcode=$?
337         # ^^^^^^^^ we have a problem! we can't grab the return code "$?". grrr.
338         echo_debug_msg=0
339
340         _warnings=`cat $bufferfile | grep "^Warning: " | wc -l`
341         _errors=`cat $bufferfile | grep "^Error: " | wc -l`
342         _fatals=`cat $bufferfile | grep "^Fatal: " | wc -l`
343         
344         ret=`grep "\(^Warning: \|^Error: \|^Fatal: \)" $bufferfile`
345         rm $bufferfile
346         if [ $_fatals != 0 ]; then
347                 msg "*failed* -- $file"
348                 errormsg="$errormsg\n== fatal errors from $file ==\n\n$ret\n"
349                 passthru "Fatal: <<<< finished action $file: FAILED"
350         elif [ $_errors != 0 ]; then
351                 msg "*error* -- $file"
352                 errormsg="$errormsg\n== errors from $file ==\n\n$ret\n"
353                 error "<<<< finished action $file: ERROR"
354         elif [ $_warnings != 0 ]; then
355                 msg "*warning* -- $file"
356                 errormsg="$errormsg\n== warnings from $file ==\n\n$ret\n"
357                 warning "<<<< finished action $file: WARNING"
358         else
359                 msg "success -- $file"
360                 info "<<<< finished action $file: SUCCESS"
361         fi
362
363         let "fatals += _fatals"
364         let "errors += _errors"
365         let "warnings += _warnings"     
366 }
367
368 #####################################################
369 ## MAIN
370
371 setupcolors
372 conffile="/etc/backupninja.conf"
373 loglevel=3
374
375 ## process command line options
376
377 while [ $# -ge 1 ]; do
378         case $1 in
379                 -h|--help) usage;;
380                 -d|--debug) debug=1;;
381                 -t|--test) test=1;debug=1;;
382                 -n|--now) processnow=1;;
383                 -f|--conffile)
384                         if [ -f $2 ]; then
385                                 conffile=$2
386                         else
387                                 echo "-f|--conffile option must be followed by an existing filename"
388                                 fatal "-f|--conffile option must be followed by an existing filename"
389                                 usage
390                         fi
391                         # we shift here to avoid processing the file path 
392                         shift
393                         ;;
394                 --run)
395                         debug=1
396                         if [ -f $2 ]; then
397                                 singlerun=$2
398                                 processnow=1
399                         else
400                                 echo "--run option must be fallowed by a backupninja action file"
401                                 fatal "--run option must be fallowed by a backupninja action file"
402                                 usage
403                         fi
404                         shift
405                         ;;
406                 *)
407                         debug=1
408                         echo "Unknown option $1"
409                         fatal "Unknown option $1"
410                         usage
411                         exit
412                         ;;
413         esac
414         shift
415 done                                                                                                                                                                                                            
416
417 #if [ $debug ]; then
418 #       usercolors=yes
419 #fi
420
421 ## Load and confirm basic configuration values
422
423 # bootstrap
424 if [ ! -r "$conffile" ]; then
425         echo "Configuration file $conffile not found." 
426         fatal "Configuration file $conffile not found."
427 fi
428
429 scriptdir=`grep scriptdirectory $conffile | awk '{print $3}'`
430 if [ ! -n "$scriptdir" ]; then
431         echo "Cound not find entry 'scriptdirectory' in $conffile" 
432         fatal "Cound not find entry 'scriptdirectory' in $conffile"
433 fi
434
435 if [ ! -d "$scriptdir" ]; then
436         echo "Script directory $scriptdir not found." 
437         fatal "Script directory $scriptdir not found."
438 fi
439
440 setfile $conffile
441
442 # get global config options (second param is the default)
443 getconf configdirectory /etc/backup.d
444 getconf reportemail
445 getconf reportsuccess yes
446 getconf reportwarning yes
447 getconf loglevel 3
448 getconf when "Everyday at 01:00"
449 defaultwhen=$when
450 getconf logfile /var/log/backupninja.log
451 getconf usecolors "yes"
452 getconf SLAPCAT /usr/sbin/slapcat
453 getconf LDAPSEARCH /usr/bin/ldapsearch
454 getconf RDIFFBACKUP /usr/bin/rdiff-backup
455 getconf MYSQL /usr/bin/mysql
456 getconf MYSQLHOTCOPY /usr/bin/mysqlhotcopy
457 getconf MYSQLDUMP /usr/bin/mysqldump
458 getconf PGSQLDUMP /usr/bin/pg_dump
459 getconf PGSQLDUMPALL /usr/bin/pg_dumpall
460 getconf GZIP /bin/gzip
461 getconf RSYNC /usr/bin/rsync
462 getconf vservers no
463 getconf VSERVERINFO /usr/sbin/vserver-info
464 getconf VSERVER /usr/sbin/vserver
465 getconf VROOTDIR `if [ -f "$VSERVERINFO" ]; then $VSERVERINFO info SYSINFO |grep vserver-Rootdir | awk '{print $2}'; fi`
466
467 if [ ! -d "$configdirectory" ]; then
468         echo "Configuration directory '$configdirectory' not found."
469         fatal "Configuration directory '$configdirectory' not found."
470 fi
471
472 [ -f "$logfile" ] || touch $logfile
473
474 if [ "$UID" != "0" ]; then
475         echo "$0 can only be run as root"
476         exit 1
477 fi
478
479 if [ "$vservers" == "yes" -a ! -d "$VROOTDIR" ]; then
480         echo "vservers option set in config, but $VROOTDIR is not a directory!"
481         fatal "vservers option set in config, but $VROOTDIR is not a directory!"
482 fi
483
484 ## Process each configuration file
485
486 # by default, don't make files which are world or group readable.
487 umask 077
488
489 # these globals are set by process_action()
490 fatals=0
491 errors=0
492 warnings=0
493 actions_run=0
494 errormsg=""
495
496 if [ "$singlerun" ]; then
497         files=$singlerun
498 else
499         files=`find $configdirectory -mindepth 1 ! -name '.*.swp' | sort -n`
500 fi
501
502 for file in $files; do
503         [ -f "$file" ] || continue
504
505         check_perms $file
506         suffix="${file##*.}"
507         base=`basename $file`
508         if [ "${base:0:1}" == "0" -o "$suffix" == "disabled" ]; then
509                 info "Skipping $file"
510                 continue
511         fi
512
513         if [ -e "$scriptdir/$suffix" ]; then
514                 process_action $file $suffix
515         else
516                 error "Can't process file '$file': no handler script for suffix '$suffix'"
517                 msg "*missing handler* -- $file"
518         fi
519 done
520
521 ## mail the messages to the report address
522
523 if [ $actions_run == 0 ]; then doit=0
524 elif [ "$reportemail" == "" ]; then doit=0
525 elif [ $fatals != 0 ]; then doit=1
526 elif [ $errors != 0 ]; then doit=1
527 elif [ "$reportsuccess" == "yes" ]; then doit=1
528 elif [ "$reportwarning" == "yes" -a $warnings != 0 ]; then doit=1
529 else doit=0
530 fi
531
532 if [ $doit == 1 ]; then
533         debug "send report to $reportemail"
534         hostname=`hostname`
535         [ $warnings == 0 ] || subject="WARNING"
536         [ $errors == 0 ] || subject="ERROR"
537         [ $fatals == 0 ] || subject="FAILED"
538         
539         {
540                 for ((i=0; i < ${#messages[@]} ; i++)); do
541                         echo ${messages[$i]}
542                 done
543                 echo -e "$errormsg"
544         } | mail $reportemail -s "backupninja: $hostname $subject"
545 fi
546
547 if [ $actions_run != 0 ]; then
548         info "FINISHED: $actions_run actions run. $fatals fatal. $errors error. $warnings warning."
549 fi