backupninja

   1 #!/bin/bash
   2 #                          |\_
   3 # B A C K U P N I N J A   /()/
   4 #                         `\|
   5 #
   6 # Copyright (C) 2004-05 riseup.net -- property is theft.
   7 #
   8 # This program is free software; you can redistribute it and/or modify
   9 # it under the terms of the GNU General Public License as published by
  10 # the Free Software Foundation; either version 2 of the License, or
  11 # (at your option) any later version.
  12 #
  13 # This program is distributed in the hope that it will be useful,
  14 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  15 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  16 # GNU General Public License for more details.
  17 #
  18
  19 #####################################################
  20 ## FUNCTIONS
  21
  22 function setupcolors() {
  23         BLUE="\033[34;01m"
  24         GREEN="\033[32;01m"
  25         YELLOW="\033[33;01m"
  26         PURPLE="\033[35;01m"
  27         RED="\033[31;01m"
  28         OFF="\033[0m"
  29         CYAN="\033[36;01m"
  30         COLORS=($BLUE $GREEN $YELLOW $RED $PURPLE)
  31 }
  32
  33 function colorize() {
  34         if [ "$usecolors" == "yes" ]; then
  35                 local typestr=`echo "$@" | sed 's/\(^[^:]*\).*$/\1/'`
  36                 [ "$typestr" == "Debug" ] && type=0
  37                 [ "$typestr" == "Info" ] && type=1
  38                 [ "$typestr" == "Warning" ] && type=2
  39                 [ "$typestr" == "Error" ] && type=3
  40                 [ "$typestr" == "Fatal" ] && type=4
  41                 color=${COLORS[$type]}
  42                 endcolor=$OFF
  43                 echo -e "$color$@$endcolor"
  44         else
  45                 echo -e "$@"
  46         fi
  47 }
  48
  49 # We have the following message levels:
  50 # 0 - debug - blue
  51 # 1 - normal messages - green
  52 # 2 - warnings - yellow
  53 # 3 - errors - orange
  54 # 4 - fatal - red
  55 # First variable passed is the error level, all others are printed
  56
  57 # if 1, echo out all warnings, errors, or fatal
  58 # used to capture output from handlers
  59 echo_debug_msg=0
  60
  61 usecolors=yes
  62
  63 function printmsg() {
  64         [ ${#@} -gt 1 ] || return
  65
  66         type=$1
  67         shift
  68         if [ $type == 100 ]; then
  69                 typestr=`echo "$@" | sed 's/\(^[^:]*\).*$/\1/'`
  70                 [ "$typestr" == "Debug" ] && type=0
  71                 [ "$typestr" == "Info" ] && type=1
  72                 [ "$typestr" == "Warning" ] && type=2
  73                 [ "$typestr" == "Error" ] && type=3
  74                 [ "$typestr" == "Fatal" ] && type=4
  75                 typestr=""
  76         else
  77                 types=(Debug Info Warning Error Fatal)
  78                 typestr="${types[$type]}: "
  79         fi
  80
  81         print=$[4-type]
  82
  83         if [ $echo_debug_msg == 1 ]; then
  84                 echo -e "$typestr$@" >&2
  85         elif [ $debug ]; then
  86                 colorize "$typestr$@" >&2
  87         fi
  88
  89         if [ $print -lt $loglevel ]; then
  90                 logmsg "$typestr$@"
  91         fi
  92 }
  93
  94 function logmsg() {
  95         if [ -w "$logfile" ]; then
  96                 echo -e `date "+%h %d %H:%M:%S"` "$@" >> $logfile
  97         fi
  98 }
  99
 100 function passthru() {
 101         printmsg 100 "$@"
 102 }
 103 function debug() {
 104         printmsg 0 "$@"
 105 }
 106 function info() {
 107         printmsg 1 "$@"
 108 }
 109 function warning() {
 110         printmsg 2 "$@"
 111 }
 112 function error() {
 113         printmsg 3 "$@"
 114 }
 115 function fatal() {
 116         printmsg 4 "$@"
 117         exit 2
 118 }
 119
 120 msgcount=0
 121 function msg {
 122         messages[$msgcount]=$1
 123         let "msgcount += 1"
 124 }
 125
 126 function setfile() {
 127         CURRENT_CONF_FILE=$1
 128 }
 129
 130 function setsection() {
 131         CURRENT_SECTION=$1
 132 }
 133
 134 #
 135 # sets a global var with name equal to $1
 136 # to the value of the configuration parameter $1
 137 # $2 is the default.
 138 #
 139
 140 function getconf() {
 141         CURRENT_PARAM=$1
 142         ret=`awk -f $scriptdir/parseini S=$CURRENT_SECTION P=$CURRENT_PARAM $CURRENT_CONF_FILE`
 143         # if nothing is returned, set the default
 144         if [ "$ret" == "" -a "$2" != "" ]; then
 145                 ret="$2"
 146         fi
 147
 148         # replace * with %, so that it is not globbed.
 149         ret="${ret//\\*/__star__}"
 150
 151         # this is weird, but single quotes are needed to
 152         # allow for returned values with spaces. $ret is still expanded
 153         # because it is in an 'eval' statement.
 154         eval $1='$ret'
 155 }
 156
 157 #
 158 # enforces very strict permissions on configuration file $file.
 159 #
 160
 161 function check_perms() {
 162         local file=$1
 163         local perms=`ls -ld $file`
 164         perms=${perms:4:6}
 165         if [ "$perms" != "------" ]; then
 166                 echo "Configuration files must not be group or world writable/readable! Dying on file $file"
 167                 fatal "Configuration files must not be group or world writable/readable! Dying on file $file"
 168         fi
 169         if [ `ls -ld $file | awk '{print $3}'` != "root" ]; then
 170                 echo "Configuration files must be owned by root! Dying on file $file"
 171                 fatal "Configuration files must be owned by root! Dying on file $file"
 172         fi
 173 }
 174
 175 # simple lowercase function
 176 function tolower() {
 177         echo "$1" | tr [:upper:] [:lower:]
 178 }
 179
 180 # simple to integer function
 181 function toint() {
 182         echo "$1" | tr [:alpha:] -d
 183 }
 184
 185 #
 186 # function isnow(): returns 1 if the time/day passed as $1 matches
 187 # the current time/day.
 188 #
 189 # format is <day> at <time>:
 190 #   sunday at 16
 191 #   8th at 01
 192 #   everyday at 22
 193 #
 194
 195 # we grab the current time once, since processing
 196 # all the configs might take more than an hour.
 197 nowtime=`date +%H`
 198 nowday=`date +%d`
 199 nowdayofweek=`date +%A`
 200 nowdayofweek=`tolower "$nowdayofweek"`
 201
 202 function isnow() {
 203         local when="$1"
 204         set -- $when
 205         whendayofweek=$1; at=$2; whentime=$3;
 206         whenday=`toint "$whendayofweek"`
 207         whendayofweek=`tolower "$whendayofweek"`
 208         whentime=`echo "$whentime" | sed 's/:[0-9][0-9]$//' | sed -r 's/^([0-9])$/0\1/'`
 209
 210         if [ "$whendayofweek" == "everyday" -o "$whendayofweek" == "daily" ]; then
 211                 whendayofweek=$nowdayofweek
 212         fi
 213
 214         if [ "$whenday" == "" ]; then
 215                 if [ "$whendayofweek" != "$nowdayofweek" ]; then
 216                         whendayofweek=${whendayofweek%s}
 217                         if [ "$whendayofweek" != "$nowdayofweek" ]; then
 218                                 return 0
 219                         fi
 220                 fi
 221         elif [ "$whenday" != "$nowday" ]; then
 222                 return 0
 223         fi
 224
 225         [ "$at" == "at" ] || return 0
 226         [ "$whentime" == "$nowtime" ] || return 0
 227
 228         return 1
 229 }
 230
 231 function usage() {
 232         cat << EOF
 233 $0 usage:
 234 This script allows you to coordinate system backup by dropping a few
 235 simple configuration files into /etc/backup.d/. Typically, this
 236 script is run hourly from cron.
 237
 238 The following options are available:
 239 -h, --help           This usage message
 240 -d, --debug          Run in debug mode, where all log messages are
 241                      output to the current shell.
 242 -f, --conffile FILE  Use FILE for the main configuration instead
 243                      of /etc/backupninja.conf
 244 -t, --test           Test run mode. This will test if the backup
 245                      could run, without actually preforming any
 246                      backups. For example, it will attempt to authenticate
 247                      or test that ssh keys are set correctly.
 248 -n, --now            Perform actions now, instead of when they might
 249                      be scheduled. No output will be created unless also
 250                      run with -d.
 251     --run FILE       Execute the specified action file and then exit.
 252                      Also puts backupninja in debug mode.
 253
 254 When in debug mode, output to the console will be colored:
 255 EOF
 256         debug=1
 257         debug   "Debugging info (when run with -d)"
 258         info    "Informational messages (verbosity level 4)"
 259         warning "Warnings (verbosity level 3 and up)"
 260         error   "Errors (verbosity level 2 and up)"
 261         fatal   "Fatal, halting errors (always shown)"
 262 }
 263
 264 ##
 265 ## this function handles the running of a backup action
 266 ##
 267 ## these globals are modified:
 268 ## fatals, errors, warnings, actions_run, errormsg
 269 ##
 270
 271 function process_action() {
 272         local file="$1"
 273         local suffix="$2"
 274         local run="no"
 275         setfile $file
 276
 277         # skip over this config if "when" option
 278         # is not set to the current time.
 279         getconf when "$defaultwhen"
 280         if [ "$processnow" == 1 ]; then
 281                 info ">>>> starting action $file (because of --now)"
 282         elif [ "$when" == "hourly" ]; then
 283                 info ">>>> starting action $file (because 'when = hourly')"
 284         else
 285                 IFS=$'\t\n'
 286                 for w in $when; do
 287                         IFS=$' \t\n'
 288                         isnow "$w"
 289                         ret=$?
 290                         IFS=$'\t\n'
 291                         if [ $ret == 0 ]; then
 292                                 debug "skipping $file because it is not $w"
 293                         else
 294                                 info ">>>> starting action $file (because it is $w)"
 295                                 run="yes"
 296                         fi
 297                 done
 298                 IFS=$' \t\n'
 299         fi
 300         [ "$run" == "no" ] && return
 301
 302         let "actions_run += 1"
 303
 304         # call the handler:
 305         local bufferfile="/tmp/backupninja.buffer.$$"
 306         echo "" > $bufferfile
 307         echo_debug_msg=1
 308         (
 309                 . $scriptdir/$suffix $file
 310         ) 2>&1 | (
 311                 while read a; do
 312                         echo $a >> $bufferfile
 313                         [ $debug ] && colorize "$a"
 314                 done
 315         )
 316         retcode=$?
 317         # ^^^^^^^^ we have a problem! we can't grab the return code "$?". grrr.
 318         echo_debug_msg=0
 319
 320         _warnings=`cat $bufferfile | grep "^Warning: " | wc -l`
 321         _errors=`cat $bufferfile | grep "^Error: " | wc -l`
 322         _fatals=`cat $bufferfile | grep "^Fatal: " | wc -l`
 323
 324         ret=`grep "\(^Warning: \|^Error: \|^Fatal: \)" $bufferfile`
 325         rm $bufferfile
 326         if [ $_fatals != 0 ]; then
 327                 msg "*failed* -- $file"
 328                 errormsg="$errormsg\n== fatal errors from $file ==\n\n$ret\n"
 329                 passthru "Fatal: <<<< finished action $file: FAILED"
 330         elif [ $_errors != 0 ]; then
 331                 msg "*error* -- $file"
 332                 errormsg="$errormsg\n== errors from $file ==\n\n$ret\n"
 333                 error "<<<< finished action $file: ERROR"
 334         elif [ $_warnings != 0 ]; then
 335                 msg "*warning* -- $file"
 336                 errormsg="$errormsg\n== warnings from $file ==\n\n$ret\n"
 337                 warning "<<<< finished action $file: WARNING"
 338         else
 339                 msg "success -- $file"
 340                 info "<<<< finished action $file: SUCCESS"
 341         fi
 342
 343         let "fatals += _fatals"
 344         let "errors += _errors"
 345         let "warnings += _warnings"
 346 }
 347
 348 #####################################################
 349 ## MAIN
 350
 351 setupcolors
 352 conffile="/etc/backupninja.conf"
 353 loglevel=3
 354
 355 ## process command line options
 356
 357 while [ $# -ge 1 ]; do
 358         case $1 in
 359                 -h|--help) usage;;
 360                 -d|--debug) debug=1;;
 361                 -t|--test) test=1;debug=1;;
 362                 -n|--now) processnow=1;;
 363                 -f|--conffile)
 364                         if [ -f $2 ]; then
 365                                 conffile=$2
 366                         else
 367                                 echo "-f|--conffile option must be followed by an existing filename"
 368                                 fatal "-f|--conffile option must be followed by an existing filename"
 369                                 usage
 370                         fi
 371                         # we shift here to avoid processing the file path
 372                         shift
 373                         ;;
 374                 --run)
 375                         debug=1
 376                         if [ -f $2 ]; then
 377                                 singlerun=$2
 378                                 processnow=1
 379                         else
 380                                 echo "--run option must be fallowed by a backupninja action file"
 381                                 fatal "--run option must be fallowed by a backupninja action file"
 382                                 usage
 383                         fi
 384                         shift
 385                         ;;
 386                 *)
 387                         debug=1
 388                         echo "Unknown option $1"
 389                         fatal "Unknown option $1"
 390                         usage
 391                         exit
 392                         ;;
 393         esac
 394         shift
 395 done
 396
 397 #if [ $debug ]; then
 398 #       usercolors=yes
 399 #fi
 400
 401 ## Load and confirm basic configuration values
 402
 403 # bootstrap
 404 if [ ! -r "$conffile" ]; then
 405         echo "Configuration file $conffile not found."
 406         fatal "Configuration file $conffile not found."
 407 fi
 408
 409 scriptdir=`grep scriptdirectory $conffile | awk '{print $3}'`
 410 if [ ! -n "$scriptdir" ]; then
 411         echo "Cound not find entry 'scriptdirectory' in $conffile"
 412         fatal "Cound not find entry 'scriptdirectory' in $conffile"
 413 fi
 414
 415 if [ ! -d "$scriptdir" ]; then
 416         echo "Script directory $scriptdir not found."
 417         fatal "Script directory $scriptdir not found."
 418 fi
 419
 420 setfile $conffile
 421
 422 # get global config options (second param is the default)
 423 getconf configdirectory /etc/backup.d
 424 getconf reportemail
 425 getconf reportsuccess yes
 426 getconf reportwarning yes
 427 getconf loglevel 3
 428 getconf when "Everyday at 01:00"
 429 defaultwhen=$when
 430 getconf logfile /var/log/backupninja.log
 431 getconf usecolors "yes"
 432 getconf SLAPCAT /usr/sbin/slapcat
 433 getconf LDAPSEARCH /usr/bin/ldapsearch
 434 getconf RDIFFBACKUP /usr/bin/rdiff-backup
 435 getconf MYSQL /usr/bin/mysql
 436 getconf MYSQLHOTCOPY /usr/bin/mysqlhotcopy
 437 getconf MYSQLDUMP /usr/bin/mysqldump
 438 getconf GZIP /bin/gzip
 439 getconf RSYNC /usr/bin/rsync
 440 getconf vservers no
 441 getconf VSERVERINFO /usr/sbin/vserver-info
 442 getconf VSERVER /usr/sbin/vserver
 443 getconf VROOTDIR `if [ -f "$VSERVERINFO" ]; then $VSERVERINFO info SYSINFO |grep vserver-Rootdir | awk '{print $2}'; fi`
 444
 445 if [ ! -d "$configdirectory" ]; then
 446         echo "Configuration directory '$configdirectory' not found."
 447         fatal "Configuration directory '$configdirectory' not found."
 448 fi
 449
 450 [ -f "$logfile" ] || touch $logfile
 451
 452 if [ "$UID" != "0" ]; then
 453         echo "$0 can only be run as root"
 454         exit 1
 455 fi
 456
 457 if [ "$vservers" == "yes" -a ! -d "$VROOTDIR" ]; then
 458         echo "vservers option set in config, but $VROOTDIR is not a directory!"
 459         fatal "vservers option set in config, but $VROOTDIR is not a directory!"
 460 fi
 461
 462 ## Process each configuration file
 463
 464 # by default, don't make files which are world or group readable.
 465 umask 077
 466
 467 # these globals are set by process_action()
 468 fatals=0
 469 errors=0
 470 warnings=0
 471 actions_run=0
 472 errormsg=""
 473
 474 if [ "$singlerun" ]; then
 475         files=$singlerun
 476 else
 477         files=`find $configdirectory -mindepth 1 | sort -n`
 478 fi
 479
 480 for file in $files; do
 481         [ -f "$file" ] || continue
 482
 483         check_perms $file
 484         suffix="${file##*.}"
 485         base=`basename $file`
 486         if [ "${base:0:1}" == "0" -o "$suffix" == "disabled" ]; then
 487                 info "Skipping $file"
 488                 continue
 489         fi
 490
 491         if [ -e "$scriptdir/$suffix" ]; then
 492                 process_action $file $suffix
 493         else
 494                 error "Can't process file '$file': no handler script for suffix '$suffix'"
 495                 msg "*missing handler* -- $file"
 496         fi
 497 done
 498
 499 ## mail the messages to the report address
 500
 501 if [ $actions_run == 0 ]; then doit=0
 502 elif [ "$reportemail" == "" ]; then doit=0
 503 elif [ $fatals != 0 ]; then doit=1
 504 elif [ $errors != 0 ]; then doit=1
 505 elif [ "$reportsuccess" == "yes" ]; then doit=1
 506 elif [ "$reportwarning" == "yes" -a $warnings != 0 ]; then doit=1
 507 else doit=0
 508 fi
 509
 510 if [ $doit == 1 ]; then
 511         debug "send report to $reportemail"
 512         hostname=`hostname`
 513         [ $warnings == 0 ] || subject="WARNING"
 514         [ $errors == 0 ] || subject="ERROR"
 515         [ $fatals == 0 ] || subject="FAILED"
 516
 517         {
 518                 for ((i=0; i < ${#messages[@]} ; i++)); do
 519                         echo ${messages[$i]}
 520                 done
 521                 echo -e "$errormsg"
 522         } | mail $reportemail -s "backupninja: $hostname $subject"
 523 fi
 524
 525 if [ $actions_run != 0 ]; then
 526         info "FINISHED: $actions_run actions run. $fatals fatal. $errors error. $warnings warning."
 527 fi