backupninja

   1 #!/bin/bash
   2 #                          |\_
   3 # B A C K U P N I N J A   /()/
   4 #                         `\|
   5 #
   6 # Copyright (C) 2004-05 riseup.net -- property is theft.
   7 #
   8 # This program is free software; you can redistribute it and/or modify
   9 # it under the terms of the GNU General Public License as published by
  10 # the Free Software Foundation; either version 2 of the License, or
  11 # (at your option) any later version.
  12 #
  13 # This program is distributed in the hope that it will be useful,
  14 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  15 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  16 # GNU General Public License for more details.
  17 #
  18
  19 #####################################################
  20 ## FUNCTIONS
  21
  22 function setupcolors() {
  23         BLUE="\033[34;01m"
  24         GREEN="\033[32;01m"
  25         YELLOW="\033[33;01m"
  26         PURPLE="\033[35;01m"
  27         RED="\033[31;01m"
  28         OFF="\033[0m"
  29         CYAN="\033[36;01m"
  30         COLORS=($BLUE $GREEN $YELLOW $RED $PURPLE)
  31 }
  32
  33 function colorize() {
  34         if [ "$usecolors" == "yes" ]; then
  35                 local typestr=`echo "$@" | sed 's/\(^[^:]*\).*$/\1/'`
  36                 [ "$typestr" == "Debug" ] && type=0
  37                 [ "$typestr" == "Info" ] && type=1
  38                 [ "$typestr" == "Warning" ] && type=2
  39                 [ "$typestr" == "Error" ] && type=3
  40                 [ "$typestr" == "Fatal" ] && type=4
  41                 color=${COLORS[$type]}
  42                 endcolor=$OFF
  43                 echo -e "$color$@$endcolor"
  44         else
  45                 echo -e "$@"
  46         fi
  47 }
  48
  49 # We have the following message levels:
  50 # 0 - debug - blue
  51 # 1 - normal messages - green
  52 # 2 - warnings - yellow
  53 # 3 - errors - orange
  54 # 4 - fatal - red
  55 # First variable passed is the error level, all others are printed
  56
  57 # if 1, echo out all warnings, errors, or fatal
  58 # used to capture output from handlers
  59 echo_debug_msg=0
  60
  61 usecolors=yes
  62
  63 function printmsg() {
  64         [ ${#@} -gt 1 ] || return
  65
  66         type=$1
  67         shift
  68         if [ $type == 100 ]; then
  69                 typestr=`echo "$@" | sed 's/\(^[^:]*\).*$/\1/'`
  70                 [ "$typestr" == "Debug" ] && type=0
  71                 [ "$typestr" == "Info" ] && type=1
  72                 [ "$typestr" == "Warning" ] && type=2
  73                 [ "$typestr" == "Error" ] && type=3
  74                 [ "$typestr" == "Fatal" ] && type=4
  75                 typestr=""
  76         else
  77                 types=(Debug Info Warning Error Fatal)
  78                 typestr="${types[$type]}: "
  79         fi
  80
  81         print=$[4-type]
  82
  83         if [ $echo_debug_msg == 1 ]; then
  84                 echo -e "$typestr$@" >&2
  85         elif [ $debug ]; then
  86                 colorize "$typestr$@" >&2
  87         fi
  88
  89         if [ $print -lt $loglevel ]; then
  90                 logmsg "$typestr$@"
  91         fi
  92 }
  93
  94 function logmsg() {
  95         if [ -w "$logfile" ]; then
  96                 echo -e `date "+%h %d %H:%M:%S"` "$@" >> $logfile
  97         fi
  98 }
  99
 100 function passthru() {
 101         printmsg 100 "$@"
 102 }
 103 function debug() {
 104         printmsg 0 "$@"
 105 }
 106 function info() {
 107         printmsg 1 "$@"
 108 }
 109 function warning() {
 110         printmsg 2 "$@"
 111 }
 112 function error() {
 113         printmsg 3 "$@"
 114 }
 115 function fatal() {
 116         printmsg 4 "$@"
 117         exit 2
 118 }
 119
 120 msgcount=0
 121 function msg {
 122         messages[$msgcount]=$1
 123         let "msgcount += 1"
 124 }
 125
 126 function setfile() {
 127         CURRENT_CONF_FILE=$1
 128 }
 129
 130 function setsection() {
 131         CURRENT_SECTION=$1
 132 }
 133
 134 #
 135 # sets a global var with name equal to $1
 136 # to the value of the configuration parameter $1
 137 # $2 is the default.
 138 #
 139
 140 function getconf() {
 141         CURRENT_PARAM=$1
 142         ret=`awk -f $scriptdir/parseini S=$CURRENT_SECTION P=$CURRENT_PARAM $CURRENT_CONF_FILE`
 143         # if nothing is returned, set the default
 144         if [ "$ret" == "" -a "$2" != "" ]; then
 145                 ret="$2"
 146         fi
 147
 148         # replace * with %, so that it is not globbed.
 149         ret="${ret//\\*/__star__}"
 150
 151         # this is weird, but single quotes are needed to
 152         # allow for returned values with spaces. $ret is still expanded
 153         # because it is in an 'eval' statement.
 154         eval $1='$ret'
 155 }
 156
 157 #
 158 # enforces very strict permissions on configuration file $file.
 159 #
 160
 161 function check_perms() {
 162         local file=$1
 163         local perms=`ls -ld $file`
 164         perms=${perms:4:6}
 165         if [ "$perms" != "------" ]; then
 166                 echo "Configuration files must not be group or world writable/readable! Dying on file $file"
 167                 fatal "Configuration files must not be group or world writable/readable! Dying on file $file"
 168         fi
 169         if [ `ls -ld $file | awk '{print $3}'` != "root" ]; then
 170                 echo "Configuration files must be owned by root! Dying on file $file"
 171                 fatal "Configuration files must be owned by root! Dying on file $file"
 172         fi
 173 }
 174
 175 # simple lowercase function
 176 function tolower() {
 177         echo "$1" | tr [:upper:] [:lower:]
 178 }
 179
 180 # simple to integer function
 181 function toint() {
 182         echo "$1" | tr [:alpha:] -d
 183 }
 184
 185 #
 186 # function isnow(): returns 1 if the time/day passed as $1 matches
 187 # the current time/day.
 188 #
 189 # format is <day> at <time>:
 190 #   sunday at 16
 191 #   8th at 01
 192 #   everyday at 22
 193 #
 194
 195 # we grab the current time once, since processing
 196 # all the configs might take more than an hour.
 197 nowtime=`date +%H`
 198 nowday=`date +%d`
 199 nowdayofweek=`date +%A`
 200 nowdayofweek=`tolower "$nowdayofweek"`
 201
 202 function isnow() {
 203         local when="$1"
 204         set -- $when
 205         whendayofweek=$1; at=$2; whentime=$3;
 206         whenday=`toint "$whendayofweek"`
 207         whendayofweek=`tolower "$whendayofweek"`
 208         whentime=`echo "$whentime" | sed 's/:[0-9][0-9]$//' | sed -r 's/^([0-9])$/0\1/'`
 209
 210         if [ "$whendayofweek" == "everyday" -o "$whendayofweek" == "daily" ]; then
 211                 whendayofweek=$nowdayofweek
 212         fi
 213
 214         if [ "$whenday" == "" ]; then
 215                 if [ "$whendayofweek" != "$nowdayofweek" ]; then
 216                         whendayofweek=${whendayofweek%s}
 217                         if [ "$whendayofweek" != "$nowdayofweek" ]; then
 218                                 return 0
 219                         fi
 220                 fi
 221         elif [ "$whenday" != "$nowday" ]; then
 222                 return 0
 223         fi
 224
 225         [ "$at" == "at" ] || return 0
 226         [ "$whentime" == "$nowtime" ] || return 0
 227
 228         return 1
 229 }
 230
 231 function usage() {
 232         cat << EOF
 233 $0 usage:
 234 This script allows you to coordinate system backup by dropping a few
 235 simple configuration files into /etc/backup.d/. Typically, this
 236 script is run hourly from cron.
 237
 238 The following options are available:
 239 -h, --help           This usage message
 240 -d, --debug          Run in debug mode, where all log messages are
 241                      output to the current shell.
 242 -f, --conffile FILE  Use FILE for the main configuration instead
 243                      of /etc/backupninja.conf
 244 -t, --test           Test run mode. This will test if the backup
 245                      could run, without actually preforming any
 246                      backups. For example, it will attempt to authenticate
 247                      or test that ssh keys are set correctly.
 248 -n, --now            Perform actions now, instead of when they might
 249                      be scheduled. No output will be created unless also
 250                      run with -d.
 251     --run FILE       Execute the specified action file and then exit.
 252                      Also puts backupninja in debug mode.
 253
 254 When in debug mode, output to the console will be colored:
 255 EOF
 256         debug=1
 257         debug   "Debugging info (when run with -d)"
 258         info    "Informational messages (verbosity level 4)"
 259         warning "Warnings (verbosity level 3 and up)"
 260         error   "Errors (verbosity level 2 and up)"
 261         fatal   "Fatal, halting errors (always shown)"
 262 }
 263
 264 ##
 265 ## this function handles the running of a backup action
 266 ##
 267 ## these globals are modified:
 268 ## fatals, errors, warnings, actions_run, errormsg
 269 ##
 270
 271 function process_action() {
 272         local file="$1"
 273         local suffix="$2"
 274
 275         setfile $file
 276
 277         # skip over this config if "when" option
 278         # is not set to the current time.
 279         getconf when "$defaultwhen"
 280         if [ "$processnow" == 1 ]; then
 281                 info ">>>> starting action $file (because of --now)"
 282         elif [ "$when" == "hourly" ]; then
 283                 info ">>>> starting action $file (because 'when = hourly')"
 284         else
 285                 IFS=$'\t\n'
 286                 for w in $when; do
 287                         IFS=$' \t\n'
 288                         isnow "$w"
 289                         ret=$?
 290                         IFS=$'\t\n'
 291                         if [ $ret == 0 ]; then
 292                                 debug "skipping $file because it is not $w"
 293                                 return
 294                         else
 295                                 info ">>>> starting action $file (because it is $w)"
 296                         fi
 297                 done
 298                 IFS=$' \t\n'
 299         fi
 300
 301         let "actions_run += 1"
 302
 303         # call the handler:
 304         local bufferfile="/tmp/backupninja.buffer.$$"
 305         echo "" > $bufferfile
 306         echo_debug_msg=1
 307         (
 308                 . $scriptdir/$suffix $file
 309         ) 2>&1 | (
 310                 while read a; do
 311                         echo $a >> $bufferfile
 312                         [ $debug ] && colorize "$a"
 313                 done
 314         )
 315         retcode=$?
 316         # ^^^^^^^^ we have a problem! we can't grab the return code "$?". grrr.
 317         echo_debug_msg=0
 318
 319         _warnings=`cat $bufferfile | grep "^Warning: " | wc -l`
 320         _errors=`cat $bufferfile | grep "^Error: " | wc -l`
 321         _fatals=`cat $bufferfile | grep "^Fatal: " | wc -l`
 322
 323         ret=`grep "\(^Warning: \|^Error: \|^Fatal: \)" $bufferfile`
 324         rm $bufferfile
 325         if [ $_fatals != 0 ]; then
 326                 msg "*failed* -- $file"
 327                 errormsg="$errormsg\n== fatal errors from $file ==\n\n$ret\n"
 328                 passthru "Fatal: <<<< finished action $file: FAILED"
 329         elif [ $_errors != 0 ]; then
 330                 msg "*error* -- $file"
 331                 errormsg="$errormsg\n== errors from $file ==\n\n$ret\n"
 332                 error "<<<< finished action $file: ERROR"
 333         elif [ $_warnings != 0 ]; then
 334                 msg "*warning* -- $file"
 335                 errormsg="$errormsg\n== warnings from $file ==\n\n$ret\n"
 336                 warning "<<<< finished action $file: WARNING"
 337         else
 338                 msg "success -- $file"
 339                 info "<<<< finished action $file: SUCCESS"
 340         fi
 341
 342         let "fatals += _fatals"
 343         let "errors += _errors"
 344         let "warnings += _warnings"
 345 }
 346
 347 #####################################################
 348 ## MAIN
 349
 350 setupcolors
 351 conffile="/etc/backupninja.conf"
 352 loglevel=3
 353
 354 ## process command line options
 355
 356 while [ $# -ge 1 ]; do
 357         case $1 in
 358                 -h|--help) usage;;
 359                 -d|--debug) debug=1;;
 360                 -t|--test) test=1;debug=1;;
 361                 -n|--now) processnow=1;;
 362                 -f|--conffile)
 363                         if [ -f $2 ]; then
 364                                 conffile=$2
 365                         else
 366                                 echo "-f|--conffile option must be followed by an existing filename"
 367                                 fatal "-f|--conffile option must be followed by an existing filename"
 368                                 usage
 369                         fi
 370                         # we shift here to avoid processing the file path
 371                         shift
 372                         ;;
 373                 --run)
 374                         debug=1
 375                         if [ -f $2 ]; then
 376                                 singlerun=$2
 377                                 processnow=1
 378                         else
 379                                 echo "--run option must be fallowed by a backupninja action file"
 380                                 fatal "--run option must be fallowed by a backupninja action file"
 381                                 usage
 382                         fi
 383                         shift
 384                         ;;
 385                 *)
 386                         debug=1
 387                         echo "Unknown option $1"
 388                         fatal "Unknown option $1"
 389                         usage
 390                         exit
 391                         ;;
 392         esac
 393         shift
 394 done
 395
 396 #if [ $debug ]; then
 397 #       usercolors=yes
 398 #fi
 399
 400 ## Load and confirm basic configuration values
 401
 402 # bootstrap
 403 if [ ! -r "$conffile" ]; then
 404         echo "Configuration file $conffile not found."
 405         fatal "Configuration file $conffile not found."
 406 fi
 407
 408 scriptdir=`grep scriptdirectory $conffile | awk '{print $3}'`
 409 if [ ! -n "$scriptdir" ]; then
 410         echo "Cound not find entry 'scriptdirectory' in $conffile"
 411         fatal "Cound not find entry 'scriptdirectory' in $conffile"
 412 fi
 413
 414 if [ ! -d "$scriptdir" ]; then
 415         echo "Script directory $scriptdir not found."
 416         fatal "Script directory $scriptdir not found."
 417 fi
 418
 419 setfile $conffile
 420
 421 # get global config options (second param is the default)
 422 getconf configdirectory /etc/backup.d
 423 getconf reportemail
 424 getconf reportsuccess yes
 425 getconf reportwarning yes
 426 getconf loglevel 3
 427 getconf when "Everyday at 01:00"
 428 defaultwhen=$when
 429 getconf logfile /var/log/backupninja.log
 430 getconf usecolors "yes"
 431 getconf SLAPCAT /usr/sbin/slapcat
 432 getconf LDAPSEARCH /usr/bin/ldapsearch
 433 getconf RDIFFBACKUP /usr/bin/rdiff-backup
 434 getconf MYSQL /usr/bin/mysql
 435 getconf MYSQLHOTCOPY /usr/bin/mysqlhotcopy
 436 getconf MYSQLDUMP /usr/bin/mysqldump
 437 getconf GZIP /bin/gzip
 438 getconf RSYNC /usr/bin/rsync
 439 getconf vservers no
 440 getconf VSERVERINFO /usr/sbin/vserver-info
 441 getconf VSERVER /usr/sbin/vserver
 442 getconf VROOTDIR `if [ -f "$VSERVERINFO" ]; then $VSERVERINFO info SYSINFO |grep vserver-Rootdir | awk '{print $2}'; fi`
 443
 444 if [ ! -d "$configdirectory" ]; then
 445         echo "Configuration directory '$configdirectory' not found."
 446         fatal "Configuration directory '$configdirectory' not found."
 447 fi
 448
 449 [ -f "$logfile" ] || touch $logfile
 450
 451 if [ "$UID" != "0" ]; then
 452         echo "$0 can only be run as root"
 453         exit 1
 454 fi
 455
 456 if [ "$vservers" == "yes" -a ! -d "$VROOTDIR" ]; then
 457         echo "vservers option set in config, but $VROOTDIR is not a directory!"
 458         fatal "vservers option set in config, but $VROOTDIR is not a directory!"
 459 fi
 460
 461 ## Process each configuration file
 462
 463 # by default, don't make files which are world or group readable.
 464 umask 077
 465
 466 # these globals are set by process_action()
 467 fatals=0
 468 errors=0
 469 warnings=0
 470 actions_run=0
 471 errormsg=""
 472
 473 if [ "$singlerun" ]; then
 474         files=$singlerun
 475 else
 476         files=`find $configdirectory -mindepth 1 | sort -n`
 477 fi
 478
 479 for file in $files; do
 480         [ -f "$file" ] || continue
 481
 482         check_perms $file
 483         suffix="${file##*.}"
 484         base=`basename $file`
 485         if [ "${base:0:1}" == "0" -o "$suffix" == "disabled" ]; then
 486                 info "Skipping $file"
 487                 continue
 488         fi
 489
 490         if [ -e "$scriptdir/$suffix" ]; then
 491                 process_action $file $suffix
 492         else
 493                 error "Can't process file '$file': no handler script for suffix '$suffix'"
 494                 msg "*missing handler* -- $file"
 495         fi
 496 done
 497
 498 ## mail the messages to the report address
 499
 500 if [ $actions_run == 0 ]; then doit=0
 501 elif [ "$reportemail" == "" ]; then doit=0
 502 elif [ $fatals != 0 ]; then doit=1
 503 elif [ $errors != 0 ]; then doit=1
 504 elif [ "$reportsuccess" == "yes" ]; then doit=1
 505 elif [ "$reportwarning" == "yes" -a $warnings != 0 ]; then doit=1
 506 else doit=0
 507 fi
 508
 509 if [ $doit == 1 ]; then
 510         debug "send report to $reportemail"
 511         hostname=`hostname`
 512         [ $warnings == 0 ] || subject="WARNING"
 513         [ $errors == 0 ] || subject="ERROR"
 514         [ $fatals == 0 ] || subject="FAILED"
 515
 516         {
 517                 for ((i=0; i < ${#messages[@]} ; i++)); do
 518                         echo ${messages[$i]}
 519                 done
 520                 echo -e "$errormsg"
 521         } | mail $reportemail -s "backupninja: $hostname $subject"
 522 fi
 523
 524 if [ $actions_run != 0 ]; then
 525         info "FINISHED: $actions_run actions run. $fatals fatal. $errors error. $warnings warning."
 526 fi