backupninja

   1 #!/bin/bash
   2 #                          |\_
   3 # B A C K U P N I N J A   /()/
   4 #                         `\|
   5 #
   6 # Copyright (C) 2004 riseup.net -- property is theft.
   7 #
   8 # This program is free software; you can redistribute it and/or modify
   9 # it under the terms of the GNU General Public License as published by
  10 # the Free Software Foundation; either version 2 of the License, or
  11 # (at your option) any later version.
  12 #
  13 # This program is distributed in the hope that it will be useful,
  14 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  15 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  16 # GNU General Public License for more details.
  17 #
  18
  19 #####################################################
  20 ## FUNCTIONS
  21
  22 function setupcolors() {
  23         BLUE="\033[34;01m"
  24         GREEN="\033[32;01m"
  25         YELLOW="\033[33;01m"
  26         PURPLE="\033[35;01m"
  27         RED="\033[31;01m"
  28         OFF="\033[0m"
  29         CYAN="\033[36;01m"
  30         COLORS=($BLUE $GREEN $YELLOW $RED $PURPLE)
  31 }
  32
  33 function colorize() {
  34         if [ "$usecolors" == "yes" ]; then
  35                 local typestr=`echo "$@" | sed 's/\(^[^:]*\).*$/\1/'`
  36                 [ "$typestr" == "Debug" ] && type=0
  37                 [ "$typestr" == "Info" ] && type=1
  38                 [ "$typestr" == "Warning" ] && type=2
  39                 [ "$typestr" == "Error" ] && type=3
  40                 [ "$typestr" == "Fatal" ] && type=4
  41                 color=${COLORS[$type]}
  42                 endcolor=$OFF
  43                 echo -e "$color$@$endcolor"
  44         else
  45                 echo -e "$@"
  46         fi
  47 }
  48
  49 # We have the following message levels:
  50 # 0 - debug - blue
  51 # 1 - normal messages - green
  52 # 2 - warnings - yellow
  53 # 3 - errors - orange
  54 # 4 - fatal - red
  55 # First variable passed is the error level, all others are printed
  56
  57 # if 1, echo out all warnings, errors, or fatal
  58 # used to capture output from handlers
  59 echo_debug_msg=0
  60
  61 usecolors=yes
  62
  63 function printmsg() {
  64         [ ${#@} -gt 1 ] || return
  65
  66         type=$1
  67         shift
  68         if [ $type == 100 ]; then
  69                 typestr=`echo "$@" | sed 's/\(^[^:]*\).*$/\1/'`
  70                 [ "$typestr" == "Debug" ] && type=0
  71                 [ "$typestr" == "Info" ] && type=1
  72                 [ "$typestr" == "Warning" ] && type=2
  73                 [ "$typestr" == "Error" ] && type=3
  74                 [ "$typestr" == "Fatal" ] && type=4
  75                 typestr=""
  76         else
  77                 types=(Debug Info Warning Error Fatal)
  78                 typestr="${types[$type]}: "
  79         fi
  80
  81         print=$[4-type]
  82
  83         if [ $echo_debug_msg == 1 ]; then
  84                 echo -e "$typestr$@" >&2
  85         elif [ $debug ]; then
  86                 colorize "$typestr$@" >&2
  87         fi
  88
  89         if [ $print -lt $loglevel ]; then
  90                 if [ -w "$logfile" ]; then
  91                         colorize "$typestr$@" >> $logfile
  92                 fi
  93         fi
  94 }
  95
  96 function passthru() {
  97         printmsg 100 "$@"
  98 }
  99 function debug() {
 100         printmsg 0 "$@"
 101 }
 102 function info() {
 103         printmsg 1 "$@"
 104 }
 105 function warning() {
 106         printmsg 2 "$@"
 107 }
 108 function error() {
 109         printmsg 3 "$@"
 110 }
 111 function fatal() {
 112         printmsg 4 "$@"
 113         exit 2
 114 }
 115
 116 msgcount=0
 117 function msg {
 118         messages[$msgcount]=$1
 119         let "msgcount += 1"
 120 }
 121
 122 function setfile() {
 123         CURRENT_CONF_FILE=$1
 124 }
 125
 126 function setsection() {
 127         CURRENT_SECTION=$1
 128 }
 129
 130 #
 131 # sets a global var with name equal to $1
 132 # to the value of the configuration parameter $1
 133 # $2 is the default.
 134 #
 135
 136 function getconf() {
 137         CURRENT_PARAM=$1
 138         ret=`awk -f $scriptdir/parseini S=$CURRENT_SECTION P=$CURRENT_PARAM $CURRENT_CONF_FILE`
 139         # if nothing is returned, set the default
 140         if [ "$ret" == "" -a "$2" != "" ]; then
 141                 ret="$2"
 142         fi
 143
 144         # replace * with %, so that it is not globbed.
 145         ret="${ret//\\*/__star__}"
 146
 147         # this is weird, but single quotes are needed to
 148         # allow for returned values with spaces. $ret is still expanded
 149         # because it is in an 'eval' statement.
 150         eval $1='$ret'
 151 }
 152
 153 #
 154 # enforces very strict permissions on configuration file $file.
 155 #
 156
 157 function check_perms() {
 158         local file=$1
 159         local perms=`ls -ld $file`
 160         perms=${perms:4:6}
 161         if [ "$perms" != "------" ]; then
 162                 fatal "Configuration files must not be group or world readable! Dying on file $file"
 163         fi
 164         if [ `ls -ld $file | awk '{print $3}'` != "root" ]; then
 165                 fatal "Configuration files must be owned by root! Dying on file $file"
 166         fi
 167 }
 168
 169 # simple lowercase function
 170 function tolower() {
 171         echo "$1" | tr [:upper:] [:lower:]
 172 }
 173
 174 # simple to integer function
 175 function toint() {
 176         echo "$1" | tr [:alpha:] -d
 177 }
 178
 179 #
 180 # function isnow(): returns 1 if the time/day passed as $1 matches
 181 # the current time/day.
 182 #
 183 # format is <day> at <time>:
 184 #   sunday at 16
 185 #   8th at 01
 186 #   everyday at 22
 187 #
 188
 189 # we grab the current time once, since processing
 190 # all the configs might take more than an hour.
 191 nowtime=`date +%H`
 192 nowday=`date +%d`
 193 nowdayofweek=`date +%A`
 194 nowdayofweek=`tolower "$nowdayofweek"`
 195
 196 function isnow() {
 197         local when="$1"
 198         set -- $when
 199         whendayofweek=$1; at=$2; whentime=$3;
 200         whenday=`toint "$whendayofweek"`
 201         whendayofweek=`tolower "$whendayofweek"`
 202         whentime=`echo "$whentime" | sed 's/:[0-9][0-9]$//'`
 203
 204         if [ "$whendayofweek" == "everyday" ]; then
 205                 whendayofweek=$nowdayofweek
 206         fi
 207
 208         if [ "$whenday" == "" ]; then
 209                 if [ "$whendayofweek" != "$nowdayofweek" ]; then
 210                         whendayofweek=${whendayofweek%s}
 211                         if [ "$whendayofweek" != "$nowdayofweek" ]; then
 212                                 return 0
 213                         fi
 214                 fi
 215         elif [ "$whenday" != "$nowday" ]; then
 216                 return 0
 217         fi
 218
 219         [ "$at" == "at" ] || return 0
 220         [ "$whentime" == "$nowtime" ] || return 0
 221
 222         return 1
 223 }
 224
 225 function usage() {
 226         cat << EOF
 227 $0 usage:
 228 This script allows you to coordinate system backup by dropping a few
 229 simple configuration files into /etc/backup.d/. Typically, this
 230 script is run hourly from cron.
 231
 232 The following options are available:
 233 -h, --help           This usage message
 234 -d, --debug          Run in debug mode, where all log messages are
 235                      output to the current shell.
 236 -f, --conffile FILE  Use FILE for the main configuration instead
 237                      of /etc/backupninja.conf
 238 -t, --test           Run in test mode, no actions are actually taken.
 239 -n, --now            Perform actions now, instead of when they
 240                      might be scheduled.
 241     --run FILE       Execute the specified action file and then exit.
 242 When using colored output, there are:
 243 EOF
 244         debug=1
 245         debug   "Debugging info (when run with -d)"
 246         info    "Informational messages (verbosity level 4)"
 247         warning "Warnings (verbosity level 3 and up)"
 248         error   "Errors (verbosity level 2 and up)"
 249         fatal   "Fatal, halting errors (always shown)"
 250 }
 251
 252 ##
 253 ## this function handles the running of a backup action
 254 ##
 255 ## these globals are modified:
 256 ## fatals, errors, warnings, actions_run, errormsg
 257 ##
 258
 259 function process_action() {
 260         local file="$1"
 261         local suffix="$2"
 262
 263         setfile $file
 264
 265         # skip over this config if "when" option
 266         # is not set to the current time.
 267         getconf when "$defaultwhen"
 268         if [ "$processnow" == 1 ]; then
 269                 info "running $file because of --now"
 270         else
 271                 IFS=$'\t\n'
 272                 for w in $when; do
 273                         IFS=$' \t\n'
 274                         isnow "$w"
 275                         ret=$?
 276                         IFS=$'\t\n'
 277                         if [ $ret == 0 ]; then
 278                                 debug "skipping $file because it is not $w"
 279                                 return
 280                         else
 281                                 info "running $file because it is $w"
 282                         fi
 283                 done
 284                 IFS=$' \t\n'
 285         fi
 286
 287         let "actions_run += 1"
 288
 289         # call the handler:
 290         local bufferfile="/tmp/backupninja.buffer.$$"
 291         echo "" > $bufferfile
 292         echo_debug_msg=1
 293         (
 294                 . $scriptdir/$suffix $file
 295         ) 2>&1 | (
 296                 while read a; do
 297                         echo $a >> $bufferfile
 298                         [ $debug ] && colorize "$a"
 299                 done
 300         )
 301         retcode=$?
 302         # ^^^^^^^^ we have a problem! we can't grab the return code "$?". grrr.
 303         echo_debug_msg=0
 304
 305         _warnings=`cat $bufferfile | grep "^Warning: " | wc -l`
 306         _errors=`cat $bufferfile | grep "^Error: " | wc -l`
 307         _fatals=`cat $bufferfile | grep "^Fatal: " | wc -l`
 308
 309         ret=`grep "\(^Warning: \|^Error: \|^Fatal: \)" $bufferfile`
 310         rm $bufferfile
 311         if [ $_fatals != 0 ]; then
 312                 msg "*failed* -- $file"
 313                 errormsg="$errormsg\n== failures from $file ==\n\n$ret\n"
 314         elif [ $_errors != 0 ]; then
 315                 msg "*error* -- $file"
 316                 errormsg="$errormsg\n== errors from $file ==\n\n$ret\n"
 317         elif [ $_warnings != 0 ]; then
 318                 msg "*warning* -- $file"
 319                 errormsg="$errormsg\n== warnings from $file ==\n\n$ret\n"
 320         else
 321                 msg "success -- $file"
 322 #       elif [ $retcode == 0 ]; then
 323 #               msg "success -- $file"
 324 #       else
 325 #               msg "unknown -- $file"
 326         fi
 327
 328         let "fatals += _fatals"
 329         let "errors += _errors"
 330         let "warnings += _warnings"
 331 }
 332
 333 #####################################################
 334 ## MAIN
 335
 336 setupcolors
 337 conffile="/etc/backupninja.conf"
 338 loglevel=3
 339
 340 ## process command line options
 341
 342 while [ $# -ge 1 ]; do
 343         case $1 in
 344                 -h|--help) usage;;
 345                 -d|--debug) debug=1;;
 346                 -t|--test) test=1;debug=1;;
 347                 -n|--now) processnow=1;;
 348                 -f|--conffile)
 349                         if [ -f $2 ]; then
 350                                 conffile=$2
 351                         else
 352                                 fatal "-f|--conffile option must be followed by an existing filename"
 353                                 usage
 354                         fi
 355                         # we shift here to avoid processing the file path
 356                         shift
 357                         ;;
 358                 --run)
 359                         debug=1
 360                         if [ -f $2 ]; then
 361                                 singlerun=$2
 362                                 processnow=1
 363                         else
 364                                 fatal "--run option must be fallowed by a backupninja action file"
 365                                 usage
 366                         fi
 367                         shift
 368                         ;;
 369                 *)
 370                         debug=1
 371                         fatal "Unknown option $1"
 372                         usage
 373                         exit
 374                         ;;
 375         esac
 376         shift
 377 done
 378
 379 #if [ $debug ]; then
 380 #       usercolors=yes
 381 #fi
 382
 383 ## Load and confirm basic configuration values
 384
 385 # bootstrap
 386 [ -r "$conffile" ] || fatal "Configuration file $conffile not found."
 387 scriptdir=`grep scriptdirectory $conffile | awk '{print $3}'`
 388 [ -n "$scriptdir" ] || fatal "Cound not find entry 'scriptdirectory' in $conffile"
 389 [ -d "$scriptdir" ] || fatal "Script directory $scriptdir not found."
 390 setfile $conffile
 391
 392 # get global config options (second param is the default)
 393 getconf configdirectory /etc/backup.d
 394 getconf reportemail
 395 getconf reportsuccess yes
 396 getconf reportwarning yes
 397 getconf loglevel 3
 398 getconf when "Everyday at 01:00"
 399 defaultwhen=$when
 400 getconf logfile /var/log/backupninja.log
 401 getconf usecolors "yes"
 402 getconf SLAPCAT /usr/sbin/slapcat
 403 getconf RDIFFBACKUP /usr/bin/rdiff-backup
 404 getconf MYSQL /usr/bin/mysql
 405 getconf MYSQLHOTCOPY /usr/bin/mysqlhotcopy
 406 getconf MYSQLDUMP /usr/bin/mysqldump
 407 getconf GZIP /bin/gzip
 408 getconf RSYNC /usr/bin/rsync
 409
 410 [ -d "$configdirectory" ] || fatal "Configuration directory '$configdirectory' not found."
 411
 412 if [ "$UID" != "0" ]; then
 413         echo "$0 can only be run as root"
 414         exit 1
 415 fi
 416
 417 ## Process each configuration file
 418
 419 # by default, don't make files which are world or group readable.
 420 umask 077
 421
 422 # these globals are set by process_action()
 423 fatals=0
 424 errors=0
 425 warnings=0
 426 actions_run=0
 427 errormsg=""
 428
 429 if [ "$singlerun" ]; then
 430         files=$singlerun
 431 else
 432         files=`find $configdirectory -mindepth 1 | sort -n`
 433 fi
 434
 435 for file in $files; do
 436         [ -f "$file" ] || continue
 437
 438         check_perms $file
 439         suffix="${file##*.}"
 440         base=`basename $file`
 441         if [ "${base:0:1}" == "0" ]; then
 442                 info "Skipping $file"
 443                 continue
 444         fi
 445
 446         if [ -e "$scriptdir/$suffix" ]; then
 447                 process_action $file $suffix
 448         else
 449                 error "Can't process file '$file': no handler script for suffix '$suffix'"
 450                 msg "*missing handler* -- $file"
 451         fi
 452 done
 453
 454 ## mail the messages to the report address
 455
 456 if [ $actions_run == 0 ]; then doit=0
 457 elif [ "$reportemail" == "" ]; then doit=0
 458 elif [ $fatals != 0 ]; then doit=1
 459 elif [ $errors != 0 ]; then doit=1
 460 elif [ "$reportsuccess" == "yes" ]; then doit=1
 461 elif [ "$reportwarning" == "yes" -a $warnings != 0 ]; then doit=1
 462 else doit=0
 463 fi
 464
 465 if [ $doit == 1 ]; then
 466         debug "send report to $reportemail"
 467         hostname=`hostname`
 468         [ $warnings == 0 ] || subject="WARNING"
 469         [ $errors == 0 ] || subject="ERROR"
 470         [ $fatals == 0 ] || subject="FAILED"
 471
 472         {
 473                 for ((i=0; i < ${#messages[@]} ; i++)); do
 474                         echo ${messages[$i]}
 475                 done
 476                 echo -e "$errormsg"
 477         } | mail $reportemail -s "backupninja: $hostname $subject"
 478 fi
 479