src/backupninja.in

   1 #!@BASH@
   2 #                          |\_
   3 # B A C K U P N I N J A   /()/
   4 #                         `\|
   5 #
   6 # Copyright (C) 2004-05 riseup.net -- property is theft.
   7 #
   8 # This program is free software; you can redistribute it and/or modify
   9 # it under the terms of the GNU General Public License as published by
  10 # the Free Software Foundation; either version 2 of the License, or
  11 # (at your option) any later version.
  12 #
  13 # This program is distributed in the hope that it will be useful,
  14 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  15 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  16 # GNU General Public License for more details.
  17 #
  18
  19 #####################################################
  20 ## FUNCTIONS
  21
  22 setupcolors () {
  23         BLUE="\033[34;01m"
  24         GREEN="\033[32;01m"
  25         YELLOW="\033[33;01m"
  26         PURPLE="\033[35;01m"
  27         RED="\033[31;01m"
  28         OFF="\033[0m"
  29         CYAN="\033[36;01m"
  30 }
  31
  32 colorize () {
  33         if [ "$usecolors" == "yes" ]; then
  34                 local typestr=`echo "$@" | sed 's/\(^[^:]*\).*$/\1/'`
  35                 [ "$typestr" == "Debug" ] && COLOR=$BLUE
  36                 [ "$typestr" == "Info" ] && COLOR=$GREEN
  37                 [ "$typestr" == "Warning" ] && COLOR=$YELLOW
  38                 [ "$typestr" == "Error" ] && COLOR=$RED
  39                 [ "$typestr" == "Fatal" ] && COLOR=$PURPLE
  40                 endcolor=$OFF
  41                 echo -e "$COLOR$@$endcolor"
  42         else
  43                 echo -e "$@"
  44         fi
  45 }
  46
  47 # We have the following message levels:
  48 # 0 - debug - blue
  49 # 1 - normal messages - green
  50 # 2 - warnings - yellow
  51 # 3 - errors - red
  52 # 4 - fatal - purple
  53 # First variable passed is the error level, all others are printed
  54
  55 # if 1, echo out all warnings, errors, or fatal
  56 # used to capture output from handlers
  57 echo_debug_msg=0
  58
  59 usecolors=yes
  60
  61 function printmsg() {
  62         [ ${#@} -gt 1 ] || return
  63
  64         type=$1
  65         shift
  66         if [ $type == 100 ]; then
  67                 typestr=`echo "$@" | sed 's/\(^[^:]*\).*$/\1/'`
  68                 [ "$typestr" == "Debug" ] && type=0
  69                 [ "$typestr" == "Info" ] && type=1
  70                 [ "$typestr" == "Warning" ] && type=2
  71                 [ "$typestr" == "Error" ] && type=3
  72                 [ "$typestr" == "Fatal" ] && type=4
  73                 typestr=""
  74         else
  75                 types=(Debug Info Warning Error Fatal)
  76                 typestr="${types[$type]}: "
  77         fi
  78
  79         print=$[4-type]
  80
  81         if [ $echo_debug_msg == 1 ]; then
  82                 echo -e "$typestr$@" >&2
  83         elif [ $debug ]; then
  84                 colorize "$typestr$@" >&2
  85         fi
  86
  87         if [ $print -lt $loglevel ]; then
  88                 logmsg "$typestr$@"
  89         fi
  90 }
  91
  92 function logmsg() {
  93         if [ -w "$logfile" ]; then
  94                 echo -e `date "+%h %d %H:%M:%S"` "$@" >> $logfile
  95         fi
  96 }
  97
  98 function passthru() {
  99         printmsg 100 "$@"
 100 }
 101 function debug() {
 102         printmsg 0 "$@"
 103 }
 104 function info() {
 105         printmsg 1 "$@"
 106 }
 107 function warning() {
 108         printmsg 2 "$@"
 109 }
 110 function error() {
 111         printmsg 3 "$@"
 112 }
 113 function fatal() {
 114         printmsg 4 "$@"
 115         exit 2
 116 }
 117
 118 msgcount=0
 119 function msg {
 120         messages[$msgcount]=$1
 121         let "msgcount += 1"
 122 }
 123
 124 #
 125 # enforces very strict permissions on configuration file $file.
 126 #
 127
 128 function check_perms() {
 129         local file=$1
 130         local perms=`ls -ld $file`
 131         perms=${perms:4:6}
 132         if [ "$perms" != "------" ]; then
 133                 echo "Configuration files must not be group or world writable/readable! Dying on file $file"
 134                 fatal "Configuration files must not be group or world writable/readable! Dying on file $file"
 135         fi
 136         if [ `ls -ld $file | awk '{print $3}'` != "root" ]; then
 137                 echo "Configuration files must be owned by root! Dying on file $file"
 138                 fatal "Configuration files must be owned by root! Dying on file $file"
 139         fi
 140 }
 141
 142 # simple lowercase function
 143 function tolower() {
 144         echo "$1" | tr [:upper:] [:lower:]
 145 }
 146
 147 # simple to integer function
 148 function toint() {
 149         echo "$1" | tr [:alpha:] -d
 150 }
 151
 152 #
 153 # function isnow(): returns 1 if the time/day passed as $1 matches
 154 # the current time/day.
 155 #
 156 # format is <day> at <time>:
 157 #   sunday at 16
 158 #   8th at 01
 159 #   everyday at 22
 160 #
 161
 162 # we grab the current time once, since processing
 163 # all the configs might take more than an hour.
 164 nowtime=`date +%H`
 165 nowday=`date +%d`
 166 nowdayofweek=`date +%A`
 167 nowdayofweek=`tolower "$nowdayofweek"`
 168
 169 function isnow() {
 170         local when="$1"
 171         set -- $when
 172         whendayofweek=$1; at=$2; whentime=$3;
 173         whenday=`toint "$whendayofweek"`
 174         whendayofweek=`tolower "$whendayofweek"`
 175         whentime=`echo "$whentime" | sed 's/:[0-9][0-9]$//' | sed -r 's/^([0-9])$/0\1/'`
 176
 177         if [ "$whendayofweek" == "everyday" -o "$whendayofweek" == "daily" ]; then
 178                 whendayofweek=$nowdayofweek
 179         fi
 180
 181         if [ "$whenday" == "" ]; then
 182                 if [ "$whendayofweek" != "$nowdayofweek" ]; then
 183                         whendayofweek=${whendayofweek%s}
 184                         if [ "$whendayofweek" != "$nowdayofweek" ]; then
 185                                 return 0
 186                         fi
 187                 fi
 188         elif [ "$whenday" != "$nowday" ]; then
 189                 return 0
 190         fi
 191
 192         [ "$at" == "at" ] || return 0
 193         [ "$whentime" == "$nowtime" ] || return 0
 194
 195         return 1
 196 }
 197
 198 function usage() {
 199         cat << EOF
 200 $0 usage:
 201 This script allows you to coordinate system backup by dropping a few
 202 simple configuration files into @CFGDIR@/backup.d/. Typically, this
 203 script is run hourly from cron.
 204
 205 The following options are available:
 206 -h, --help           This usage message
 207 -d, --debug          Run in debug mode, where all log messages are
 208                      output to the current shell.
 209 -f, --conffile FILE  Use FILE for the main configuration instead
 210                      of @CFGDIR@/backupninja.conf
 211 -t, --test           Test run mode. This will test if the backup
 212                      could run, without actually preforming any
 213                      backups. For example, it will attempt to authenticate
 214                      or test that ssh keys are set correctly.
 215 -n, --now            Perform actions now, instead of when they might
 216                      be scheduled. No output will be created unless also
 217                      run with -d.
 218     --run FILE       Execute the specified action file and then exit.
 219                      Also puts backupninja in debug mode.
 220
 221 When in debug mode, output to the console will be colored:
 222 EOF
 223         debug=1
 224         debug   "Debugging info (when run with -d)"
 225         info    "Informational messages (verbosity level 4)"
 226         warning "Warnings (verbosity level 3 and up)"
 227         error   "Errors (verbosity level 2 and up)"
 228         fatal   "Fatal, halting errors (always shown)"
 229 }
 230
 231 ##
 232 ## this function handles the running of a backup action
 233 ##
 234 ## these globals are modified:
 235 ## fatals, errors, warnings, actions_run, errormsg
 236 ##
 237
 238 function process_action() {
 239         local file="$1"
 240         local suffix="$2"
 241         local run="no"
 242         setfile $file
 243
 244         # skip over this config if "when" option
 245         # is not set to the current time.
 246         getconf when "$defaultwhen"
 247         if [ "$processnow" == 1 ]; then
 248                 info ">>>> starting action $file (because of --now)"
 249                 run="yes"
 250         elif [ "$when" == "hourly" ]; then
 251                 info ">>>> starting action $file (because 'when = hourly')"
 252                 run="yes"
 253         else
 254                 IFS=$'\t\n'
 255                 for w in $when; do
 256                         IFS=$' \t\n'
 257                         isnow "$w"
 258                         ret=$?
 259                         IFS=$'\t\n'
 260                         if [ $ret == 0 ]; then
 261                                 debug "skipping $file because it is not $w"
 262                         else
 263                                 info ">>>> starting action $file (because it is $w)"
 264                                 run="yes"
 265                         fi
 266                 done
 267                 IFS=$' \t\n'
 268         fi
 269         debug $run
 270         [ "$run" == "no" ] && return
 271
 272         let "actions_run += 1"
 273
 274         # call the handler:
 275         local bufferfile=`maketemp backupninja.buffer`
 276         echo "" > $bufferfile
 277         echo_debug_msg=1
 278         (
 279                 . $scriptdirectory/$suffix $file
 280         ) 2>&1 | (
 281                 while read a; do
 282                         echo $a >> $bufferfile
 283                         [ $debug ] && colorize "$a"
 284                 done
 285         )
 286         retcode=$?
 287         # ^^^^^^^^ we have a problem! we can't grab the return code "$?". grrr.
 288         echo_debug_msg=0
 289
 290         _warnings=`cat $bufferfile | grep "^Warning: " | wc -l`
 291         _errors=`cat $bufferfile | grep "^Error: " | wc -l`
 292         _fatals=`cat $bufferfile | grep "^Fatal: " | wc -l`
 293
 294         ret=`grep "\(^Warning: \|^Error: \|^Fatal: \)" $bufferfile`
 295         rm $bufferfile
 296         if [ $_fatals != 0 ]; then
 297                 msg "*failed* -- $file"
 298                 errormsg="$errormsg\n== fatal errors from $file ==\n\n$ret\n"
 299                 passthru "Fatal: <<<< finished action $file: FAILED"
 300         elif [ $_errors != 0 ]; then
 301                 msg "*error* -- $file"
 302                 errormsg="$errormsg\n== errors from $file ==\n\n$ret\n"
 303                 error "<<<< finished action $file: ERROR"
 304         elif [ $_warnings != 0 ]; then
 305                 msg "*warning* -- $file"
 306                 errormsg="$errormsg\n== warnings from $file ==\n\n$ret\n"
 307                 warning "<<<< finished action $file: WARNING"
 308         else
 309                 msg "success -- $file"
 310                 info "<<<< finished action $file: SUCCESS"
 311         fi
 312
 313         let "fatals += _fatals"
 314         let "errors += _errors"
 315         let "warnings += _warnings"
 316 }
 317
 318 #####################################################
 319 ## MAIN
 320
 321 setupcolors
 322 conffile="@CFGDIR@/backupninja.conf"
 323 loglevel=3
 324
 325 ## process command line options
 326
 327 while [ $# -ge 1 ]; do
 328         case $1 in
 329                 -h|--help) usage;;
 330                 -d|--debug) debug=1;;
 331                 -t|--test) test=1;debug=1;;
 332                 -n|--now) processnow=1;;
 333                 -f|--conffile)
 334                         if [ -f $2 ]; then
 335                                 conffile=$2
 336                         else
 337                                 echo "-f|--conffile option must be followed by an existing filename"
 338                                 fatal "-f|--conffile option must be followed by an existing filename"
 339                                 usage
 340                         fi
 341                         # we shift here to avoid processing the file path
 342                         shift
 343                         ;;
 344                 --run)
 345                         debug=1
 346                         if [ -f $2 ]; then
 347                                 singlerun=$2
 348                                 processnow=1
 349                         else
 350                                 echo "--run option must be fallowed by a backupninja action file"
 351                                 fatal "--run option must be fallowed by a backupninja action file"
 352                                 usage
 353                         fi
 354                         shift
 355                         ;;
 356                 *)
 357                         debug=1
 358                         echo "Unknown option $1"
 359                         fatal "Unknown option $1"
 360                         usage
 361                         exit
 362                         ;;
 363         esac
 364         shift
 365 done
 366
 367 #if [ $debug ]; then
 368 #       usercolors=yes
 369 #fi
 370
 371 ## Load and confirm basic configuration values
 372
 373 # bootstrap
 374 if [ ! -r "$conffile" ]; then
 375         echo "Configuration file $conffile not found."
 376         fatal "Configuration file $conffile not found."
 377 fi
 378
 379 # find $libdirectory
 380 libdirectory=`grep '^libdirectory' $conffile | awk '{print $3}'`
 381 if [ -z "$libdirectory" ]; then
 382         if [ -d "@libdir@" ]; then
 383            libdirectory="@libdir@"
 384         else
 385            echo "Could not find entry 'libdirectory' in $conffile."
 386            fatal "Could not find entry 'libdirectory' in $conffile."
 387         fi
 388 else
 389         if [ ! -d "$libdirectory" ]; then
 390            echo "Lib directory $libdirectory not found."
 391            fatal "Lib directory $libdirectory not found."
 392         fi
 393 fi
 394
 395 # include shared functions
 396 . $libdirectory/tools
 397
 398 setfile $conffile
 399
 400 # get global config options (second param is the default)
 401 getconf configdirectory @CFGDIR@/backup.d
 402 getconf scriptdirectory @datadir@
 403 getconf reportemail
 404 getconf reportsuccess yes
 405 getconf reportwarning yes
 406 getconf loglevel 3
 407 getconf when "Everyday at 01:00"
 408 defaultwhen=$when
 409 getconf logfile @localstatedir@/log/backupninja.log
 410 getconf usecolors "yes"
 411 getconf SLAPCAT /usr/sbin/slapcat
 412 getconf LDAPSEARCH /usr/bin/ldapsearch
 413 getconf RDIFFBACKUP /usr/bin/rdiff-backup
 414 getconf MYSQL /usr/bin/mysql
 415 getconf MYSQLHOTCOPY /usr/bin/mysqlhotcopy
 416 getconf MYSQLDUMP /usr/bin/mysqldump
 417 getconf PGSQLDUMP /usr/bin/pg_dump
 418 getconf PGSQLDUMPALL /usr/bin/pg_dumpall
 419 getconf GZIP /bin/gzip
 420 getconf RSYNC /usr/bin/rsync
 421 getconf vservers no
 422 getconf VSERVERINFO /usr/sbin/vserver-info
 423 getconf VSERVER /usr/sbin/vserver
 424 getconf VROOTDIR `if [ -f "$VSERVERINFO" ]; then $VSERVERINFO info SYSINFO |grep vserver-Rootdir | awk '{print $2}'; fi`
 425
 426 if [ ! -d "$configdirectory" ]; then
 427         echo "Configuration directory '$configdirectory' not found."
 428         fatal "Configuration directory '$configdirectory' not found."
 429 fi
 430
 431 [ -f "$logfile" ] || touch $logfile
 432
 433 if [ "$UID" != "0" ]; then
 434         echo "$0 can only be run as root"
 435         exit 1
 436 fi
 437
 438 if [ "$vservers" == "yes" -a ! -d "$VROOTDIR" ]; then
 439         echo "vservers option set in config, but $VROOTDIR is not a directory!"
 440         fatal "vservers option set in config, but $VROOTDIR is not a directory!"
 441 fi
 442
 443 ## Process each configuration file
 444
 445 # by default, don't make files which are world or group readable.
 446 umask 077
 447
 448 # these globals are set by process_action()
 449 fatals=0
 450 errors=0
 451 warnings=0
 452 actions_run=0
 453 errormsg=""
 454
 455 if [ "$singlerun" ]; then
 456         files=$singlerun
 457 else
 458         files=`find $configdirectory -mindepth 1 ! -name '.*.swp' | sort -n`
 459 fi
 460
 461 for file in $files; do
 462         [ -f "$file" ] || continue
 463
 464         check_perms $file
 465         suffix="${file##*.}"
 466         base=`basename $file`
 467         if [ "${base:0:1}" == "0" -o "$suffix" == "disabled" ]; then
 468                 info "Skipping $file"
 469                 continue
 470         fi
 471
 472         if [ -e "$scriptdirectory/$suffix" ]; then
 473                 process_action $file $suffix
 474         else
 475                 error "Can't process file '$file': no handler script for suffix '$suffix'"
 476                 msg "*missing handler* -- $file"
 477         fi
 478 done
 479
 480 ## mail the messages to the report address
 481
 482 if [ $actions_run == 0 ]; then doit=0
 483 elif [ "$reportemail" == "" ]; then doit=0
 484 elif [ $fatals != 0 ]; then doit=1
 485 elif [ $errors != 0 ]; then doit=1
 486 elif [ "$reportsuccess" == "yes" ]; then doit=1
 487 elif [ "$reportwarning" == "yes" -a $warnings != 0 ]; then doit=1
 488 else doit=0
 489 fi
 490
 491 if [ $doit == 1 ]; then
 492         debug "send report to $reportemail"
 493         hostname=`hostname`
 494         [ $warnings == 0 ] || subject="WARNING"
 495         [ $errors == 0 ] || subject="ERROR"
 496         [ $fatals == 0 ] || subject="FAILED"
 497
 498         {
 499                 for ((i=0; i < ${#messages[@]} ; i++)); do
 500                         echo ${messages[$i]}
 501                 done
 502                 echo -e "$errormsg"
 503         } | mail $reportemail -s "backupninja: $hostname $subject"
 504 fi
 505
 506 if [ $actions_run != 0 ]; then
 507         info "FINISHED: $actions_run actions run. $fatals fatal. $errors error. $warnings warning."
 508 fi