src/backupninja.in

   1 #!@BASH@
   2 # -*- mode: sh; sh-basic-offset: 3; indent-tabs-mode: nil; -*-
   3 #
   4 #                          |\_
   5 # B A C K U P N I N J A   /()/
   6 #                         `\|
   7 #
   8 # Copyright (C) 2004-05 riseup.net -- property is theft.
   9 #
  10 # This program is free software; you can redistribute it and/or modify
  11 # it under the terms of the GNU General Public License as published by
  12 # the Free Software Foundation; either version 2 of the License, or
  13 # (at your option) any later version.
  14 #
  15 # This program is distributed in the hope that it will be useful,
  16 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  17 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  18 # GNU General Public License for more details.
  19 #
  20
  21 #####################################################
  22 ## FUNCTIONS
  23
  24 function setupcolors () {
  25    BLUE="\033[34;01m"
  26    GREEN="\033[32;01m"
  27    YELLOW="\033[33;01m"
  28    PURPLE="\033[35;01m"
  29    RED="\033[31;01m"
  30    OFF="\033[0m"
  31    CYAN="\033[36;01m"
  32    COLORS=($BLUE $GREEN $YELLOW $RED $PURPLE $CYAN)
  33 }
  34
  35 function colorize () {
  36    if [ "$usecolors" == "yes" ]; then
  37       local typestr=`echo "$@" | @SED@ 's/\(^[^:]*\).*$/\1/'`
  38       [ "$typestr" == "Debug" ] && type=0
  39       [ "$typestr" == "Info" ] && type=1
  40       [ "$typestr" == "Warning" ] && type=2
  41       [ "$typestr" == "Error" ] && type=3
  42       [ "$typestr" == "Fatal" ] && type=4
  43       [ "$typestr" == "Halt" ] && type=5
  44       color=${COLORS[$type]}
  45       endcolor=$OFF
  46       echo -e "$color$@$endcolor"
  47    else
  48       echo -e "$@"
  49    fi
  50 }
  51
  52 # We have the following message levels:
  53 # 0 - debug - blue
  54 # 1 - normal messages - green
  55 # 2 - warnings - yellow
  56 # 3 - errors - red
  57 # 4 - fatal - purple
  58 # 5 - halt - cyan
  59 # First variable passed is the error level, all others are printed
  60
  61 # if 1, echo out all warnings, errors, or fatal
  62 # used to capture output from handlers
  63 echo_debug_msg=0
  64
  65 usecolors=yes
  66
  67 function printmsg() {
  68    [ ${#@} -gt 1 ] || return
  69
  70    type=$1
  71    shift
  72    if [ $type == 100 ]; then
  73       typestr=`echo "$@" | @SED@ 's/\(^[^:]*\).*$/\1/'`
  74       [ "$typestr" == "Debug" ] && type=0
  75       [ "$typestr" == "Info" ] && type=1
  76       [ "$typestr" == "Warning" ] && type=2
  77       [ "$typestr" == "Error" ] && type=3
  78       [ "$typestr" == "Fatal" ] && type=4
  79       [ "$typestr" == "Halt" ] && type=5
  80       typestr=""
  81    else
  82       types=(Debug Info Warning Error Fatal Halt)
  83       typestr="${types[$type]}: "
  84    fi
  85
  86    print=$[4-type]
  87
  88    if [ $echo_debug_msg == 1 ]; then
  89       echo -e "$typestr$@" >&2
  90    elif [ $debug ]; then
  91       colorize "$typestr$@" >&2
  92    fi
  93
  94    if [ $print -lt $loglevel ]; then
  95       logmsg "$typestr$@"
  96    fi
  97 }
  98
  99 function logmsg() {
 100    if [ -w "$logfile" ]; then
 101       echo -e `LC_ALL=C date "+%h %d %H:%M:%S"` "$@" >> $logfile
 102    fi
 103 }
 104
 105 function passthru() {
 106    printmsg 100 "$@"
 107 }
 108 function debug() {
 109    printmsg 0 "$@"
 110 }
 111 function info() {
 112    printmsg 1 "$@"
 113 }
 114 function warning() {
 115    printmsg 2 "$@"
 116 }
 117 function error() {
 118    printmsg 3 "$@"
 119 }
 120 function fatal() {
 121    printmsg 4 "$@"
 122    exit 2
 123 }
 124 function halt() {
 125    printmsg 5 "$@"
 126    exit 2
 127 }
 128
 129 msgcount=0
 130 function msg {
 131    messages[$msgcount]=$1
 132    let "msgcount += 1"
 133 }
 134
 135 #
 136 # enforces very strict permissions on configuration file $file.
 137 #
 138
 139 function check_perms() {
 140    local file=$1
 141    debug "check_perms $file"
 142    local perms
 143    local owners
 144
 145    perms=($(stat -L --format='%A' $file))
 146    debug "perms: $perms"
 147    local gperm=${perms:4:3}
 148    debug "gperm: $gperm"
 149    local wperm=${perms:7:3}
 150    debug "wperm: $wperm"
 151
 152    owners=($(stat -L --format='%g %G %u %U' $file))
 153    local gid=${owners[0]}
 154    local group=${owners[1]}
 155    local owner=${owners[2]}
 156
 157    if [ "$owner" != 0 ]; then
 158       echo "Configuration files must be owned by root! Dying on file $file"
 159       fatal "Configuration files must be owned by root! Dying on file $file"
 160    fi
 161
 162    if [ "$wperm" != '---' ]; then
 163       echo "Configuration files must not be world writable/readable! Dying on file $file"
 164       fatal "Configuration files must not be world writable/readable! Dying on file $file"
 165    fi
 166
 167    if [ "$gperm" != '---' ]; then
 168       case "$admingroup" in
 169          $gid|$group) :;;
 170
 171          *)
 172            if [ "$gid" != 0 ]; then
 173               echo "Configuration files must not be writable/readable by group $group! Use the admingroup option in backupninja.conf. Dying on file $file"
 174               fatal "Configuration files must not be writable/readable by group $group! Use the admingroup option in backupninja.conf. Dying on file $file"
 175            fi
 176          ;;
 177          esac
 178    fi
 179 }
 180
 181 # simple lowercase function
 182 function tolower() {
 183    echo "$1" | tr '[:upper:]' '[:lower:]'
 184 }
 185
 186 # simple to integer function
 187 function toint() {
 188    echo "$1" | tr -d '[:alpha:]'
 189 }
 190
 191 #
 192 # function isnow(): returns 1 if the time/day passed as $1 matches
 193 # the current time/day.
 194 #
 195 # format is <day> at <time>:
 196 #   sunday at 16
 197 #   8th at 01
 198 #   everyday at 22
 199 #
 200
 201 # we grab the current time once, since processing
 202 # all the configs might take more than an hour.
 203 nowtime=`LC_ALL=C date +%H`
 204 nowday=`LC_ALL=C date +%d`
 205 nowdayofweek=`LC_ALL=C date +%A`
 206 nowdayofweek=`tolower "$nowdayofweek"`
 207
 208 function isnow() {
 209    local when="$1"
 210    set -- $when
 211
 212    [ "$when" == "manual" ] && return 0
 213
 214    whendayofweek=$1; at=$2; whentime=$3;
 215    whenday=`toint "$whendayofweek"`
 216    whendayofweek=`tolower "$whendayofweek"`
 217    whentime=`echo "$whentime" | @SED@ 's/:[0-9][0-9]$//' | @SED@ -r 's/^([0-9])$/0\1/'`
 218
 219    if [ "$whendayofweek" == "everyday" -o "$whendayofweek" == "daily" ]; then
 220       whendayofweek=$nowdayofweek
 221    fi
 222
 223    if [ "$whenday" == "" ]; then
 224       if [ "$whendayofweek" != "$nowdayofweek" ]; then
 225          whendayofweek=${whendayofweek%s}
 226          if [ "$whendayofweek" != "$nowdayofweek" ]; then
 227             return 0
 228          fi
 229       fi
 230    elif [ "$whenday" != "$nowday" ]; then
 231       return 0
 232    fi
 233
 234    [ "$at" == "at" ] || return 0
 235    [ "$whentime" == "$nowtime" ] || return 0
 236
 237    return 1
 238 }
 239
 240 function usage() {
 241    cat << EOF
 242 $0 usage:
 243 This script allows you to coordinate system backup by dropping a few
 244 simple configuration files into @CFGDIR@/backup.d/. Typically, this
 245 script is run hourly from cron.
 246
 247 The following options are available:
 248 -h, --help           This usage message
 249 -d, --debug          Run in debug mode, where all log messages are
 250                      output to the current shell.
 251 -f, --conffile FILE  Use FILE for the main configuration instead
 252                      of @CFGDIR@/backupninja.conf
 253 -t, --test           Test run mode. This will test if the backup
 254                      could run, without actually preforming any
 255                      backups. For example, it will attempt to authenticate
 256                      or test that ssh keys are set correctly.
 257 -n, --now            Perform actions now, instead of when they might
 258                      be scheduled. No output will be created unless also
 259                      run with -d.
 260     --run FILE       Execute the specified action file and then exit.
 261                      Also puts backupninja in debug mode.
 262
 263 When in debug mode, output to the console will be colored:
 264 EOF
 265    usecolors=yes
 266    colorize "Debug: Debugging info (when run with -d)"
 267    colorize "Info: Informational messages (verbosity level 4)"
 268    colorize "Warning: Warnings (verbosity level 3 and up)"
 269    colorize "Error: Errors (verbosity level 2 and up)"
 270    colorize "Fatal: Errors which halt a given backup action (always shown)"
 271    colorize "Halt: Errors which halt the whole backupninja run (always shown)"
 272 }
 273
 274 ##
 275 ## this function handles the running of a backup action
 276 ##
 277 ## these globals are modified:
 278 ## halts, fatals, errors, warnings, actions_run, errormsg
 279 ##
 280
 281 function process_action() {
 282    local file="$1"
 283    local suffix="$2"
 284    local run="no"
 285    setfile $file
 286
 287    # skip over this config if "when" option
 288    # is not set to the current time.
 289    getconf when "$defaultwhen"
 290    if [ "$processnow" == 1 ]; then
 291       info ">>>> starting action $file (because of --now)"
 292       run="yes"
 293    elif [ "$when" == "hourly" ]; then
 294       info ">>>> starting action $file (because 'when = hourly')"
 295       run="yes"
 296    else
 297       IFS=$'\t\n'
 298       for w in $when; do
 299          IFS=$' \t\n'
 300          isnow "$w"
 301          ret=$?
 302          IFS=$'\t\n'
 303          if [ $ret == 0 ]; then
 304             debug "skipping $file because current time does not match $w"
 305          else
 306             info ">>>> starting action $file (because current time matches $w)"
 307             run="yes"
 308          fi
 309       done
 310       IFS=$' \t\n'
 311    fi
 312    debug $run
 313    [ "$run" == "no" ] && return
 314
 315    let "actions_run += 1"
 316
 317    # call the handler:
 318    local bufferfile=`maketemp backupninja.buffer`
 319    echo "" > $bufferfile
 320    echo_debug_msg=1
 321    (
 322       . $scriptdirectory/$suffix $file
 323    ) 2>&1 | (
 324       while read a; do
 325          echo $a >> $bufferfile
 326          [ $debug ] && colorize "$a"
 327       done
 328    )
 329    retcode=$?
 330    # ^^^^^^^^ we have a problem! we can't grab the return code "$?". grrr.
 331    echo_debug_msg=0
 332
 333    _warnings=`cat $bufferfile | grep "^Warning: " | wc -l`
 334    _errors=`cat $bufferfile | grep "^Error: " | wc -l`
 335    _fatals=`cat $bufferfile | grep "^Fatal: " | wc -l`
 336    _halts=`cat $bufferfile | grep "^Halt: " | wc -l`
 337
 338    ret=`grep "\(^Warning: \|^Error: \|^Fatal: \|Halt: \)" $bufferfile`
 339    rm $bufferfile
 340    if [ $_halts != 0 ]; then
 341       msg "*halt* -- $file"
 342       errormsg="$errormsg\n== halt request from $file==\n\n$ret\n"
 343       passthru "Halt: <<<< finished action $file: FAILED"
 344    elif [ $_fatals != 0 ]; then
 345       msg "*failed* -- $file"
 346       errormsg="$errormsg\n== fatal errors from $file ==\n\n$ret\n"
 347       passthru "Fatal: <<<< finished action $file: FAILED"
 348    elif [ $_errors != 0 ]; then
 349       msg "*error* -- $file"
 350       errormsg="$errormsg\n== errors from $file ==\n\n$ret\n"
 351       error "<<<< finished action $file: ERROR"
 352    elif [ $_warnings != 0 ]; then
 353       msg "*warning* -- $file"
 354       errormsg="$errormsg\n== warnings from $file ==\n\n$ret\n"
 355       warning "<<<< finished action $file: WARNING"
 356    else
 357       msg "success -- $file"
 358       info "<<<< finished action $file: SUCCESS"
 359    fi
 360
 361    let "halts += _halts"
 362    let "fatals += _fatals"
 363    let "errors += _errors"
 364    let "warnings += _warnings"
 365 }
 366
 367 #####################################################
 368 ## MAIN
 369
 370 setupcolors
 371 conffile="@CFGDIR@/backupninja.conf"
 372 loglevel=3
 373
 374 ## process command line options
 375
 376 while [ $# -ge 1 ]; do
 377    case $1 in
 378       -h|--help) usage;;
 379       -d|--debug) debug=1;;
 380       -t|--test) test=1;debug=1;;
 381       -n|--now) processnow=1;;
 382       -f|--conffile)
 383          if [ -f $2 ]; then
 384             conffile=$2
 385          else
 386             echo "-f|--conffile option must be followed by an existing filename"
 387             fatal "-f|--conffile option must be followed by an existing filename"
 388             usage
 389          fi
 390          # we shift here to avoid processing the file path
 391          shift
 392          ;;
 393       --run)
 394          debug=1
 395          if [ -f $2 ]; then
 396             singlerun=$2
 397             processnow=1
 398          else
 399             echo "--run option must be followed by a backupninja action file"
 400             fatal "--run option must be followed by a backupninja action file"
 401             usage
 402          fi
 403          shift
 404          ;;
 405       *)
 406          debug=1
 407          echo "Unknown option $1"
 408          fatal "Unknown option $1"
 409          usage
 410          exit
 411          ;;
 412    esac
 413    shift
 414 done
 415
 416 #if [ $debug ]; then
 417 #   usercolors=yes
 418 #fi
 419
 420 ## Load and confirm basic configuration values
 421
 422 # bootstrap
 423 if [ ! -r "$conffile" ]; then
 424    echo "Configuration file $conffile not found."
 425    fatal "Configuration file $conffile not found."
 426 fi
 427
 428 # find $libdirectory
 429 libdirectory=`grep '^libdirectory' $conffile | @AWK@ '{print $3}'`
 430 if [ -z "$libdirectory" ]; then
 431    if [ -d "@libdir@" ]; then
 432       libdirectory="@libdir@"
 433    else
 434       echo "Could not find entry 'libdirectory' in $conffile."
 435       fatal "Could not find entry 'libdirectory' in $conffile."
 436    fi
 437 else
 438    if [ ! -d "$libdirectory" ]; then
 439       echo "Lib directory $libdirectory not found."
 440       fatal "Lib directory $libdirectory not found."
 441    fi
 442 fi
 443
 444 # include shared functions
 445 . $libdirectory/tools
 446 . $libdirectory/vserver
 447
 448 setfile $conffile
 449
 450 # get global config options (second param is the default)
 451 getconf configdirectory @CFGDIR@/backup.d
 452 getconf scriptdirectory @datadir@
 453 getconf reportdirectory
 454 getconf reportemail
 455 getconf reporthost
 456 getconf reportspace
 457 getconf reportsuccess yes
 458 getconf reportuser
 459 getconf reportwarning yes
 460 getconf loglevel 3
 461 getconf when "Everyday at 01:00"
 462 defaultwhen=$when
 463 getconf logfile @localstatedir@/log/backupninja.log
 464 getconf usecolors "yes"
 465 getconf SLAPCAT /usr/sbin/slapcat
 466 getconf LDAPSEARCH /usr/bin/ldapsearch
 467 getconf RDIFFBACKUP /usr/bin/rdiff-backup
 468 getconf CSTREAM /usr/bin/cstream
 469 getconf MYSQLADMIN /usr/bin/mysqladmin
 470 getconf MYSQL /usr/bin/mysql
 471 getconf MYSQLHOTCOPY /usr/bin/mysqlhotcopy
 472 getconf MYSQLDUMP /usr/bin/mysqldump
 473 getconf PGSQLDUMP /usr/bin/pg_dump
 474 getconf PGSQLDUMPALL /usr/bin/pg_dumpall
 475 getconf PGSQLUSER postgres
 476 getconf GZIP /bin/gzip
 477 getconf RSYNC /usr/bin/rsync
 478 getconf admingroup root
 479
 480 # initialize vservers support
 481 # (get config variables and check real vservers availability)
 482 init_vservers nodialog
 483
 484 if [ ! -d "$configdirectory" ]; then
 485    echo "Configuration directory '$configdirectory' not found."
 486    fatal "Configuration directory '$configdirectory' not found."
 487 fi
 488
 489 [ -f "$logfile" ] || touch $logfile
 490
 491 if [ "$UID" != "0" ]; then
 492    echo "`basename $0` can only be run as root"
 493    exit 1
 494 fi
 495
 496 ## Process each configuration file
 497
 498 # by default, don't make files which are world or group readable.
 499 umask 077
 500
 501 # these globals are set by process_action()
 502 halts=0
 503 fatals=0
 504 errors=0
 505 warnings=0
 506 actions_run=0
 507 errormsg=""
 508
 509 if [ "$singlerun" ]; then
 510    files=$singlerun
 511 else
 512    files=`find $configdirectory -follow -mindepth 1 -maxdepth 1 -type f ! -name '.*.swp' | sort -n`
 513
 514    if [ -z "$files" ]; then
 515       fatal "No backup actions configured in '$configdirectory', run ninjahelper!"
 516    fi
 517 fi
 518
 519 for file in $files; do
 520    [ -f "$file" ] || continue
 521    [ "$halts" = "0" ] || continue
 522
 523    check_perms ${file%/*} # check containing dir
 524    check_perms $file
 525    suffix="${file##*.}"
 526    base=`basename $file`
 527    if [ "${base:0:1}" == "0" -o "$suffix" == "disabled" ]; then
 528       info "Skipping $file"
 529       continue
 530    fi
 531
 532    if [ -e "$scriptdirectory/$suffix" ]; then
 533       process_action $file $suffix
 534    else
 535       error "Can't process file '$file': no handler script for suffix '$suffix'"
 536       msg "*missing handler* -- $file"
 537    fi
 538 done
 539
 540 ## mail the messages to the report address
 541
 542 if [ $actions_run == 0 ]; then doit=0
 543 elif [ "$reportemail" == "" ]; then doit=0
 544 elif [ $fatals != 0 ]; then doit=1
 545 elif [ $errors != 0 ]; then doit=1
 546 elif [ "$reportsuccess" == "yes" ]; then doit=1
 547 elif [ "$reportwarning" == "yes" -a $warnings != 0 ]; then doit=1
 548 else doit=0
 549 fi
 550
 551 if [ $doit == 1 ]; then
 552    debug "send report to $reportemail"
 553    hostname=`hostname`
 554    [ $warnings == 0 ] || subject="WARNING"
 555    [ $errors == 0 ] || subject="ERROR"
 556    [ $fatals == 0 ] || subject="FAILED"
 557
 558    {
 559       for ((i=0; i < ${#messages[@]} ; i++)); do
 560           echo ${messages[$i]}
 561       done
 562       echo -e "$errormsg"
 563       if [ "$reportspace" == "yes" ]; then
 564          previous=""
 565          for i in $(ls "$configdirectory"); do
 566          backuploc=$(grep ^directory "$configdirectory"/"$i" | @AWK@ '{print $3}')
 567          if [ "$backuploc" != "$previous" -a -n "$backuploc" ]; then
 568             df -h "$backuploc"
 569             previous="$backuploc"
 570          fi
 571          done
 572       fi
 573    } | mail -s "backupninja: $hostname $subject" $reportemail
 574 fi
 575
 576 if [ $actions_run != 0 ]; then
 577    info "FINISHED: $actions_run actions run. $fatals fatal. $errors error. $warnings warning."
 578    if [ "$halts" != "0" ]; then
 579       info "Backup was halted prematurely.  Some actions may not have run."
 580    fi
 581 fi
 582
 583 if [ -n "$reporthost" ]; then
 584    debug "send $logfile to $reportuser@$reporthost:$reportdirectory"
 585    rsync -qt $logfile $reportuser@$reporthost:$reportdirectory
 586 fi