handlers/rsync.in

   1 #
   2 # backupninja handler to do incremental backups using
   3 # rsync and hardlinks, based on
   4 #
   5 #   http://www.mikerubel.org/computers/rsync_snapshots/
   6 #
   7 # feedback: rhatto at riseup.net | gpl
   8 # lot of enhancements grabbed from "rsnap" handler by paulv at bikkel.org
   9 #
  10 # Config file options
  11 # -------------------
  12 #
  13 #   [general]
  14 #   log = rsync log file
  15 #   partition = partition where the backup lives
  16 #   fscheck = set to 1 if fsck should run on $partition after the backup is made
  17 #   read_only = set to 1 if $partition is mounted read-only
  18 #   mountpoint = backup partition mountpoint or backup main folder
  19 #   backupdir = folder relative do $mountpoint where the backup should be stored
  20 #   days = number of backup increments (min = 5)
  21 #   lockfile = lockfile to be kept during backup execution
  22 #   nicelevel = rsync command nice level
  23 #   enable_mv_timestamp_bug = set to "yes" if your system isnt handling timestamps correctly
  24 #   tmp = temp folder
  25 #
  26 #   [source]
  27 #   from = local or remote
  28 #   host = source hostname or ip, if remote backup
  29 #   testconnect = when "yes", test the connection for a remote source before backup
  30 #   include = include folder on backup
  31 #   exclude = exclude folder on backup
  32 #   ssh = ssh command line (remote only)
  33 #   rsync = rsync program
  34 #   rsync_options = rsync command options
  35 #   exclude_vserver = vserver-name (valid only if vservers = yes on backupninja.conf)
  36 #   numericids = when set to 1, use numeric ids instead of user/group mappings on rsync
  37 #   compress = if set to 1, compress data on rsync (remote source only)
  38 #   bandwidthlimit = set a badnwidth limit in kbps (remote source only)
  39 #   remote_rsync = remote rsync program (remote source only)
  40 #
  41 #   [services]
  42 #   initscripts = absolute path where scripts are located
  43 #   service = script name to be stoped at the begining of the backup and started at its end
  44 #
  45 # You can also specify some system comands if you don't want the default system values:
  46 #
  47 #   [system]
  48 #   rm = rm command
  49 #   cp = cp command
  50 #   touch = touch command
  51 #   mv = mv command
  52 #   fsck = fsck command
  53 #
  54 # You dont need to manually specify vservers using "include = /vservers".
  55 # They are automatically backuped if vserver is set to "yes" on you backupninja.conf.
  56 #
  57
  58 # config file evaluation
  59
  60 setsection system
  61 getconf rm rm
  62 getconf cp cp
  63 getconf touch touch
  64 getconf mv mv
  65 getconf fsck fsck
  66
  67 setsection general
  68 getconf log /var/log/backup/rsync.log
  69 getconf partition
  70 getconf fscheck
  71 getconf read_only
  72 getconf mountpoint
  73 getconf backupdir
  74 getconf rotate
  75 getconf days
  76 getconf lockfile
  77 getconf nicelevel 0
  78 getconf enable_mv_timestamp_bug no
  79 getconf tmp /tmp
  80
  81 setsection source
  82 getconf from local
  83 getconf testconnect no
  84 getconf rsync $RSYNC
  85 getconf rsync_options "-av --delete"
  86 getconf ssh ssh
  87 getconf user
  88 getconf host
  89 getconf include
  90 getconf exclude
  91 getconf exclude_vserver
  92 getconf numericids 0
  93 getconf compress 0
  94 getconf bandwidthlimit
  95 getconf remote_rsync rsync
  96
  97 setsection services
  98 getconf initscripts
  99 getconf service
 100
 101 # function definitions
 102
 103 function rotate {
 104
 105    if [[ "$2" < 4 ]]; then
 106       error "Rotate: minimum of 4 rotations"
 107       exit 1
 108    fi
 109
 110    if [ -d $1.$2 ]; then
 111       $nice $mv /$1.$2 /$1.tmp
 112    fi
 113
 114    for ((n=`echo "$2 - 1" | bc`; n >= 0; n--)); do
 115       if [ -d $1.$n ]; then
 116          dest=`echo "$n + 1" | bc`
 117          $nice $mv /$1.$n /$1.$dest
 118          $touch /$1.$dest
 119       fi
 120    done
 121
 122    if [ -d $1.tmp ]; then
 123       $nice $mv /$1.tmp /$1.0
 124    fi
 125
 126    if [ -d $1.1 ]; then
 127       $nice $cp -alf /$1.1/. /$1.0
 128    fi
 129
 130 }
 131
 132 function move_files {
 133
 134    ref=$tmp/makesnapshot-mymv-$$;
 135    $touch -r $1 $ref;
 136    $mv $1 $2;
 137    $touch -r $ref $2;
 138    $rm $ref;
 139
 140 }
 141
 142 backupdir="$mountpoint/$backupdir"
 143
 144 # does $backupdir exists?
 145
 146 if [ ! -d "$backupdir" ]; then
 147    error "Backupdir $backupdir does not exist"
 148    exit 1
 149 fi
 150
 151 # setup number of increments
 152
 153 if [ -z "$days" ]; then
 154    keep="4"
 155 else
 156    keep="`echo $days - 1 | bc -l`"
 157 fi
 158
 159 # lockfile setup
 160
 161 if [ ! -z "$lockfile" ]; then
 162    $touch $lockfile || warning "Could not create lockfile $lockfile"
 163 fi
 164
 165 # nicelevel setup
 166
 167 if [ ! -z "$nicelevel" ]; then
 168    nice="nice -n $nicelevel"
 169 else
 170    nice=""
 171 fi
 172
 173 # connection test
 174
 175 if [ "$from" == "remote" ] && [ "$testconnect" == "yes" ]; then
 176    debug "$ssh -o PasswordAuthentication=no $user@$host 'echo -n 1'"
 177    result=`ssh -o PasswordAuthentication=no $user@$host 'echo -n 1'`
 178    if [ "$result" != "1" ]; then
 179       fatal "Can't connect to $host as $user."
 180    else
 181       debug "Connected to $srchost successfully"
 182    fi
 183 fi
 184
 185 # rsync options for local sources
 186
 187 if [ "$from" == "local" ]; then
 188
 189    rsync_local_options="$rsync_options"
 190
 191    if [ ! -z "$numericids" ]; then
 192       rsync_local_options="$rsync_local_options --numeric-ids "
 193    fi
 194
 195 fi
 196
 197 # rsync options for remote sources
 198
 199 if [ "$from" == "remote" ]; then
 200
 201    rsync_remote_options="$rsync_options --rsync-path=$remote_rsync"
 202
 203    if [ "$compress" == "1" ]; then
 204       rsync_remote_options="$rsync_remote_options --compress"
 205    fi
 206
 207    if [ ! -z "$bandwidthlimit" ]; then
 208       rsync_remote_options="$rsync_remote_options --bwlimit=$bandwidthlimit"
 209    fi
 210
 211    if [ ! -z "$numericids" ]; then
 212       rsync_remote_options="$rsync_remote_options --numeric-ids"
 213    fi
 214
 215 fi
 216
 217 # set mv procedure
 218
 219 if [ $enable_mv_timestamp_bug == "yes" ]; then
 220    mv=move_files
 221 fi
 222
 223 # set excludes
 224
 225 for path in $exclude; do
 226    EXCLUDES="$EXCLUDES --exclude=$path"
 227 done
 228
 229 # stop services
 230
 231 if [ ! -z "$service" ]; then
 232    for daemon in $service; do
 233       info "Stopping service $daemon..."
 234       $initscripts/$daemon stop
 235    done
 236 fi
 237
 238 echo "Starting backup at `date`" >> $log
 239
 240 # mount backup destination folder as read-write
 241
 242 if [ "$read_only" == "1" ] || [ "$read_only" == "yes" ]; then
 243    if [ -d "$mountpoint" ]; then
 244       mount -o remount,rw $mountpoint
 245       if (($?)); then
 246          error "Could not mount $mountpoint"
 247          exit 1
 248       fi
 249    fi
 250 fi
 251
 252 # add vservers to included folders
 253
 254 if [ "$vservers_are_available" == "yes" ]; then
 255
 256    # sane permission on backup
 257    mkdir -p $backupdir/$VROOTDIR
 258    chmod 000 $backupdir/$VROOTDIR
 259
 260    for candidate in $found_vservers; do
 261       candidate="`basename $candidate`"
 262       found_excluded_vserver="0"
 263       for excluded_vserver in $exclude_vserver; do
 264          if [ "$excluded_vserver" == "$candidate" ]; then
 265             found_excluded_vserver="1"
 266             break
 267          fi
 268       done
 269       if [ "$found_excluded_vserver" == "0" ]; then
 270          include="$include $VROOTDIR/$candidate"
 271       fi
 272    done
 273 fi
 274
 275 # the backup procedure
 276
 277 for SECTION in $include; do
 278
 279    section="`basename $SECTION`"
 280
 281    if [ ! -d "$backupdir/$SECTION/$section.0" ]; then
 282       mkdir -p $backupdir/$SECTION/$section.0
 283    fi
 284
 285    info "Rotating $backupdir/$SECTION/$section..."
 286    echo "Rotating $backupdir/$SECTION/$section..." >> $log
 287    rotate $backupdir/$SECTION/$section $keep
 288    info "Syncing $SECTION on $backupdir/$SECTION/$section.0..."
 289
 290    if [ "$from" == "local" ]; then
 291       debug $rsync $rsync_local_options $EXCLUDES /$SECTION/ $backupdir/$SECTION/$section.0/
 292       $nice $rsync $rsync_local_options $EXCLUDES /$SECTION/ $backupdir/$SECTION/$section.0/ >> $log
 293       if [ "$?" != "0" ]; then
 294          warning "Rsync error when trying to transfer $SECTION"
 295       fi
 296    elif [ "$from" == "remote" ]; then
 297       if [ -z "$user" ] || [ -z "$host" ]; then
 298          error "Config file error: either user or host was not specified"
 299          exit 1
 300       else
 301          debug $nice $rsync $rsync_remote_options $EXCLUDES -e "$ssh" $user@$host:/$SECTION/ $backupdir/$SECTION/$section.0
 302          $nice $rsync $rsync_remote_options $EXCLUDES -e "$ssh" $user@$host:/$SECTION/ $backupdir/$SECTION/$section.0 >> $log
 303          if [ "$?" != "0" ]; then
 304             warning "Rsync error when trying to transfer $SECTION"
 305             fi
 306       fi
 307    else
 308       error "Invalid source $from"
 309       exit 1
 310    fi
 311
 312    $touch $backupdir/$SECTION/$section.0
 313
 314 done
 315
 316 # remount backup destination as read-only
 317
 318 if [ "$read_only" == "1" ] || [ "$read_only" == "yes" ]; then
 319    mount -o remount,ro $mountpoint
 320 fi
 321
 322 # check partition for errors
 323
 324 if [ "$fscheck" == "1" ] || [ "$fscheck" == "yes" ]; then
 325    umount $mountpoint
 326    if (($?)); then
 327       warning "Could not umount $mountpoint to run fsck"
 328    else
 329       $nice $fsck -v -y $partition >> $log
 330       mount $mountpoint
 331    fi
 332 fi
 333
 334 # restart services
 335
 336 if [ ! -z "$service" ]; then
 337    for daemon in $service; do
 338       info "Starting service $daemon..."
 339       $initscripts/$daemon start
 340    done
 341 fi
 342
 343 # removes the lockfile
 344
 345 if [ ! -z "$lockfile" ]; then
 346    $rm $lockfile || warning "Could not remove lockfile $lockfile"
 347 fi
 348
 349 echo "Finnishing backup at `date`" >> $log
 350