lib/tools.in(maketemp): really remove insecure fall-back if mktemp is missing, since...
[matthijs/upstream/backupninja.git] / handlers / rsync.in
1 #
2 # backupninja handler to do incremental backups using
3 # rsync and hardlinks, based on
4 #
5 #   http://www.mikerubel.org/computers/rsync_snapshots/
6 #
7 # feedback: rhatto at riseup.net | gpl
8 # lot of enhancements grabbed from "rsnap" handler by paulv at bikkel.org
9 #
10 # Config file options
11 # -------------------
12 #
13 #   [general]
14 #   log = rsync log file
15 #   partition = partition where the backup lives
16 #   fscheck = set to 1 if fsck should run on $partition after the backup is made
17 #   read_only = set to 1 if $partition is mounted read-only
18 #   mountpoint = backup partition mountpoint or backup main folder
19 #   backupdir = folder relative do $mountpoint where the backup should be stored
20 #   days = number of backup increments (min = 5)
21 #   lockfile = lockfile to be kept during backup execution
22 #   nicelevel = rsync command nice level
23 #   enable_mv_timestamp_bug = set to "yes" if your system isnt handling timestamps correctly
24 #   tmp = temp folder
25 #
26 #   [source]
27 #   from = local or remote
28 #   host = source hostname or ip, if remote backup
29 #   testconnect = when "yes", test the connection for a remote source before backup
30 #   include = include folder on backup
31 #   exclude = exclude folder on backup
32 #   ssh = ssh command line (remote only)
33 #   rsync = rsync program
34 #   rsync_options = rsync command options
35 #   exclude_vserver = vserver-name (valid only if vservers = yes on backupninja.conf)
36 #   numericids = when set to 1, use numeric ids instead of user/group mappings on rsync
37 #   compress = if set to 1, compress data on rsync (remote source only)
38 #   bandwidthlimit = set a badnwidth limit in kbps (remote source only)
39 #   remote_rsync = remote rsync program (remote source only)
40 #
41 #   [services]
42 #   initscripts = absolute path where scripts are located
43 #   service = script name to be stoped at the begining of the backup and started at its end
44 #
45 # You can also specify some system comands if you don't want the default system values:
46 #
47 #   [system]
48 #   rm = rm command
49 #   cp = cp command
50 #   touch = touch command
51 #   mv = mv command
52 #   fsck = fsck command
53 #
54 # You dont need to manually specify vservers using "include = /vservers".
55 # They are automatically backuped if vserver is set to "yes" on you backupninja.conf.
56 #
57
58 # config file evaluation
59
60 setsection system
61 getconf rm rm
62 getconf cp cp
63 getconf touch touch
64 getconf mv mv
65 getconf fsck fsck
66
67 setsection general
68 getconf log /var/log/backup/rsync.log
69 getconf partition
70 getconf fscheck
71 getconf read_only
72 getconf mountpoint
73 getconf backupdir
74 getconf rotate
75 getconf days
76 getconf lockfile
77 getconf nicelevel 0
78 getconf enable_mv_timestamp_bug no
79 getconf tmp /tmp
80
81 setsection source
82 getconf from local
83 getconf testconnect no
84 getconf rsync $RSYNC
85 getconf rsync_options "-av --delete"
86 getconf ssh ssh
87 getconf user
88 getconf host
89 getconf include
90 getconf exclude
91 getconf exclude_vserver
92 getconf numericids 0
93 getconf compress 0
94 getconf bandwidthlimit
95 getconf remote_rsync rsync
96
97 setsection services
98 getconf initscripts
99 getconf service
100
101 # function definitions
102
103 function rotate {
104
105   if [[ "$2" < 4 ]]; then
106     error "Rotate: minimum of 4 rotations"
107     exit 1
108   fi
109
110   if [ -d $1.$2 ]; then
111     $nice $mv /$1.$2 /$1.tmp
112   fi
113
114   for ((n=`echo "$2 - 1" | bc`; n >= 0; n--)); do
115     if [ -d $1.$n ]; then
116       dest=`echo "$n + 1" | bc`
117       $nice $mv /$1.$n /$1.$dest
118       $touch /$1.$dest
119     fi
120   done
121
122   if [ -d $1.tmp ]; then
123     $nice $mv /$1.tmp /$1.0
124   fi
125
126   if [ -d $1.1 ]; then
127     $nice $cp -alf /$1.1/. /$1.0
128   fi
129
130 }
131
132 function move_files {
133
134  ref=$tmp/makesnapshot-mymv-$$;
135  $touch -r $1 $ref;
136  $mv $1 $2;
137  $touch -r $ref $2;
138  $rm $ref;
139
140 }
141
142 backupdir="$mountpoint/$backupdir"
143
144 # does $backupdir exists?
145
146 if [ ! -d "$backupdir" ]; then 
147   error "Backupdir $backupdir does not exist"
148   exit 1
149 fi
150
151 # setup number of increments
152
153 if [ -z "$days" ]; then
154   keep="4"
155 else
156   keep="`echo $days - 1 | bc -l`"
157 fi
158
159 # lockfile setup
160
161 if [ ! -z "$lockfile" ]; then
162   $touch $lockfile || warning "Could not create lockfile $lockfile"
163 fi
164
165 # nicelevel setup
166
167 if [ ! -z "$nicelevel" ]; then 
168   nice="nice -n $nicelevel"
169 else 
170   nice=""
171 fi
172
173 # connection test
174
175 if [ "$from" == "remote" ] && [ "$testconnect" == "yes" ]; then
176   debug "$ssh -o PasswordAuthentication=no $user@$host 'echo -n 1'"
177   result=`ssh -o PasswordAuthentication=no $user@$host 'echo -n 1'`
178   if [ "$result" != "1" ]; then
179     fatal "Can't connect to $host as $user."
180   else
181     debug "Connected to $srchost successfully"
182   fi
183 fi
184
185 # rsync options for local sources
186
187 if [ "$from" == "local" ]; then
188
189   rsync_local_options="$rsync_options"
190
191   if [ ! -z "$numericids" ]; then
192     rsync_local_options="$rsync_local_options --numeric-ids "
193   fi
194
195 fi
196
197 # rsync options for remote sources
198
199 if [ "$from" == "remote" ]; then
200
201   rsync_remote_options="$rsync_options --rsync-path=$remote_rsync"
202
203   if [ "$compress" == "1" ]; then
204     rsync_remote_options="$rsync_remote_options --compress"
205   fi
206
207   if [ ! -z "$bandwidthlimit" ]; then
208     rsync_remote_options="$rsync_remote_options --bwlimit=$bandwidthlimit"
209   fi
210
211   if [ ! -z "$numericids" ]; then
212     rsync_remote_options="$rsync_remote_options --numeric-ids"
213   fi
214
215 fi
216
217 # set mv procedure
218
219 if [ $enable_mv_timestamp_bug == "yes" ]; then
220   mv=move_files
221 fi
222
223 # set excludes
224
225 for path in $exclude; do
226   EXCLUDES="$EXCLUDES --exclude=$path"
227 done
228
229 # stop services
230
231 if [ ! -z "$service" ]; then
232   for daemon in $service; do
233     info "Stopping service $daemon..."
234     $initscripts/$daemon stop
235   done
236 fi
237
238 echo "Starting backup at `date`" >> $log
239
240 # mount backup destination folder as read-write
241
242 if [ "$read_only" == "1" ] || [ "$read_only" == "yes" ]; then
243   if [ -d "$mountpoint" ]; then
244     mount -o remount,rw $mountpoint
245     if (($?)); then
246       error "Could not mount $mountpoint"
247       exit 1
248     fi
249   fi
250 fi
251
252 # add vservers to included folders
253
254 if [ "$vservers_are_available" == "yes" ]; then
255
256   # sane permission on backup
257   mkdir -p $backupdir/$VROOTDIR
258   chmod 000 $backupdir/$VROOTDIR
259
260   for candidate in $found_vservers; do
261     candidate="`basename $candidate`"
262     found_excluded_vserver="0"
263     for excluded_vserver in $exclude_vserver; do
264       if [ "$excluded_vserver" == "$candidate" ]; then
265         found_excluded_vserver="1"
266         break
267       fi
268     done
269     if [ "$found_excluded_vserver" == "0" ]; then
270       include="$include $VROOTDIR/$candidate"
271     fi
272   done
273 fi
274
275 # the backup procedure
276
277 for SECTION in $include; do
278
279   section="`basename $SECTION`"
280
281   if [ ! -d "$backupdir/$SECTION/$section.0" ]; then
282     mkdir -p $backupdir/$SECTION/$section.0
283   fi
284  
285   info "Rotating $backupdir/$SECTION/$section..."
286   echo "Rotating $backupdir/$SECTION/$section..." >> $log
287   rotate $backupdir/$SECTION/$section $keep
288   info "Syncing $SECTION on $backupdir/$SECTION/$section.0..."
289
290   if [ "$from" == "local" ]; then
291     debug $rsync $rsync_local_options $EXCLUDES /$SECTION/ $backupdir/$SECTION/$section.0/ 
292     $nice $rsync $rsync_local_options $EXCLUDES /$SECTION/ $backupdir/$SECTION/$section.0/ >> $log
293     if [ "$?" != "0" ]; then
294       warning "Rsync error when trying to transfer $SECTION"
295     fi
296   elif [ "$from" == "remote" ]; then
297     if [ -z "$user" ] || [ -z "$host" ]; then
298       error "Config file error: either user or host was not specified"
299       exit 1
300     else
301       debug $nice $rsync $rsync_remote_options $EXCLUDES -e "$ssh" $user@$host:/$SECTION/ $backupdir/$SECTION/$section.0
302       $nice $rsync $rsync_remote_options $EXCLUDES -e "$ssh" $user@$host:/$SECTION/ $backupdir/$SECTION/$section.0 >> $log
303       if [ "$?" != "0" ]; then
304         warning "Rsync error when trying to transfer $SECTION"
305       fi
306     fi
307   else
308     error "Invalid source $from"
309     exit 1
310   fi
311
312   $touch $backupdir/$SECTION/$section.0
313
314 done
315
316 # remount backup destination as read-only
317
318 if [ "$read_only" == "1" ] || [ "$read_only" == "yes" ]; then
319   mount -o remount,ro $mountpoint
320 fi
321
322 # check partition for errors
323
324 if [ "$fscheck" == "1" ] || [ "$fscheck" == "yes" ]; then
325   umount $mountpoint
326   if (($?)); then
327     warning "Could not umount $mountpoint to run fsck"
328   else
329     $nice $fsck -v -y $partition >> $log
330     mount $mountpoint
331   fi
332 fi
333
334 # restart services
335
336 if [ ! -z "$service" ]; then
337   for daemon in $service; do
338     info "Starting service $daemon..."
339     $initscripts/$daemon start
340   done
341 fi
342
343 # removes the lockfile
344
345 if [ ! -z "$lockfile" ]; then
346   $rm $lockfile || warning "Could not remove lockfile $lockfile"
347 fi
348
349 echo "Finnishing backup at `date`" >> $log
350