Add Jamie McClelland's cstream patches
[matthijs/upstream/backupninja.git] / handlers / rdiff
1 # -*- mode: sh; sh-basic-offset: 3; indent-tabs-mode: nil; -*-
2 #
3 # rdiff-backup handler script for backupninja
4 # requires rdiff-backup
5 #
6
7 ### FUNCTIONS ###
8
9 function test_connection() {
10         # given a user and host,
11         # tests the connection.
12         # if user or host is missing, returns 0
13         # (ie, assume it's a local connection).
14         if [ $# -lt 2 ]; then
15                 debug "(local is assumed to be a good connection)"
16                 return 0
17         fi
18         local user=$1
19         local host=$2
20         debug "ssh $sshoptions -o PasswordAuthentication=no $host -l $user 'echo -n 1'"
21         local ret=`ssh $sshoptions -o PasswordAuthentication=no $host -l $user 'echo -n host is alive'`
22         if echo $ret | grep "host is alive"; then
23                 debug "Connected to $host as $user successfully"
24         else
25                 fatal "Can't connect to $host as $user."
26         fi
27 }
28
29 function get_version() {
30         # given no arguments, returns the local version.
31         # given a user and host, returns the remote version.
32         # if user or host is missing, returns the local version.
33         if [ "$#" -lt 2 ]; then
34                 debug "$RDIFFBACKUP -V"
35                 echo `$RDIFFBACKUP -V`
36         else
37                 local user=$1
38                 local host=$2
39                 debug "ssh $sshoptions $host -l $user '$RDIFFBACKUP -V'"
40                 echo `ssh $sshoptions $host -l $user "$RDIFFBACKUP -V | grep rdiff-backup"`
41         fi
42 }
43
44 function check_consistency() {
45         local section=$1
46         local type=$2
47         local user=$3
48         local host=$4
49         if [ "$type" == "local" ]; then
50                 if [ "$user" != "" ]; then
51                         warning "User should not be specified for local $section."
52                 fi
53                 if [ "$host" != "" ]; then
54                         warning "Host should not be specified for local $section."
55                 fi
56         fi
57         if [ "$type" == "remote" ]; then
58                 if [ "$user" == "" ]; then
59                         fatal "User must be specified for remote $section."
60                 fi
61                 if [ "host" == "" ]; then
62                         fatal "Host must be specifed for remote $section."
63                 fi
64         fi
65 }
66
67 function check_cstream() {
68         local cstream=$1
69         if [ ! -x $cstream ]; then
70                 fatal "Can't find your cstream binary (trying: $cstream). If you use bwlimit you must have cstream installed."
71         fi
72 }
73
74 ### GET CONFIG ###
75
76 getconf options
77 getconf testconnect yes
78 getconf nicelevel 0
79 getconf bwlimit
80
81 setsection source
82 getconf type; sourcetype=$type
83 getconf user; sourceuser=$user
84 getconf host; sourcehost=$host
85 check_consistency "source" "$type" "$user" "$host"
86 getconf label
87 getconf keep 60
88 getconf include
89 getconf vsnames all
90 getconf vsinclude
91 getconf exclude
92
93 setsection dest
94 getconf directory; destdir=$directory
95 # strip trailing /
96 destdir=${destdir%/}
97 getconf type; desttype=$type
98 getconf user; destuser=$user
99 getconf host; desthost=$host
100 getconf sshoptions
101 check_consistency "destination" "$type" "$user" "$host"
102
103 ### CHECK CONFIG ###
104
105 # If vservers are configured, check that the ones listed in $vsnames do exist.
106 local usevserver=no
107 if [ $vservers_are_available = yes ]; then
108    if [ "$vsnames" = all ]; then
109       vsnames="$found_vservers"
110    else
111       if ! vservers_exist "$vsnames" ; then
112             fatal "At least one of the vservers listed in vsnames ($vsnames) does not exist."
113       fi
114    fi
115    if [ -n "$vsinclude" ]; then
116       info "Using vservers '$vsnames'"
117       usevserver=yes
118    fi
119 else
120    [ -z "$vsinclude" ] || warning 'vservers support disabled in backupninja.conf, vsincludes configuration lines will be ignored'
121 fi
122
123 # check the connection at the source and destination
124 [ -n "$test" ] || test=0
125 if [ "$testconnect" = "yes" ] || [ "${test}" -eq 1 ]; then
126         test_connection $sourceuser $sourcehost
127         test_connection $destuser $desthost
128 fi
129
130 # see that rdiff-backup has the same version at the source and destination
131 sourceversion=`get_version $sourceuser $sourcehost`
132 destversion=`get_version $destuser $desthost`
133 if [ "$sourceversion" != "$destversion" ]; then
134         fatal "rdiff-backup does not have the same version at the source and at the destination."
135 fi
136
137 # source specific checks
138 [ "$include" != "" -o "$vsinclude" != "" ] || fatal "No source includes specified"
139 case $sourcetype in 
140         remote ) execstr_sourcepart="$sourceuser@$sourcehost::/" ;;
141         local  ) execstr_sourcepart="/" ;;
142         *      ) fatal "sourcetype '$sourcetype' is neither local nor remote" ;;
143 esac
144
145 # destination specific checks
146 [ "$destdir" != "" ] || fatal "Destination directory not set"
147 case $desttype in 
148         remote ) execstr_destpart="$destuser@$desthost::$destdir/$label" ;;
149         local  ) execstr_destpart="$destdir/$label" ;;
150         *      ) fatal "desttype '$desttype' is neither local nor remote" ;;
151 esac
152         
153 ### REMOVE OLD BACKUPS ###
154
155 if [ "`echo $keep | tr -d 0-9`" == "" ]; then
156         # add D if no other date unit is specified
157         keep="${keep}D"
158 fi
159
160 removestr="$RDIFFBACKUP $options --force --remove-older-than $keep "
161 if [ "$desttype" == "remote" ]; then
162         removestr="${removestr}${destuser}@${desthost}::"
163 fi
164 removestr="${removestr}${destdir}/${label}";
165
166 debug "$removestr"
167 if [ $test = 0 ]; then
168         output="`su -c "$removestr" 2>&1`"
169         if [ $? = 0 ]; then
170                 debug $output
171                 info "Removing backups older than $keep days succeeded."
172         else
173                 warning $output
174                 warning "Failed removing backups older than $keep."
175         fi
176 fi
177
178 # Add cstream 
179
180 if [ ! -z $bwlimit ]; then
181         check_cstream $CSTREAM;
182         if [ "$desttype" = "remote" ]; then
183                 RDIFFBACKUP="$RDIFFBACKUP --remote-schema 'cstream -t $bwlimit | ssh %s \''rdiff-backup --server\'''"
184         elif [ "$sourcetype" = "remote" ]; then
185                 RDIFFBACKUP="$RDIFFBACKUP --remote-schema 'ssh %s \''rdiff-backup --server\'' | cstream -t $bwlimit'"
186         else
187                 fatal "You specified a bandwidth limit but neither your source nor destination types are remote."
188         fi
189 fi
190
191 ### EXECUTE ###
192
193 execstr="$RDIFFBACKUP $options --print-statistics "
194
195 set -o noglob
196
197 symlinks_warning="Maybe you have mixed symlinks and '*' in this statement, which is not supported."
198
199 # TODO: order the includes and excludes
200 # excludes
201 for i in $exclude; do
202    str="${i//__star__/*}"
203    execstr="${execstr}--exclude '$str' "
204 done
205 # includes 
206 for i in $include; do
207    [ "$i" != "/" ] || fatal "Sorry, you cannot use 'include = /'"
208    str="${i//__star__/*}"
209    execstr="${execstr}--include '$str' "
210 done
211
212 # vsinclude
213 if [ $usevserver = yes ]; then
214    for vserver in $vsnames; do
215       for vi in $vsinclude; do
216          str="${vi//__star__/*}"
217          str="$VROOTDIR/$vserver$str"
218          if [ -n "$str" ]; then
219             execstr="${execstr}--include '$str' "
220          else
221             warning "vsinclude statement '${vi//__star__/*}' will be ignored for VServer $vserver. $symlinks_warning"
222          fi
223       done
224    done
225 fi
226
227 set +o noglob
228
229 # exclude everything else
230 execstr="${execstr}--exclude '/*' "
231                 
232 # include client-part and server-part
233 execstr="${execstr}$execstr_sourcepart $execstr_destpart"
234
235 debug "$execstr"
236 if [ $test = 0 ]; then
237         output=`nice -n $nicelevel su -c "$execstr" 2>&1`
238         if [ $? = 0 ]; then
239                 debug $output
240                 info "Successfully finished backing up source $label"
241         else
242                 warning $output
243                 warning "Failed backup up source $label"
244         fi
245 fi      
246
247 return 0