dup: new tmpdir config option, useful when duplicity fills up /tmp
[matthijs/upstream/backupninja.git] / ChangeLog
1 version 0.9.5 -- unreleased
2     ninjareport
3          . Added first draft of method to aggregate reports from many servers into
4            one email. Requires logtail, rsync, configuration of reporthost,
5            reportdirectory and reportuser in backupninja.conf. Configure cron to
6            run once a day, and individual backupninjas not to report by email their
7            status, then enjoy one email report from all hosts, rather than multiple
8     backupninja changes
9          . Fixed checks on configuration files permissions, since the patch
10            applied to fix #370396 broke this, especially for configuration files
11            created with permissions 000 by an older ninjahelper version.
12          . Enhanced portability for other platforms
13          . Added quoting because it was needed to prevent shell expansion, broking the
14            toint function sometimes (Closes: Trac#11)
15          . Fixed reportspace option (Closes: Trac#10)
16          . Fixed ldap handler not recognizing database suffix (Closes: Trac#28)
17     handler changes
18         dup:
19          . Support duplicity >= 0.4.3 invocation syntax (--ssh-command option
20            is not supported anymore) (Closes: #447425)
21          . New tmpdir configuration option, very useful in case duplicity tends
22            to fill up /tmp.
23         ldap:
24          . Fixed shell command quoting issues, missing 'then' clauses, cleaned up
25            compress=yes to be less redundant and not create empty uncompressed
26            file (Closes: #394935)
27          . Fixed ninjahelper to properly set compress option, standardized on yes/no
28            instead of on/off
29          . Fixed problem that caused combination of slapcat and compress to not work
30            together (Closes: Trac#29)
31          . Applied patch from romain.tartiere@healthgrid.org to fix the SSL/TLS options
32            to be correct, also set TLS to be the default over SSL (Closes: Trac#13)
33         maildir:
34          . Added an examples file (Closes: Trac#23)
35          . Applied patch from Anarcat that fixes the cp/mkdir calls to not use GNU 
36            coreutils options, as well as some bashisms (Closes: Trac#24)
37          . Fix test mode (Closes: Trac#25)
38         mysql:
39          . Fixed case where odd combination of configuration options caused sqldump
40            backups to get overwritten with an empty file (Closes: #402679)
41          . Added 'nodata' option to enable you to specify tables that you want to omit
42            the data from a backup, but still backup the table structure. This is very
43            useful in cases where tables contain large amounts of cache data. See the
44            example.mysql for options, thanks Daniel Bonniot (Closes: #408829)
45          . Enhance code for selecting databases by asking MySQL not to give us the 
46            header (-N), to not draw pretty boxes around the output (-B), send the query 
47            via -e instead of a pipe and ensure MySQL listens to -B. Thanks to
48            Matthew Palmer (Closes: #452039).
49         pgsql:
50          . Support configuring PGSQLUSER for real, and document it a bit; this
51            broken support actually prevented pgsql handler to work for VServers
52            (Closes: #396578)
53         rdiff-backup:
54          . Added cstream support to allow for bandwidth limiting
55          . Handle "keep = yes" to disable old backups removal (Closes: #424633)
56          . Add configuration option to allow you to disable the version check
57            as in some instances this may be an ok scenario (Closes: #424632)
58          . Added local destination support to helper (Closes: Trac#4)
59          . Allow exclude-only configurations (Closes: Trac#21)
60         rub/rsync
61          . Fixed typo in rub handler that caused it to not work
62          . Changed to use lib/vserver code
63          . Fixed fsck error
64          . Fixed integer comparison (Closes: Trac#3)
65          . Renamed handler to 'rsync', replaces outdated rub handler
66          . updated examples/Makefile.am and handlers/Makefile.am to include
67            rsnap/rsync (Closes: #440554)
68          . Added example.rsync configuration file
69         sys:
70          . Fixed typo breaking things for VServers.
71          . Fix bug when vrootdir is on its own partition (Closes: #395928)
72          . Better sfdisk error and output handling: should now properly warn
73            when it does not manage to backup a partition table, and shut up when
74            it succeeds (Closes: #396632)
75          . Added option to not use sfdisk at all, useful for vserver/xen instances
76            that produce warnings about no harddisks found (Closes: #404071)
77          . Fixed example in example.sys to detail the __star__ in partitionsfile and
78            note why its necessary (Closes: #409192)
79          . Force C locale for sfdisk to ensure english words are found in grep
80          . Make directory where output is placed configurable, and create the parent dir 
81            if it doesn't exist (Closes: Trac#1)
82     fixed 'make install' bug that failed if /etc/backup.d already existed
83     changed spaces to tabs in Makefile.am
84     
85
86 version 0.9.4 -- October 6th, 2006
87     backupninja changes
88          . Fixed bug in toint(), and thus isnow(), which caused it
89            to not work when run from cron.
90          . Recursively ignore subdirs in /etc/backup.d (Closes: #361102)
91          . Add admingroup option to configuration to allow a group that can
92            read/write configurations (instead of only allowing root). Checks
93            and complains about group-readable files only when the group differs
94            from the one in the configuration file (default is root as before). 
95            Thanks to Martin Krafft for the patch (Closes: #370396).
96          . When determining which backup actions to make, find now follows
97            symlinks for $configdirectory
98          . Changed order of -s to mail for compatibility
99          . fixed permission stat call so it uses the --format supported by
100            coreutils (Closes: #382747)
101          . Added disk space report option (thanks Adam Kosmin)
102     handler changes
103         Added tar handler:
104          . create tarballs
105         Added rsnap handler:
106          . rotated rsync snapshops
107          . code from paulv@bikkel.org
108         Added rub handler: 
109          . alternative to rsnap
110          . code from rhatto@riseup.net
111         mysql:
112          . Fixed improper use of $vuserhome (Closes: #351083)
113          . Fixed erroneous removal of tmpfile when it didn't exit
114          . Fixed inversed vsname emptiness check
115          . Fixed su quote usage to be more posixy
116          . Compress for sqldumps now happens in-line to save some disk space (Closes: #370778)
117          . Fixed --defaults-file now as --defaults-extra-file (thanks rhatto)
118         pgsql:
119          . Fixed inversed vsname emptiness check
120          . Fixed su quote usage to be more posixy
121          . Fixed shell expansion, thanks Thomas Kotzian (Closes: #363297)
122          . postgres user UID is now the one from inside the vserver if necessary
123          . Compress now happens in-line to save some disk space (Closes: #370778)
124          . $PGSQLUSER is used instead of hardcoding user 'postgres' (although this is the default) 
125         svn:
126          . Fixed inversed vsname emptiness check
127         rdiff:
128          . Symlink and globbing support in include/exclude/vsinclude
129            clarification: globbing is fully supported again, whereas no attempt
130            is done to dereference symlinks anymore, due to incompatibilities
131            between various readlink versions in this field.
132          . Removed overzealous vsnames check
133          . Now works if testconnect=no and if $test is not defined.
134          . add $sshoptions config parameter in [dest] section of config so
135            connections to ports other than 22 can be made by adding the
136            following to the top of the handler config:
137            options = --remote-schema 'ssh -p REMOTE-PORT -C %s rdiff-backup
138            --server'
139         dup:
140          . Symlink and globbing support in include/exclude/vsinclude
141            clarification: globbing is fully supported again, whereas no attempt
142            is done to dereference symlinks anymore, due to incompatibilities
143            between various readlink versions in this field.
144          . Removed over zealous vsnames check
145          . Does not pretend anymore that duplicity can work without
146            any passphrase
147          . Support duplicity 0.4.2 (with Debian patches applied; upstream's
148            0.4.3 will integrate them); documented how to write sftp-compatible
149            sshoptions (Closes: #388543)
150          . Now forbid to (try to) include /.
151         sys:
152          . Many more system checks were added, (thanks to Petr Klíma)
153          . Added warning if no devices were found (thanks Ranier Zocholl)
154          . Enhanced debian package selections to include purged packages (thanks
155            Tom Hoover)
156          . Removed warning about vserver not running (thanks anarcat)
157         ldap:
158          . Compress now happens in-line to save some disk space (Closes: #370778)
159         makecd:
160          . Added nicelevel option (thanks rhatto)
161         trac:
162          . fixed problem when src was set to the trac repo directly (Closes: #382737)
163     lib changes
164         vserver:
165          . init_vservers: fixed Debian bug #351083 (improper readlink syntax)
166          . found_vservers: escaped special grep repetition character +
167          . forced mktemp to use a template with a name to be more compatible with 
168            different versions of mktemp, thanks anarcat
169     ninjahelper changes
170          . Recursively ignore subdirs in /etc/backup.d (Closes: #361102)
171          . Fix configdirectory error that forced you to use /etc/backup.d, thanks anarcat
172          . When determining which backup actions to list, find now follows
173            symlinks for $configdirectory
174          . Stop checking helpers perms: both "make install" and distros packages
175            install them with appropriate permissions, it's overzealous to check
176            this at runtime, and is more complicated to do with current
177            admingroup option.
178         dup.helper:
179          . Fix: signing was enabled with symmetric encryption.
180     changed cron permissions to 644
181     changed /etc/backup.d permissions to 0770 (for admingroup)
182     minor documentation fixes
183     improved RPM build process allowing 'make rpm-package' and 'make
184     srpm-package' targets, also fixes permissions on man directories, 
185     cleans up RPM-related files during distclean, and adds default
186     EDITOR for "autogen.sh -f" if none is set. (thanks Robert Napier)
187
188 version 0.9.3 -- February 1st, 2006
189     autotools fixes
190     backupninja changes
191         backupninja.conf
192          . added (commented out) the various default paths to
193            programs such as PGSQLDUMP, so that users can figure
194            out more easily they can customize them
195         code refactor:
196          . now uses vservers lib to initialize vservers support
197     handler changes
198         duplicity, mysql, pgsql, rdiff, svn, sys: start to use (at different
199            degrees) new lib/vserver functionality
200         mysql:
201          . fixed no user defaults file processing
202         duplicity:
203          . fixed (again...) globbing in include and exclude options (Debian bug
204            #348022, follow-up to #338796)
205          . warn if vsnames or vsinclude is enabled while vservers support is
206            disabled in backupninja.conf
207          . now works when multiple vservers names are given (separated by space)
208            in vsnames config variable
209         rdiff
210          . fixed globbing bug in include, exclude and vsinclude options
211          . it's now possible to choose exactly which vservers should be
212            backed-up, as it already was with duplicity handler, with the
213            "vsnames" configuration setting
214     ninjahelper changes
215         rdiff.helper:
216          . fixed errors in create remote dir
217          . code formatting cleanup (three spaces indent)
218          . fixed bug which caused only first include/exclude dir to
219            have "include = "
220          . fixed globbing bug with exclude
221         ninjahelper:
222          . now reports error if the helper script has a syntax error or bombs out.
223          . code formatting cleanup (three spaces indent)
224     lib changes
225         vserver:
226          . init_vservers: improved VROOTDIR detection
227          . init_vservers: test in a stricter way the real vservers availability
228          . init_vservers: canonicalize VROOTDIR (since duplicity et al.
229            don't follow symlinks)
230          . init_vservers: warn if vservers are enabled but no vserver is found
231          . new function: vservers_exist
232     known bugs:
233         easydialog: 
234          . formDisplay does not return exit status.
235
236 version 0.9.2 -- December 29, 2005
237     backupninja changes
238         fixed broken toint() which caused when "everyday" problems
239         backupninja.conf.5 updated to include "when" and "vservers"
240         code refactor:
241             . moved to lib/ some code that has to be shared between
242               backupninja and ninjahelper
243     handler changes
244         trac:
245             . mkdir subdirectory problem fixed
246         duplicity:
247             . globbing support fixed in include and exclude options 
248             . different signing and encrypting key support added
249             . fixed erroneous comments in example.dup about the way
250               GnuPG-related options are used
251         mysql:
252             . handler vserver bugs fixed and debug output enhanced
253     ninjahelper(s) changes
254         vserver-related functions added to lib/vservers.in
255         added man/ninjahelper.1 man page
256         makecd:
257             . was missing in Makefile.am/.in
258         rdiff-backup:
259             . used to expand '*' in default source directories
260             . the "Cancel" buttons used to have a weird behaviour
261             . updated to include Vserver selection 
262         pgsql:
263             . forbid the user to choose an empty database set 
264             . "Cancel" button now does what it is meant to do
265         mysql:
266             . enhanced for vserver support 
267             . now able to select databases and dump directory
268         duplicity:
269             . new handler added (with Vserver support)
270
271 version 0.9.1 -- November 05 2005
272     rearranged source so that it is relocatable with autotools
273         (thanks to Petr Klíma petr.klima@madeta-group.cz)
274     fixed many bugs in rdiff helper
275     rdiff handler does not require 'label' (for real this time?)
276     added makecd ninjahelper
277         (thanks to Stefani stefani@riseup.net)
278     made ninjahelper create files with mode 600 rather than 000
279     changed subversion handler to use svnadmin hotcopy instead of
280             the unsupported hot-copy.py script, which was moved in Debian
281     update rdiff ninjahelper
282             now detects and auto-install rdiff-backup on the remote 
283             machine if possible, also tests the remote backup directory
284             and offers to create it if it doesn't exist
285
286 version 0.9 -- October 19 2005
287     *** IMPORTANT CHANGE, UPGRADE AT ONCE ***
288      fixed insecure temporary file creation 
289     *****************************************
290     removed erroneous magic file marker in pgsql handler
291     fixed incorrect find positional
292     changed direct grep of /etc/passwd to getent passwd.
293     rdiff helper has much better information on failed ssh attempt
294         (patch from cmccallum@thecsl.org).
295     rdiff handler now supports remote source and local dest. 
296         (patch from cmccallum@thecsl.org).
297     man pages are greatly improved.
298
299 version 0.8 -- September 15 2005
300     added pgsql (PostgreSQL) handler, with vservers support.
301     added vservers support to duplicity handler
302         Note: the configuration is a bit different than the rdiff
303         handler's one, but the default behavior is the same:
304         have a look at example.dup.
305     improved README
306     documented .disabled method.
307     corrected VROOTDIR default value.
308     added ninjahelper to the install instructions.
309     improved rdiff, dup and sys handlers' vservers support
310         prevent vserver-debiantools' $VROOTDIR/ARCHIVES directory
311         to be seen as a vserver
312     changes to sys handler
313         make use of configurable $VSERVERINFO instead of hard-coded vserver-info.
314         fixed dpkg existence test inside vserver.
315         fixed $nodpkg use.
316     changes to pgsql handler
317         now checks if the specified vserver is running.
318         now checks if $PGSQLDUMP/$PGSQLDUMPALL are available where needed.
319         now checks if "postgres" user exists on the host/vserver.
320     changes to ninjahelper
321         check_perms() does not die anymore on group/world readable
322         helper scripts (now consistent with the "helper scripts
323         must not be group or world writable!" error msg).
324     xedit action now tries $EDITOR, then /etc/alternatives/editor,
325         then nano, vim and vi, and aborts if none of these exists.
326     added helper for pgsql handler.
327     rdiff handler now does not require 'label'
328     changes to mysql and svn handlers' vservers support
329         these handlers now check if the source vserver is running
330     added 'ignores' for mysql handler. (thanks Daniel.Bonniot@inria.fr)
331
332 version 0.7 -- July 26 2005
333     added ninjahelper: a dialog based wizard for creating backupninja configs.
334     considerably improved and changed the log file output.
335     you can now disable actions with .disabled (this is new preferred method).
336     added makecd handler and example.makecd for backing up to cd/dvd (thanks stef).
337     fixed bug when specifying multiple 'when' options.
338
339 version 0.6 -- June 16 2005
340     ldap handler has new options: backup method to use (ldapsearch or
341         slapcat), restart, passwordfile and binddn. Default backup method
342         is set to ldapsearch as this is safer
343     ******************************************************************
344     NOTE: to get the previous default behavior with the ldap handler, 
345     you must set "method = slapcat". The new default is ldapsearch.
346     ******************************************************************
347     implemented fix so that the main script will echo fatal errors rather
348         than being silent about them, this means an error message every hour
349         if there is a major configuration problem (not a handler problem)
350     added vserver support to main script and to the handlers: mysql, svn, sys, rdiff
351     changes to duplicity handler (thanks intrigeri!):
352         "keep = yes" now disables file cleaning on desthost
353         added "sign" option for backups signing
354         added "encryptkey" option to specify the gpg key to use
355         split config into [source], [gpg] and [dest] sections
356         added "nicelevel" option
357         added "testconnect" option
358         added "sshoptions" option (will be passed to ssh/scp)
359         added "bandwidthlimit" option
360     example.dup example config file for duplicity handler 
361     added trac (http://trac.edgewall.com/) environment handler (thanks Charles Lepple!)
362     added configfile option to mysql handler
363         the default is /etc/mysql/debian.cnf. with this, 
364         sqldump doesn't need dbusername. (hotcopy still does).
365     fixed bug in mysql handler which caused some passwords to not work.
366         (.my.cnf files now have double quotes around password)
367     can now pass options to hwinfo and sfdisk in sys handler.
368
369 version 0.5 -- April 12 2005
370     rdiff handler works when remote sshd has a banner
371     rdiff handler supports local dest 
372     logfile is created if it doesn't exist
373     added "when = hourly" 
374     added optional 'nicelevel' to rdiff handler
375     fixed bug where actions were not run in numeric order.
376     improved 'when' parsing.
377
378 version 0.4.4 -- March 18 2005
379     results of handlers are now read line by line. 
380     changes to rdiff handler: added "options", and "keep" is
381         not necessarily days now (ie, it will pass straight through to
382         rdiff-backup if the keep has a unit on it, otherwise it adds the 'D').
383     added dup handler (still pretty beta)
384     added maildir handler (very specialized handler)
385     added --run option (runs the specified action file)
386     improved sys handler, now uses hwinfo
387     added subversion hotbackup handler, svn. 
388     added PATH to cron.d file, which fixes file not found errors.
389
390 version 0.4.2 -- Jan 6 2005
391     fixed bug which caused a report email to be sent even if no actions were run.
392     fixed bug where multiple handler status messages were ignored
393     added status in the subject line of report emails
394
395 version 0.4.1 -- Jan 3 2005
396     added $usecolors and now more conservative about when colors are echoed.
397     fixed major bug, 'when' actually works now.
398     replaced debug function with debug, info, warning, error, fatal.
399     added --now option to force all actions to be performed now.
400     
401 version 0.4 -- Dec 26 2004
402     added "when" option, so that all configs can specify when
403         they are to be run.
404     added reportsuccess and reportwarning config options
405     added .sys handler (hardware, packages, partitions).
406
407 version 0.3.4 -- Dec 8 2004
408     fixed numerical variable quoting compatibility with older wc    
409     fixed stderr redirect bug
410     some comments in example.rdiff
411
412 version 0.3.3 -- Nov 10 2004
413     '*' (asterisk) works now in rdiff config files
414     works now with gawk as well as mawk
415     many bug fixes to ldap handler
416     paths to helper scripts can be configured in global config
417     does not require /usr/bin/stat
418
419 version 0.3.2 -- Sept 29 2004
420     handler scripts are no longer executable (to comply with debian policy)
421     handler error and warning messages are sent with the notify email
422
423 version 0.3.1 -- Sept 5 2004
424     added ldap handler
425     moved sh support to a handler script
426     add test mode, where no action is taken.
427     added --help
428     force only root can read /etc/backup.d/*
429     fixed missing equals symbols in example.rdiff
430     changed backupninja executable to be /usr/sbin rather than /usr/bin
431     
432 version 0.3 -- Oct 20 2004
433     ** IMPORTANT ** all config files are now ini style, not apache style
434     rewrote all scripts in bash for portability
435     added drop-in backupninja lib directory (/usr/share/backupninja)
436     all scripts are now run as root
437
438 version 0.2 -- Oct 14 2004
439     move distribution folder ./cron.d to ./etc/cron.d
440     fixed bug: removed printr of excludes (!)
441     added support for changing the user/group in rdiff sources.
442     added support for .mysql config files.
443     
444 version 0.1 -- Oct 8 2004
445     initial release 
446