sys: new luksheaders option to backup the Luks header of every Luks device
[matthijs/upstream/backupninja.git] / ChangeLog
1 version 0.9.7 -- UNRELEASED
2     backupninja changes
3          . fix bug in reportspace, thanks Dan Garthwaite
4          . do not assume English locale when using date (Closes: #465837)
5          . add 'when = manual' option, that can be used in the global config
6            file or in a given backup action file. Thanks Tuomas Jormola for the
7            preliminary patch (Closes: #511299)
8     handler changes
9         maildir:
10          . fix location of deleted_on file
11          . add missing destid_file options to ssh connections
12         mysql:
13          . Options passed to mysqldump are now customizable with the new
14            sqldumpoptions configuration variable. Thanks to Chris Lamb for his
15            preliminary patch (Closes: #502966)
16          . Hide 'mysqladmin ping' output, to prevent confusing the user in
17            case mysqld is running but the authentication fails, which apparently
18            does not prevent mysqldump to work.
19          . Fix the error message displayed when mysqld is not running:
20            mysqladmin ping indeed returns 0 when authentication fails.
21         sys:
22          . New luksheaders option (default=disabled) to backup the Luks header
23            of every Luks device.
24
25 version 0.9.6 -- July 21, 2008
26     backupninja changes
27          . fix bug in cstream definition, thanks Jamie McClelland
28          . Allow the entire backup run to be halted by an action, thanks to
29            Matthew Palmer (Closes: #455836)
30          . Fixed tr construct reporting a warning (Closes: #452669)
31     lib changes
32         vserver:
33          . added vservers_running function
34         tools
35          . mktemp is now required to run backupninja, removed less secure
36            fall-back if mktemp did not exist on the system
37     handler changes
38         dup:
39          . General cleanup
40          . Better support for new duplicity (>= 0.4.4) command line syntax:
41            run remove-older-than when $keep is not set to yes (Closes: #458816),
42            and run "duplicity cleanup" before any other duplicity command; both
43            only trigger a warning on failure, since they should not stop backups
44            from being done. Also migrated full/incremental backup switch to the
45            new syntax.
46          . Support every duplicity-supported transport with new configuration
47            option desturl (Closes: #483712, #346040, Trac#2).
48          . Actually allow to backup only VServers, by relaxing $include test.
49          . Set secure permissions on tmpdir when creating it.
50         ldap:
51          . support HDB backend just as the BDB one, and make message clearer
52            when no supported backend is found (Closes: #476910)
53         rdiff:
54          . Fixed ignore_version default value missing
55          . Add patch from Matthew Palmer to rdiff handler to incorporate sshoptions
56            into options via remote-schema not already specified (Closes: #424639)
57         wget:
58          . New handler from rhatto designed to incrementally pull content from
59            a website to a local folder, based on the rsync handler
60         maildir:
61          . fixed bug where maildirs that start with a number were skipped
62          . make maildir helper look in every subdirectory of the source directory for
63            maildirs, rather than just looking in the directories [a-zA-Z0-9], thanks
64            for the patch from chris@cenolan.com (Trac#43).
65          . make deleted maildirs record the date they were deleted
66          . add destid_file configuration option to enable you to specify an alternate
67            ssh public key authentication file (defaulting to /root/.ssh/id_rsa)
68         pgsql, mysql, svn, sys:
69          . use new vservers_running function from lib/vserver (factorization++)
70         sys:
71          . update for 2.6 kernels: use /proc/kallsyms instead of /proc/ksyms
72            (Closes: Trac#39)
73          . support selection of VServers to run on, in the same way as in the
74            dup handler, with the new vsnames configuration option ; (Closes: Trac#45)
75          . add support for capturing the package debconf selection states using
76            debconf-get-selections
77          . fixed catifexec function to actually work, also now passes the arguments
78            given to catifexec() to the called command (Thanks John Hallam!)
79          . Added more robust software RAID information capture by running mdadm
80            -Q --detail /dev/md?* because some people may have empty mdadm.conf files
81            (Thanks to John Hallam).
82         trac:
83          . stop failing on all the trac backups if just one fails, this means
84            removing the temporary trac backup directories if they fail
85         makecd
86          . updated handler for new toolset (genisoimage and wodim)
87
88 version 0.9.5 -- December 2, 2007
89     backupninja changes
90          . Fixed checks on configuration files permissions, since the patch
91            applied to fix #370396 broke this, especially for configuration files
92            created with permissions 000 by an older ninjahelper version.
93          . Enhanced portability for other platforms
94          . Added quoting because it was needed to prevent shell expansion, broking the
95            toint function sometimes (Closes: Trac#11)
96          . Fixed reportspace option (Closes: Trac#10)
97          . Fixed ldap handler not recognizing database suffix (Closes: Trac#28)
98     handler changes
99         dup:
100          . Support duplicity >= 0.4.3 invocation syntax (--ssh-command option
101            is not supported anymore) (Closes: #447425)
102          . New tmpdir configuration option, very useful in case duplicity tends
103            to fill up /tmp.
104         ldap:
105          . Fixed shell command quoting issues, missing 'then' clauses, cleaned up
106            compress=yes to be less redundant and not create empty uncompressed
107            file (Closes: #394935)
108          . Fixed ninjahelper to properly set compress option, standardized on yes/no
109            instead of on/off
110          . Fixed problem that caused combination of slapcat and compress to not work
111            together (Closes: Trac#29)
112          . Applied patch from romain.tartiere@healthgrid.org to fix the SSL/TLS options
113            to be correct, also set TLS to be the default over SSL (Closes: Trac#13)
114         maildir:
115          . Added an examples file (Closes: Trac#23)
116          . Applied patch from Anarcat that fixes the cp/mkdir calls to not use GNU
117            coreutils options, as well as some bashisms (Closes: Trac#24)
118          . Fix test mode (Closes: Trac#25)
119         mysql:
120          . Fixed case where odd combination of configuration options caused sqldump
121            backups to get overwritten with an empty file (Closes: #402679)
122          . Added 'nodata' option to enable you to specify tables that you want to omit
123            the data from a backup, but still backup the table structure. This is very
124            useful in cases where tables contain large amounts of cache data. See the
125            example.mysql for options, thanks Daniel Bonniot (Closes: #408829)
126          . Enhance code for selecting databases by asking MySQL not to give us the
127            header (-N), to not draw pretty boxes around the output (-B), send the query
128            via -e instead of a pipe and ensure MySQL listens to -B. Thanks to
129            Matthew Palmer (Closes: #452039).
130         pgsql:
131          . Support configuring PGSQLUSER for real, and document it a bit; this
132            broken support actually prevented pgsql handler to work for VServers
133            (Closes: #396578)
134         rdiff-backup:
135          . Added cstream support to allow for bandwidth limiting
136          . Handle "keep = yes" to disable old backups removal (Closes: #424633)
137          . Add configuration option to allow you to disable the version check
138            as in some instances this may be an ok scenario (Closes: #424632)
139          . Added local destination support to helper (Closes: Trac#4)
140          . Allow exclude-only configurations (Closes: Trac#21)
141         rub/rsync
142          . Fixed typo in rub handler that caused it to not work
143          . Changed to use lib/vserver code
144          . Fixed fsck error
145          . Fixed integer comparison (Closes: Trac#3)
146          . Renamed handler to 'rsync', replaces outdated rub handler
147          . updated examples/Makefile.am and handlers/Makefile.am to include
148            rsnap/rsync (Closes: #440554)
149          . Added example.rsync configuration file
150         sys:
151          . Fixed typo breaking things for VServers.
152          . Fix bug when vrootdir is on its own partition (Closes: #395928)
153          . Better sfdisk error and output handling: should now properly warn
154            when it does not manage to backup a partition table, and shut up when
155            it succeeds (Closes: #396632)
156          . Added option to not use sfdisk at all, useful for vserver/xen instances
157            that produce warnings about no harddisks found (Closes: #404071)
158          . Fixed example in example.sys to detail the __star__ in partitionsfile and
159            note why its necessary (Closes: #409192)
160          . Force C locale for sfdisk to ensure english words are found in grep
161          . Make directory where output is placed configurable, and create the parent dir
162            if it doesn't exist (Closes: Trac#1)
163     ninjareport
164          . Added first draft of method to aggregate reports from many servers into
165            one email. Requires logtail, rsync, configuration of reporthost,
166            reportdirectory and reportuser in backupninja.conf. Configure cron to
167            run once a day, and individual backupninjas not to report by email their
168            status, then enjoy one email report from all hosts, rather than multiple
169     fixed 'make install' bug that failed if /etc/backup.d already existed
170     changed spaces to tabs in Makefile.am
171     updated redhat spec file (thanks Adam Monsen)
172
173 version 0.9.4 -- October 6th, 2006
174     backupninja changes
175          . Fixed bug in toint(), and thus isnow(), which caused it
176            to not work when run from cron.
177          . Recursively ignore subdirs in /etc/backup.d (Closes: #361102)
178          . Add admingroup option to configuration to allow a group that can
179            read/write configurations (instead of only allowing root). Checks
180            and complains about group-readable files only when the group differs
181            from the one in the configuration file (default is root as before).
182            Thanks to Martin Krafft for the patch (Closes: #370396).
183          . When determining which backup actions to make, find now follows
184            symlinks for $configdirectory
185          . Changed order of -s to mail for compatibility
186          . fixed permission stat call so it uses the --format supported by
187            coreutils (Closes: #382747)
188          . Added disk space report option (thanks Adam Kosmin)
189     handler changes
190         Added tar handler:
191          . create tarballs
192         Added rsnap handler:
193          . rotated rsync snapshops
194          . code from paulv@bikkel.org
195         Added rub handler:
196          . alternative to rsnap
197          . code from rhatto@riseup.net
198         mysql:
199          . Fixed improper use of $vuserhome (Closes: #351083)
200          . Fixed erroneous removal of tmpfile when it didn't exit
201          . Fixed inversed vsname emptiness check
202          . Fixed su quote usage to be more posixy
203          . Compress for sqldumps now happens in-line to save some disk space (Closes: #370778)
204          . Fixed --defaults-file now as --defaults-extra-file (thanks rhatto)
205         pgsql:
206          . Fixed inversed vsname emptiness check
207          . Fixed su quote usage to be more posixy
208          . Fixed shell expansion, thanks Thomas Kotzian (Closes: #363297)
209          . postgres user UID is now the one from inside the vserver if necessary
210          . Compress now happens in-line to save some disk space (Closes: #370778)
211          . $PGSQLUSER is used instead of hardcoding user 'postgres' (although this is the default)
212         svn:
213          . Fixed inversed vsname emptiness check
214         rdiff:
215          . Symlink and globbing support in include/exclude/vsinclude
216            clarification: globbing is fully supported again, whereas no attempt
217            is done to dereference symlinks anymore, due to incompatibilities
218            between various readlink versions in this field.
219          . Removed overzealous vsnames check
220          . Now works if testconnect=no and if $test is not defined.
221          . add $sshoptions config parameter in [dest] section of config so
222            connections to ports other than 22 can be made by adding the
223            following to the top of the handler config:
224            options = --remote-schema 'ssh -p REMOTE-PORT -C %s rdiff-backup
225            --server'
226         dup:
227          . Symlink and globbing support in include/exclude/vsinclude
228            clarification: globbing is fully supported again, whereas no attempt
229            is done to dereference symlinks anymore, due to incompatibilities
230            between various readlink versions in this field.
231          . Removed over zealous vsnames check
232          . Does not pretend anymore that duplicity can work without
233            any passphrase
234          . Support duplicity 0.4.2 (with Debian patches applied; upstream's
235            0.4.3 will integrate them); documented how to write sftp-compatible
236            sshoptions (Closes: #388543)
237          . Now forbid to (try to) include /.
238         sys:
239          . Many more system checks were added, (thanks to Petr KlĂ­ma)
240          . Added warning if no devices were found (thanks Ranier Zocholl)
241          . Enhanced debian package selections to include purged packages (thanks
242            Tom Hoover)
243          . Removed warning about vserver not running (thanks anarcat)
244         ldap:
245          . Compress now happens in-line to save some disk space (Closes: #370778)
246         makecd:
247          . Added nicelevel option (thanks rhatto)
248         trac:
249          . fixed problem when src was set to the trac repo directly (Closes: #382737)
250     lib changes
251         vserver:
252          . init_vservers: fixed Debian bug #351083 (improper readlink syntax)
253          . found_vservers: escaped special grep repetition character +
254          . forced mktemp to use a template with a name to be more compatible with
255            different versions of mktemp, thanks anarcat
256     ninjahelper changes
257          . Recursively ignore subdirs in /etc/backup.d (Closes: #361102)
258          . Fix configdirectory error that forced you to use /etc/backup.d, thanks anarcat
259          . When determining which backup actions to list, find now follows
260            symlinks for $configdirectory
261          . Stop checking helpers perms: both "make install" and distros packages
262            install them with appropriate permissions, it's overzealous to check
263            this at runtime, and is more complicated to do with current
264            admingroup option.
265         dup.helper:
266          . Fix: signing was enabled with symmetric encryption.
267     changed cron permissions to 644
268     changed /etc/backup.d permissions to 0770 (for admingroup)
269     minor documentation fixes
270     improved RPM build process allowing 'make rpm-package' and 'make
271     srpm-package' targets, also fixes permissions on man directories,
272     cleans up RPM-related files during distclean, and adds default
273     EDITOR for "autogen.sh -f" if none is set. (thanks Robert Napier)
274
275 version 0.9.3 -- February 1st, 2006
276     autotools fixes
277     backupninja changes
278         backupninja.conf
279          . added (commented out) the various default paths to
280            programs such as PGSQLDUMP, so that users can figure
281            out more easily they can customize them
282         code refactor:
283          . now uses vservers lib to initialize vservers support
284     handler changes
285         duplicity, mysql, pgsql, rdiff, svn, sys: start to use (at different
286            degrees) new lib/vserver functionality
287         mysql:
288          . fixed no user defaults file processing
289         duplicity:
290          . fixed (again...) globbing in include and exclude options (Debian bug
291            #348022, follow-up to #338796)
292          . warn if vsnames or vsinclude is enabled while vservers support is
293            disabled in backupninja.conf
294          . now works when multiple vservers names are given (separated by space)
295            in vsnames config variable
296         rdiff
297          . fixed globbing bug in include, exclude and vsinclude options
298          . it's now possible to choose exactly which vservers should be
299            backed-up, as it already was with duplicity handler, with the
300            "vsnames" configuration setting
301     ninjahelper changes
302         rdiff.helper:
303          . fixed errors in create remote dir
304          . code formatting cleanup (three spaces indent)
305          . fixed bug which caused only first include/exclude dir to
306            have "include = "
307          . fixed globbing bug with exclude
308         ninjahelper:
309          . now reports error if the helper script has a syntax error or bombs out.
310          . code formatting cleanup (three spaces indent)
311     lib changes
312         vserver:
313          . init_vservers: improved VROOTDIR detection
314          . init_vservers: test in a stricter way the real vservers availability
315          . init_vservers: canonicalize VROOTDIR (since duplicity et al.
316            don't follow symlinks)
317          . init_vservers: warn if vservers are enabled but no vserver is found
318          . new function: vservers_exist
319     known bugs:
320         easydialog:
321          . formDisplay does not return exit status.
322
323 version 0.9.2 -- December 29, 2005
324     backupninja changes
325         fixed broken toint() which caused when "everyday" problems
326         backupninja.conf.5 updated to include "when" and "vservers"
327         code refactor:
328             . moved to lib/ some code that has to be shared between
329               backupninja and ninjahelper
330     handler changes
331         trac:
332             . mkdir subdirectory problem fixed
333         duplicity:
334             . globbing support fixed in include and exclude options
335             . different signing and encrypting key support added
336             . fixed erroneous comments in example.dup about the way
337               GnuPG-related options are used
338         mysql:
339             . handler vserver bugs fixed and debug output enhanced
340     ninjahelper(s) changes
341         vserver-related functions added to lib/vservers.in
342         added man/ninjahelper.1 man page
343         makecd:
344             . was missing in Makefile.am/.in
345         rdiff-backup:
346             . used to expand '*' in default source directories
347             . the "Cancel" buttons used to have a weird behaviour
348             . updated to include Vserver selection
349         pgsql:
350             . forbid the user to choose an empty database set
351             . "Cancel" button now does what it is meant to do
352         mysql:
353             . enhanced for vserver support
354             . now able to select databases and dump directory
355         duplicity:
356             . new handler added (with Vserver support)
357
358 version 0.9.1 -- November 05 2005
359     rearranged source so that it is relocatable with autotools
360         (thanks to Petr KlĂ­ma petr.klima@madeta-group.cz)
361     fixed many bugs in rdiff helper
362     rdiff handler does not require 'label' (for real this time?)
363     added makecd ninjahelper
364         (thanks to Stefani stefani@riseup.net)
365     made ninjahelper create files with mode 600 rather than 000
366     changed subversion handler to use svnadmin hotcopy instead of
367             the unsupported hot-copy.py script, which was moved in Debian
368     update rdiff ninjahelper
369             now detects and auto-install rdiff-backup on the remote
370             machine if possible, also tests the remote backup directory
371             and offers to create it if it doesn't exist
372
373 version 0.9 -- October 19 2005
374     *** IMPORTANT CHANGE, UPGRADE AT ONCE ***
375      fixed insecure temporary file creation
376     *****************************************
377     removed erroneous magic file marker in pgsql handler
378     fixed incorrect find positional
379     changed direct grep of /etc/passwd to getent passwd.
380     rdiff helper has much better information on failed ssh attempt
381         (patch from cmccallum@thecsl.org).
382     rdiff handler now supports remote source and local dest.
383         (patch from cmccallum@thecsl.org).
384     man pages are greatly improved.
385
386 version 0.8 -- September 15 2005
387     added pgsql (PostgreSQL) handler, with vservers support.
388     added vservers support to duplicity handler
389         Note: the configuration is a bit different than the rdiff
390         handler's one, but the default behavior is the same:
391         have a look at example.dup.
392     improved README
393     documented .disabled method.
394     corrected VROOTDIR default value.
395     added ninjahelper to the install instructions.
396     improved rdiff, dup and sys handlers' vservers support
397         prevent vserver-debiantools' $VROOTDIR/ARCHIVES directory
398         to be seen as a vserver
399     changes to sys handler
400         make use of configurable $VSERVERINFO instead of hard-coded vserver-info.
401         fixed dpkg existence test inside vserver.
402         fixed $nodpkg use.
403     changes to pgsql handler
404         now checks if the specified vserver is running.
405         now checks if $PGSQLDUMP/$PGSQLDUMPALL are available where needed.
406         now checks if "postgres" user exists on the host/vserver.
407     changes to ninjahelper
408         check_perms() does not die anymore on group/world readable
409         helper scripts (now consistent with the "helper scripts
410         must not be group or world writable!" error msg).
411     xedit action now tries $EDITOR, then /etc/alternatives/editor,
412         then nano, vim and vi, and aborts if none of these exists.
413     added helper for pgsql handler.
414     rdiff handler now does not require 'label'
415     changes to mysql and svn handlers' vservers support
416         these handlers now check if the source vserver is running
417     added 'ignores' for mysql handler. (thanks Daniel.Bonniot@inria.fr)
418
419 version 0.7 -- July 26 2005
420     added ninjahelper: a dialog based wizard for creating backupninja configs.
421     considerably improved and changed the log file output.
422     you can now disable actions with .disabled (this is new preferred method).
423     added makecd handler and example.makecd for backing up to cd/dvd (thanks stef).
424     fixed bug when specifying multiple 'when' options.
425
426 version 0.6 -- June 16 2005
427     ldap handler has new options: backup method to use (ldapsearch or
428         slapcat), restart, passwordfile and binddn. Default backup method
429         is set to ldapsearch as this is safer
430     ******************************************************************
431     NOTE: to get the previous default behavior with the ldap handler,
432     you must set "method = slapcat". The new default is ldapsearch.
433     ******************************************************************
434     implemented fix so that the main script will echo fatal errors rather
435         than being silent about them, this means an error message every hour
436         if there is a major configuration problem (not a handler problem)
437     added vserver support to main script and to the handlers: mysql, svn, sys, rdiff
438     changes to duplicity handler (thanks intrigeri!):
439         "keep = yes" now disables file cleaning on desthost
440         added "sign" option for backups signing
441         added "encryptkey" option to specify the gpg key to use
442         split config into [source], [gpg] and [dest] sections
443         added "nicelevel" option
444         added "testconnect" option
445         added "sshoptions" option (will be passed to ssh/scp)
446         added "bandwidthlimit" option
447     example.dup example config file for duplicity handler
448     added trac (http://trac.edgewall.com/) environment handler (thanks Charles Lepple!)
449     added configfile option to mysql handler
450         the default is /etc/mysql/debian.cnf. with this,
451         sqldump doesn't need dbusername. (hotcopy still does).
452     fixed bug in mysql handler which caused some passwords to not work.
453         (.my.cnf files now have double quotes around password)
454     can now pass options to hwinfo and sfdisk in sys handler.
455
456 version 0.5 -- April 12 2005
457     rdiff handler works when remote sshd has a banner
458     rdiff handler supports local dest
459     logfile is created if it doesn't exist
460     added "when = hourly"
461     added optional 'nicelevel' to rdiff handler
462     fixed bug where actions were not run in numeric order.
463     improved 'when' parsing.
464
465 version 0.4.4 -- March 18 2005
466     results of handlers are now read line by line.
467     changes to rdiff handler: added "options", and "keep" is
468         not necessarily days now (ie, it will pass straight through to
469         rdiff-backup if the keep has a unit on it, otherwise it adds the 'D').
470     added dup handler (still pretty beta)
471     added maildir handler (very specialized handler)
472     added --run option (runs the specified action file)
473     improved sys handler, now uses hwinfo
474     added subversion hotbackup handler, svn.
475     added PATH to cron.d file, which fixes file not found errors.
476
477 version 0.4.2 -- Jan 6 2005
478     fixed bug which caused a report email to be sent even if no actions were run.
479     fixed bug where multiple handler status messages were ignored
480     added status in the subject line of report emails
481
482 version 0.4.1 -- Jan 3 2005
483     added $usecolors and now more conservative about when colors are echoed.
484     fixed major bug, 'when' actually works now.
485     replaced debug function with debug, info, warning, error, fatal.
486     added --now option to force all actions to be performed now.
487
488 version 0.4 -- Dec 26 2004
489     added "when" option, so that all configs can specify when
490         they are to be run.
491     added reportsuccess and reportwarning config options
492     added .sys handler (hardware, packages, partitions).
493
494 version 0.3.4 -- Dec 8 2004
495     fixed numerical variable quoting compatibility with older wc
496     fixed stderr redirect bug
497     some comments in example.rdiff
498
499 version 0.3.3 -- Nov 10 2004
500     '*' (asterisk) works now in rdiff config files
501     works now with gawk as well as mawk
502     many bug fixes to ldap handler
503     paths to helper scripts can be configured in global config
504     does not require /usr/bin/stat
505
506 version 0.3.2 -- Sept 29 2004
507     handler scripts are no longer executable (to comply with debian policy)
508     handler error and warning messages are sent with the notify email
509
510 version 0.3.1 -- Sept 5 2004
511     added ldap handler
512     moved sh support to a handler script
513     add test mode, where no action is taken.
514     added --help
515     force only root can read /etc/backup.d/*
516     fixed missing equals symbols in example.rdiff
517     changed backupninja executable to be /usr/sbin rather than /usr/bin
518
519 version 0.3 -- Oct 20 2004
520     ** IMPORTANT ** all config files are now ini style, not apache style
521     rewrote all scripts in bash for portability
522     added drop-in backupninja lib directory (/usr/share/backupninja)
523     all scripts are now run as root
524
525 version 0.2 -- Oct 14 2004
526     move distribution folder ./cron.d to ./etc/cron.d
527     fixed bug: removed printr of excludes (!)
528     added support for changing the user/group in rdiff sources.
529     added support for .mysql config files.
530
531 version 0.1 -- Oct 8 2004
532     initial release
533