ldap, mysql, pgsql: use gzip's --rsyncable option
[matthijs/upstream/backupninja.git] / ChangeLog
1 version 0.9.7 -- UNRELEASED
2     backupninja changes
3          . fix bug in reportspace, thanks Dan Garthwaite
4          . do not assume English locale when using date (Closes: #465837)
5          . add 'when = manual' option, that can be used in the global config
6            file or in a given backup action file. Thanks Tuomas Jormola for the
7            preliminary patch (Closes: #511299)
8     handler changes
9         ldap:
10          . Use gzip's --rsyncable option.
11         maildir:
12          . fix location of deleted_on file
13          . add missing destid_file options to ssh connections
14          . added sshoptions variable for arbitrary ssh options
15          . updated example file to include destid_file, destport and sshoptions
16         mysql:
17          . Options passed to mysqldump are now customizable with the new
18            sqldumpoptions configuration variable. Thanks to Chris Lamb for his
19            preliminary patch (Closes: #502966)
20          . Hide 'mysqladmin ping' output, to prevent confusing the user in
21            case mysqld is running but the authentication fails, which apparently
22            does not prevent mysqldump to work.
23          . Fix the error message displayed when mysqld is not running:
24            mysqladmin ping indeed returns 0 when authentication fails.
25          . Use gzip's --rsyncable option.
26         pgsql:
27          . Use gzip's --rsyncable option.
28         sys:
29          . New luksheaders option (default=disabled) to backup the Luks header
30            of every Luks device.
31          . New lvm option (default=disabled) to backup LVM metadata for every
32            detected volume group.
33          . Backup dmsetup info as well, for easier restoring of Luks headers.
34         dup:
35          . Fixed bandwidthlimit syntax error. Thanks to Ian Beckwith for
36            the patch.
37
38 version 0.9.6 -- July 21, 2008
39     backupninja changes
40          . fix bug in cstream definition, thanks Jamie McClelland
41          . Allow the entire backup run to be halted by an action, thanks to
42            Matthew Palmer (Closes: #455836)
43          . Fixed tr construct reporting a warning (Closes: #452669)
44     lib changes
45         vserver:
46          . added vservers_running function
47         tools
48          . mktemp is now required to run backupninja, removed less secure
49            fall-back if mktemp did not exist on the system
50     handler changes
51         dup:
52          . General cleanup
53          . Better support for new duplicity (>= 0.4.4) command line syntax:
54            run remove-older-than when $keep is not set to yes (Closes: #458816),
55            and run "duplicity cleanup" before any other duplicity command; both
56            only trigger a warning on failure, since they should not stop backups
57            from being done. Also migrated full/incremental backup switch to the
58            new syntax.
59          . Support every duplicity-supported transport with new configuration
60            option desturl (Closes: #483712, #346040, Trac#2).
61          . Actually allow to backup only VServers, by relaxing $include test.
62          . Set secure permissions on tmpdir when creating it.
63         ldap:
64          . support HDB backend just as the BDB one, and make message clearer
65            when no supported backend is found (Closes: #476910)
66         rdiff:
67          . Fixed ignore_version default value missing
68          . Add patch from Matthew Palmer to rdiff handler to incorporate sshoptions
69            into options via remote-schema not already specified (Closes: #424639)
70         wget:
71          . New handler from rhatto designed to incrementally pull content from
72            a website to a local folder, based on the rsync handler
73         maildir:
74          . fixed bug where maildirs that start with a number were skipped
75          . make maildir helper look in every subdirectory of the source directory for
76            maildirs, rather than just looking in the directories [a-zA-Z0-9], thanks
77            for the patch from chris@cenolan.com (Trac#43).
78          . make deleted maildirs record the date they were deleted
79          . add destid_file configuration option to enable you to specify an alternate
80            ssh public key authentication file (defaulting to /root/.ssh/id_rsa)
81         pgsql, mysql, svn, sys:
82          . use new vservers_running function from lib/vserver (factorization++)
83         sys:
84          . update for 2.6 kernels: use /proc/kallsyms instead of /proc/ksyms
85            (Closes: Trac#39)
86          . support selection of VServers to run on, in the same way as in the
87            dup handler, with the new vsnames configuration option ; (Closes: Trac#45)
88          . add support for capturing the package debconf selection states using
89            debconf-get-selections
90          . fixed catifexec function to actually work, also now passes the arguments
91            given to catifexec() to the called command (Thanks John Hallam!)
92          . Added more robust software RAID information capture by running mdadm
93            -Q --detail /dev/md?* because some people may have empty mdadm.conf files
94            (Thanks to John Hallam).
95         trac:
96          . stop failing on all the trac backups if just one fails, this means
97            removing the temporary trac backup directories if they fail
98         makecd
99          . updated handler for new toolset (genisoimage and wodim)
100
101 version 0.9.5 -- December 2, 2007
102     backupninja changes
103          . Fixed checks on configuration files permissions, since the patch
104            applied to fix #370396 broke this, especially for configuration files
105            created with permissions 000 by an older ninjahelper version.
106          . Enhanced portability for other platforms
107          . Added quoting because it was needed to prevent shell expansion, broking the
108            toint function sometimes (Closes: Trac#11)
109          . Fixed reportspace option (Closes: Trac#10)
110          . Fixed ldap handler not recognizing database suffix (Closes: Trac#28)
111     handler changes
112         dup:
113          . Support duplicity >= 0.4.3 invocation syntax (--ssh-command option
114            is not supported anymore) (Closes: #447425)
115          . New tmpdir configuration option, very useful in case duplicity tends
116            to fill up /tmp.
117         ldap:
118          . Fixed shell command quoting issues, missing 'then' clauses, cleaned up
119            compress=yes to be less redundant and not create empty uncompressed
120            file (Closes: #394935)
121          . Fixed ninjahelper to properly set compress option, standardized on yes/no
122            instead of on/off
123          . Fixed problem that caused combination of slapcat and compress to not work
124            together (Closes: Trac#29)
125          . Applied patch from romain.tartiere@healthgrid.org to fix the SSL/TLS options
126            to be correct, also set TLS to be the default over SSL (Closes: Trac#13)
127         maildir:
128          . Added an examples file (Closes: Trac#23)
129          . Applied patch from Anarcat that fixes the cp/mkdir calls to not use GNU
130            coreutils options, as well as some bashisms (Closes: Trac#24)
131          . Fix test mode (Closes: Trac#25)
132         mysql:
133          . Fixed case where odd combination of configuration options caused sqldump
134            backups to get overwritten with an empty file (Closes: #402679)
135          . Added 'nodata' option to enable you to specify tables that you want to omit
136            the data from a backup, but still backup the table structure. This is very
137            useful in cases where tables contain large amounts of cache data. See the
138            example.mysql for options, thanks Daniel Bonniot (Closes: #408829)
139          . Enhance code for selecting databases by asking MySQL not to give us the
140            header (-N), to not draw pretty boxes around the output (-B), send the query
141            via -e instead of a pipe and ensure MySQL listens to -B. Thanks to
142            Matthew Palmer (Closes: #452039).
143         pgsql:
144          . Support configuring PGSQLUSER for real, and document it a bit; this
145            broken support actually prevented pgsql handler to work for VServers
146            (Closes: #396578)
147         rdiff-backup:
148          . Added cstream support to allow for bandwidth limiting
149          . Handle "keep = yes" to disable old backups removal (Closes: #424633)
150          . Add configuration option to allow you to disable the version check
151            as in some instances this may be an ok scenario (Closes: #424632)
152          . Added local destination support to helper (Closes: Trac#4)
153          . Allow exclude-only configurations (Closes: Trac#21)
154         rub/rsync
155          . Fixed typo in rub handler that caused it to not work
156          . Changed to use lib/vserver code
157          . Fixed fsck error
158          . Fixed integer comparison (Closes: Trac#3)
159          . Renamed handler to 'rsync', replaces outdated rub handler
160          . updated examples/Makefile.am and handlers/Makefile.am to include
161            rsnap/rsync (Closes: #440554)
162          . Added example.rsync configuration file
163         sys:
164          . Fixed typo breaking things for VServers.
165          . Fix bug when vrootdir is on its own partition (Closes: #395928)
166          . Better sfdisk error and output handling: should now properly warn
167            when it does not manage to backup a partition table, and shut up when
168            it succeeds (Closes: #396632)
169          . Added option to not use sfdisk at all, useful for vserver/xen instances
170            that produce warnings about no harddisks found (Closes: #404071)
171          . Fixed example in example.sys to detail the __star__ in partitionsfile and
172            note why its necessary (Closes: #409192)
173          . Force C locale for sfdisk to ensure english words are found in grep
174          . Make directory where output is placed configurable, and create the parent dir
175            if it doesn't exist (Closes: Trac#1)
176     ninjareport
177          . Added first draft of method to aggregate reports from many servers into
178            one email. Requires logtail, rsync, configuration of reporthost,
179            reportdirectory and reportuser in backupninja.conf. Configure cron to
180            run once a day, and individual backupninjas not to report by email their
181            status, then enjoy one email report from all hosts, rather than multiple
182     fixed 'make install' bug that failed if /etc/backup.d already existed
183     changed spaces to tabs in Makefile.am
184     updated redhat spec file (thanks Adam Monsen)
185
186 version 0.9.4 -- October 6th, 2006
187     backupninja changes
188          . Fixed bug in toint(), and thus isnow(), which caused it
189            to not work when run from cron.
190          . Recursively ignore subdirs in /etc/backup.d (Closes: #361102)
191          . Add admingroup option to configuration to allow a group that can
192            read/write configurations (instead of only allowing root). Checks
193            and complains about group-readable files only when the group differs
194            from the one in the configuration file (default is root as before).
195            Thanks to Martin Krafft for the patch (Closes: #370396).
196          . When determining which backup actions to make, find now follows
197            symlinks for $configdirectory
198          . Changed order of -s to mail for compatibility
199          . fixed permission stat call so it uses the --format supported by
200            coreutils (Closes: #382747)
201          . Added disk space report option (thanks Adam Kosmin)
202     handler changes
203         Added tar handler:
204          . create tarballs
205         Added rsnap handler:
206          . rotated rsync snapshops
207          . code from paulv@bikkel.org
208         Added rub handler:
209          . alternative to rsnap
210          . code from rhatto@riseup.net
211         mysql:
212          . Fixed improper use of $vuserhome (Closes: #351083)
213          . Fixed erroneous removal of tmpfile when it didn't exit
214          . Fixed inversed vsname emptiness check
215          . Fixed su quote usage to be more posixy
216          . Compress for sqldumps now happens in-line to save some disk space (Closes: #370778)
217          . Fixed --defaults-file now as --defaults-extra-file (thanks rhatto)
218         pgsql:
219          . Fixed inversed vsname emptiness check
220          . Fixed su quote usage to be more posixy
221          . Fixed shell expansion, thanks Thomas Kotzian (Closes: #363297)
222          . postgres user UID is now the one from inside the vserver if necessary
223          . Compress now happens in-line to save some disk space (Closes: #370778)
224          . $PGSQLUSER is used instead of hardcoding user 'postgres' (although this is the default)
225         svn:
226          . Fixed inversed vsname emptiness check
227         rdiff:
228          . Symlink and globbing support in include/exclude/vsinclude
229            clarification: globbing is fully supported again, whereas no attempt
230            is done to dereference symlinks anymore, due to incompatibilities
231            between various readlink versions in this field.
232          . Removed overzealous vsnames check
233          . Now works if testconnect=no and if $test is not defined.
234          . add $sshoptions config parameter in [dest] section of config so
235            connections to ports other than 22 can be made by adding the
236            following to the top of the handler config:
237            options = --remote-schema 'ssh -p REMOTE-PORT -C %s rdiff-backup
238            --server'
239         dup:
240          . Symlink and globbing support in include/exclude/vsinclude
241            clarification: globbing is fully supported again, whereas no attempt
242            is done to dereference symlinks anymore, due to incompatibilities
243            between various readlink versions in this field.
244          . Removed over zealous vsnames check
245          . Does not pretend anymore that duplicity can work without
246            any passphrase
247          . Support duplicity 0.4.2 (with Debian patches applied; upstream's
248            0.4.3 will integrate them); documented how to write sftp-compatible
249            sshoptions (Closes: #388543)
250          . Now forbid to (try to) include /.
251         sys:
252          . Many more system checks were added, (thanks to Petr KlĂ­ma)
253          . Added warning if no devices were found (thanks Ranier Zocholl)
254          . Enhanced debian package selections to include purged packages (thanks
255            Tom Hoover)
256          . Removed warning about vserver not running (thanks anarcat)
257         ldap:
258          . Compress now happens in-line to save some disk space (Closes: #370778)
259         makecd:
260          . Added nicelevel option (thanks rhatto)
261         trac:
262          . fixed problem when src was set to the trac repo directly (Closes: #382737)
263     lib changes
264         vserver:
265          . init_vservers: fixed Debian bug #351083 (improper readlink syntax)
266          . found_vservers: escaped special grep repetition character +
267          . forced mktemp to use a template with a name to be more compatible with
268            different versions of mktemp, thanks anarcat
269     ninjahelper changes
270          . Recursively ignore subdirs in /etc/backup.d (Closes: #361102)
271          . Fix configdirectory error that forced you to use /etc/backup.d, thanks anarcat
272          . When determining which backup actions to list, find now follows
273            symlinks for $configdirectory
274          . Stop checking helpers perms: both "make install" and distros packages
275            install them with appropriate permissions, it's overzealous to check
276            this at runtime, and is more complicated to do with current
277            admingroup option.
278         dup.helper:
279          . Fix: signing was enabled with symmetric encryption.
280     changed cron permissions to 644
281     changed /etc/backup.d permissions to 0770 (for admingroup)
282     minor documentation fixes
283     improved RPM build process allowing 'make rpm-package' and 'make
284     srpm-package' targets, also fixes permissions on man directories,
285     cleans up RPM-related files during distclean, and adds default
286     EDITOR for "autogen.sh -f" if none is set. (thanks Robert Napier)
287
288 version 0.9.3 -- February 1st, 2006
289     autotools fixes
290     backupninja changes
291         backupninja.conf
292          . added (commented out) the various default paths to
293            programs such as PGSQLDUMP, so that users can figure
294            out more easily they can customize them
295         code refactor:
296          . now uses vservers lib to initialize vservers support
297     handler changes
298         duplicity, mysql, pgsql, rdiff, svn, sys: start to use (at different
299            degrees) new lib/vserver functionality
300         mysql:
301          . fixed no user defaults file processing
302         duplicity:
303          . fixed (again...) globbing in include and exclude options (Debian bug
304            #348022, follow-up to #338796)
305          . warn if vsnames or vsinclude is enabled while vservers support is
306            disabled in backupninja.conf
307          . now works when multiple vservers names are given (separated by space)
308            in vsnames config variable
309         rdiff
310          . fixed globbing bug in include, exclude and vsinclude options
311          . it's now possible to choose exactly which vservers should be
312            backed-up, as it already was with duplicity handler, with the
313            "vsnames" configuration setting
314     ninjahelper changes
315         rdiff.helper:
316          . fixed errors in create remote dir
317          . code formatting cleanup (three spaces indent)
318          . fixed bug which caused only first include/exclude dir to
319            have "include = "
320          . fixed globbing bug with exclude
321         ninjahelper:
322          . now reports error if the helper script has a syntax error or bombs out.
323          . code formatting cleanup (three spaces indent)
324     lib changes
325         vserver:
326          . init_vservers: improved VROOTDIR detection
327          . init_vservers: test in a stricter way the real vservers availability
328          . init_vservers: canonicalize VROOTDIR (since duplicity et al.
329            don't follow symlinks)
330          . init_vservers: warn if vservers are enabled but no vserver is found
331          . new function: vservers_exist
332     known bugs:
333         easydialog:
334          . formDisplay does not return exit status.
335
336 version 0.9.2 -- December 29, 2005
337     backupninja changes
338         fixed broken toint() which caused when "everyday" problems
339         backupninja.conf.5 updated to include "when" and "vservers"
340         code refactor:
341             . moved to lib/ some code that has to be shared between
342               backupninja and ninjahelper
343     handler changes
344         trac:
345             . mkdir subdirectory problem fixed
346         duplicity:
347             . globbing support fixed in include and exclude options
348             . different signing and encrypting key support added
349             . fixed erroneous comments in example.dup about the way
350               GnuPG-related options are used
351         mysql:
352             . handler vserver bugs fixed and debug output enhanced
353     ninjahelper(s) changes
354         vserver-related functions added to lib/vservers.in
355         added man/ninjahelper.1 man page
356         makecd:
357             . was missing in Makefile.am/.in
358         rdiff-backup:
359             . used to expand '*' in default source directories
360             . the "Cancel" buttons used to have a weird behaviour
361             . updated to include Vserver selection
362         pgsql:
363             . forbid the user to choose an empty database set
364             . "Cancel" button now does what it is meant to do
365         mysql:
366             . enhanced for vserver support
367             . now able to select databases and dump directory
368         duplicity:
369             . new handler added (with Vserver support)
370
371 version 0.9.1 -- November 05 2005
372     rearranged source so that it is relocatable with autotools
373         (thanks to Petr KlĂ­ma petr.klima@madeta-group.cz)
374     fixed many bugs in rdiff helper
375     rdiff handler does not require 'label' (for real this time?)
376     added makecd ninjahelper
377         (thanks to Stefani stefani@riseup.net)
378     made ninjahelper create files with mode 600 rather than 000
379     changed subversion handler to use svnadmin hotcopy instead of
380             the unsupported hot-copy.py script, which was moved in Debian
381     update rdiff ninjahelper
382             now detects and auto-install rdiff-backup on the remote
383             machine if possible, also tests the remote backup directory
384             and offers to create it if it doesn't exist
385
386 version 0.9 -- October 19 2005
387     *** IMPORTANT CHANGE, UPGRADE AT ONCE ***
388      fixed insecure temporary file creation
389     *****************************************
390     removed erroneous magic file marker in pgsql handler
391     fixed incorrect find positional
392     changed direct grep of /etc/passwd to getent passwd.
393     rdiff helper has much better information on failed ssh attempt
394         (patch from cmccallum@thecsl.org).
395     rdiff handler now supports remote source and local dest.
396         (patch from cmccallum@thecsl.org).
397     man pages are greatly improved.
398
399 version 0.8 -- September 15 2005
400     added pgsql (PostgreSQL) handler, with vservers support.
401     added vservers support to duplicity handler
402         Note: the configuration is a bit different than the rdiff
403         handler's one, but the default behavior is the same:
404         have a look at example.dup.
405     improved README
406     documented .disabled method.
407     corrected VROOTDIR default value.
408     added ninjahelper to the install instructions.
409     improved rdiff, dup and sys handlers' vservers support
410         prevent vserver-debiantools' $VROOTDIR/ARCHIVES directory
411         to be seen as a vserver
412     changes to sys handler
413         make use of configurable $VSERVERINFO instead of hard-coded vserver-info.
414         fixed dpkg existence test inside vserver.
415         fixed $nodpkg use.
416     changes to pgsql handler
417         now checks if the specified vserver is running.
418         now checks if $PGSQLDUMP/$PGSQLDUMPALL are available where needed.
419         now checks if "postgres" user exists on the host/vserver.
420     changes to ninjahelper
421         check_perms() does not die anymore on group/world readable
422         helper scripts (now consistent with the "helper scripts
423         must not be group or world writable!" error msg).
424     xedit action now tries $EDITOR, then /etc/alternatives/editor,
425         then nano, vim and vi, and aborts if none of these exists.
426     added helper for pgsql handler.
427     rdiff handler now does not require 'label'
428     changes to mysql and svn handlers' vservers support
429         these handlers now check if the source vserver is running
430     added 'ignores' for mysql handler. (thanks Daniel.Bonniot@inria.fr)
431
432 version 0.7 -- July 26 2005
433     added ninjahelper: a dialog based wizard for creating backupninja configs.
434     considerably improved and changed the log file output.
435     you can now disable actions with .disabled (this is new preferred method).
436     added makecd handler and example.makecd for backing up to cd/dvd (thanks stef).
437     fixed bug when specifying multiple 'when' options.
438
439 version 0.6 -- June 16 2005
440     ldap handler has new options: backup method to use (ldapsearch or
441         slapcat), restart, passwordfile and binddn. Default backup method
442         is set to ldapsearch as this is safer
443     ******************************************************************
444     NOTE: to get the previous default behavior with the ldap handler,
445     you must set "method = slapcat". The new default is ldapsearch.
446     ******************************************************************
447     implemented fix so that the main script will echo fatal errors rather
448         than being silent about them, this means an error message every hour
449         if there is a major configuration problem (not a handler problem)
450     added vserver support to main script and to the handlers: mysql, svn, sys, rdiff
451     changes to duplicity handler (thanks intrigeri!):
452         "keep = yes" now disables file cleaning on desthost
453         added "sign" option for backups signing
454         added "encryptkey" option to specify the gpg key to use
455         split config into [source], [gpg] and [dest] sections
456         added "nicelevel" option
457         added "testconnect" option
458         added "sshoptions" option (will be passed to ssh/scp)
459         added "bandwidthlimit" option
460     example.dup example config file for duplicity handler
461     added trac (http://trac.edgewall.com/) environment handler (thanks Charles Lepple!)
462     added configfile option to mysql handler
463         the default is /etc/mysql/debian.cnf. with this,
464         sqldump doesn't need dbusername. (hotcopy still does).
465     fixed bug in mysql handler which caused some passwords to not work.
466         (.my.cnf files now have double quotes around password)
467     can now pass options to hwinfo and sfdisk in sys handler.
468
469 version 0.5 -- April 12 2005
470     rdiff handler works when remote sshd has a banner
471     rdiff handler supports local dest
472     logfile is created if it doesn't exist
473     added "when = hourly"
474     added optional 'nicelevel' to rdiff handler
475     fixed bug where actions were not run in numeric order.
476     improved 'when' parsing.
477
478 version 0.4.4 -- March 18 2005
479     results of handlers are now read line by line.
480     changes to rdiff handler: added "options", and "keep" is
481         not necessarily days now (ie, it will pass straight through to
482         rdiff-backup if the keep has a unit on it, otherwise it adds the 'D').
483     added dup handler (still pretty beta)
484     added maildir handler (very specialized handler)
485     added --run option (runs the specified action file)
486     improved sys handler, now uses hwinfo
487     added subversion hotbackup handler, svn.
488     added PATH to cron.d file, which fixes file not found errors.
489
490 version 0.4.2 -- Jan 6 2005
491     fixed bug which caused a report email to be sent even if no actions were run.
492     fixed bug where multiple handler status messages were ignored
493     added status in the subject line of report emails
494
495 version 0.4.1 -- Jan 3 2005
496     added $usecolors and now more conservative about when colors are echoed.
497     fixed major bug, 'when' actually works now.
498     replaced debug function with debug, info, warning, error, fatal.
499     added --now option to force all actions to be performed now.
500
501 version 0.4 -- Dec 26 2004
502     added "when" option, so that all configs can specify when
503         they are to be run.
504     added reportsuccess and reportwarning config options
505     added .sys handler (hardware, packages, partitions).
506
507 version 0.3.4 -- Dec 8 2004
508     fixed numerical variable quoting compatibility with older wc
509     fixed stderr redirect bug
510     some comments in example.rdiff
511
512 version 0.3.3 -- Nov 10 2004
513     '*' (asterisk) works now in rdiff config files
514     works now with gawk as well as mawk
515     many bug fixes to ldap handler
516     paths to helper scripts can be configured in global config
517     does not require /usr/bin/stat
518
519 version 0.3.2 -- Sept 29 2004
520     handler scripts are no longer executable (to comply with debian policy)
521     handler error and warning messages are sent with the notify email
522
523 version 0.3.1 -- Sept 5 2004
524     added ldap handler
525     moved sh support to a handler script
526     add test mode, where no action is taken.
527     added --help
528     force only root can read /etc/backup.d/*
529     fixed missing equals symbols in example.rdiff
530     changed backupninja executable to be /usr/sbin rather than /usr/bin
531
532 version 0.3 -- Oct 20 2004
533     ** IMPORTANT ** all config files are now ini style, not apache style
534     rewrote all scripts in bash for portability
535     added drop-in backupninja lib directory (/usr/share/backupninja)
536     all scripts are now run as root
537
538 version 0.2 -- Oct 14 2004
539     move distribution folder ./cron.d to ./etc/cron.d
540     fixed bug: removed printr of excludes (!)
541     added support for changing the user/group in rdiff sources.
542     added support for .mysql config files.
543
544 version 0.1 -- Oct 8 2004
545     initial release
546