mysql, pgsql: Quote output filenames
[matthijs/upstream/backupninja.git] / ChangeLog
1 version 0.9.7 -- UNRELEASED
2     backupninja changes
3          . fix bug in reportspace, thanks Dan Garthwaite
4          . do not assume English locale when using date (Closes: #465837)
5          . add 'when = manual' option, that can be used in the global config
6            file or in a given backup action file. Thanks Tuomas Jormola for the
7            preliminary patch (Closes: #511299)
8     lib changes
9         easydialog:
10          . Allow form fields input to grow up to 100 chars (Closes: #562249)
11     handler changes
12         ldap:
13          . Use gzip's --rsyncable option.
14         maildir:
15          . fix location of deleted_on file
16          . add missing destid_file options to ssh connections
17          . added sshoptions variable for arbitrary ssh options
18          . updated example file to include destid_file, destport and sshoptions
19         mysql:
20          . Options passed to mysqldump are now customizable with the new
21            sqldumpoptions configuration variable. Thanks to Chris Lamb for his
22            preliminary patch (Closes: #502966)
23          . Hide 'mysqladmin ping' output, to prevent confusing the user in
24            case mysqld is running but the authentication fails, which apparently
25            does not prevent mysqldump to work.
26          . Fix the error message displayed when mysqld is not running:
27            mysqladmin ping indeed returns 0 when authentication fails.
28          . Use gzip's --rsyncable option.
29          . Quote output filenames to support shell meta-characters in
30            database names.
31         pgsql:
32          . Use gzip's --rsyncable option.
33          . Quote output filenames to support shell meta-characters in
34            database names.
35         sys:
36          . New luksheaders option (default=disabled) to backup the Luks header
37            of every Luks device.
38          . New lvm option (default=disabled) to backup LVM metadata for every
39            detected volume group.
40          . Backup dmsetup info as well, for easier restoring of Luks headers.
41         dup:
42          . Fixed bandwidthlimit syntax error. Thanks to Ian Beckwith for
43            the patch.
44
45 version 0.9.6 -- July 21, 2008
46     backupninja changes
47          . fix bug in cstream definition, thanks Jamie McClelland
48          . Allow the entire backup run to be halted by an action, thanks to
49            Matthew Palmer (Closes: #455836)
50          . Fixed tr construct reporting a warning (Closes: #452669)
51     lib changes
52         vserver:
53          . added vservers_running function
54         tools
55          . mktemp is now required to run backupninja, removed less secure
56            fall-back if mktemp did not exist on the system
57     handler changes
58         dup:
59          . General cleanup
60          . Better support for new duplicity (>= 0.4.4) command line syntax:
61            run remove-older-than when $keep is not set to yes (Closes: #458816),
62            and run "duplicity cleanup" before any other duplicity command; both
63            only trigger a warning on failure, since they should not stop backups
64            from being done. Also migrated full/incremental backup switch to the
65            new syntax.
66          . Support every duplicity-supported transport with new configuration
67            option desturl (Closes: #483712, #346040, Trac#2).
68          . Actually allow to backup only VServers, by relaxing $include test.
69          . Set secure permissions on tmpdir when creating it.
70         ldap:
71          . support HDB backend just as the BDB one, and make message clearer
72            when no supported backend is found (Closes: #476910)
73         rdiff:
74          . Fixed ignore_version default value missing
75          . Add patch from Matthew Palmer to rdiff handler to incorporate sshoptions
76            into options via remote-schema not already specified (Closes: #424639)
77         wget:
78          . New handler from rhatto designed to incrementally pull content from
79            a website to a local folder, based on the rsync handler
80         maildir:
81          . fixed bug where maildirs that start with a number were skipped
82          . make maildir helper look in every subdirectory of the source directory for
83            maildirs, rather than just looking in the directories [a-zA-Z0-9], thanks
84            for the patch from chris@cenolan.com (Trac#43).
85          . make deleted maildirs record the date they were deleted
86          . add destid_file configuration option to enable you to specify an alternate
87            ssh public key authentication file (defaulting to /root/.ssh/id_rsa)
88         pgsql, mysql, svn, sys:
89          . use new vservers_running function from lib/vserver (factorization++)
90         sys:
91          . update for 2.6 kernels: use /proc/kallsyms instead of /proc/ksyms
92            (Closes: Trac#39)
93          . support selection of VServers to run on, in the same way as in the
94            dup handler, with the new vsnames configuration option ; (Closes: Trac#45)
95          . add support for capturing the package debconf selection states using
96            debconf-get-selections
97          . fixed catifexec function to actually work, also now passes the arguments
98            given to catifexec() to the called command (Thanks John Hallam!)
99          . Added more robust software RAID information capture by running mdadm
100            -Q --detail /dev/md?* because some people may have empty mdadm.conf files
101            (Thanks to John Hallam).
102         trac:
103          . stop failing on all the trac backups if just one fails, this means
104            removing the temporary trac backup directories if they fail
105         makecd
106          . updated handler for new toolset (genisoimage and wodim)
107
108 version 0.9.5 -- December 2, 2007
109     backupninja changes
110          . Fixed checks on configuration files permissions, since the patch
111            applied to fix #370396 broke this, especially for configuration files
112            created with permissions 000 by an older ninjahelper version.
113          . Enhanced portability for other platforms
114          . Added quoting because it was needed to prevent shell expansion, broking the
115            toint function sometimes (Closes: Trac#11)
116          . Fixed reportspace option (Closes: Trac#10)
117          . Fixed ldap handler not recognizing database suffix (Closes: Trac#28)
118     handler changes
119         dup:
120          . Support duplicity >= 0.4.3 invocation syntax (--ssh-command option
121            is not supported anymore) (Closes: #447425)
122          . New tmpdir configuration option, very useful in case duplicity tends
123            to fill up /tmp.
124         ldap:
125          . Fixed shell command quoting issues, missing 'then' clauses, cleaned up
126            compress=yes to be less redundant and not create empty uncompressed
127            file (Closes: #394935)
128          . Fixed ninjahelper to properly set compress option, standardized on yes/no
129            instead of on/off
130          . Fixed problem that caused combination of slapcat and compress to not work
131            together (Closes: Trac#29)
132          . Applied patch from romain.tartiere@healthgrid.org to fix the SSL/TLS options
133            to be correct, also set TLS to be the default over SSL (Closes: Trac#13)
134         maildir:
135          . Added an examples file (Closes: Trac#23)
136          . Applied patch from Anarcat that fixes the cp/mkdir calls to not use GNU
137            coreutils options, as well as some bashisms (Closes: Trac#24)
138          . Fix test mode (Closes: Trac#25)
139         mysql:
140          . Fixed case where odd combination of configuration options caused sqldump
141            backups to get overwritten with an empty file (Closes: #402679)
142          . Added 'nodata' option to enable you to specify tables that you want to omit
143            the data from a backup, but still backup the table structure. This is very
144            useful in cases where tables contain large amounts of cache data. See the
145            example.mysql for options, thanks Daniel Bonniot (Closes: #408829)
146          . Enhance code for selecting databases by asking MySQL not to give us the
147            header (-N), to not draw pretty boxes around the output (-B), send the query
148            via -e instead of a pipe and ensure MySQL listens to -B. Thanks to
149            Matthew Palmer (Closes: #452039).
150         pgsql:
151          . Support configuring PGSQLUSER for real, and document it a bit; this
152            broken support actually prevented pgsql handler to work for VServers
153            (Closes: #396578)
154         rdiff-backup:
155          . Added cstream support to allow for bandwidth limiting
156          . Handle "keep = yes" to disable old backups removal (Closes: #424633)
157          . Add configuration option to allow you to disable the version check
158            as in some instances this may be an ok scenario (Closes: #424632)
159          . Added local destination support to helper (Closes: Trac#4)
160          . Allow exclude-only configurations (Closes: Trac#21)
161         rub/rsync
162          . Fixed typo in rub handler that caused it to not work
163          . Changed to use lib/vserver code
164          . Fixed fsck error
165          . Fixed integer comparison (Closes: Trac#3)
166          . Renamed handler to 'rsync', replaces outdated rub handler
167          . updated examples/Makefile.am and handlers/Makefile.am to include
168            rsnap/rsync (Closes: #440554)
169          . Added example.rsync configuration file
170         sys:
171          . Fixed typo breaking things for VServers.
172          . Fix bug when vrootdir is on its own partition (Closes: #395928)
173          . Better sfdisk error and output handling: should now properly warn
174            when it does not manage to backup a partition table, and shut up when
175            it succeeds (Closes: #396632)
176          . Added option to not use sfdisk at all, useful for vserver/xen instances
177            that produce warnings about no harddisks found (Closes: #404071)
178          . Fixed example in example.sys to detail the __star__ in partitionsfile and
179            note why its necessary (Closes: #409192)
180          . Force C locale for sfdisk to ensure english words are found in grep
181          . Make directory where output is placed configurable, and create the parent dir
182            if it doesn't exist (Closes: Trac#1)
183     ninjareport
184          . Added first draft of method to aggregate reports from many servers into
185            one email. Requires logtail, rsync, configuration of reporthost,
186            reportdirectory and reportuser in backupninja.conf. Configure cron to
187            run once a day, and individual backupninjas not to report by email their
188            status, then enjoy one email report from all hosts, rather than multiple
189     fixed 'make install' bug that failed if /etc/backup.d already existed
190     changed spaces to tabs in Makefile.am
191     updated redhat spec file (thanks Adam Monsen)
192
193 version 0.9.4 -- October 6th, 2006
194     backupninja changes
195          . Fixed bug in toint(), and thus isnow(), which caused it
196            to not work when run from cron.
197          . Recursively ignore subdirs in /etc/backup.d (Closes: #361102)
198          . Add admingroup option to configuration to allow a group that can
199            read/write configurations (instead of only allowing root). Checks
200            and complains about group-readable files only when the group differs
201            from the one in the configuration file (default is root as before).
202            Thanks to Martin Krafft for the patch (Closes: #370396).
203          . When determining which backup actions to make, find now follows
204            symlinks for $configdirectory
205          . Changed order of -s to mail for compatibility
206          . fixed permission stat call so it uses the --format supported by
207            coreutils (Closes: #382747)
208          . Added disk space report option (thanks Adam Kosmin)
209     handler changes
210         Added tar handler:
211          . create tarballs
212         Added rsnap handler:
213          . rotated rsync snapshops
214          . code from paulv@bikkel.org
215         Added rub handler:
216          . alternative to rsnap
217          . code from rhatto@riseup.net
218         mysql:
219          . Fixed improper use of $vuserhome (Closes: #351083)
220          . Fixed erroneous removal of tmpfile when it didn't exit
221          . Fixed inversed vsname emptiness check
222          . Fixed su quote usage to be more posixy
223          . Compress for sqldumps now happens in-line to save some disk space (Closes: #370778)
224          . Fixed --defaults-file now as --defaults-extra-file (thanks rhatto)
225         pgsql:
226          . Fixed inversed vsname emptiness check
227          . Fixed su quote usage to be more posixy
228          . Fixed shell expansion, thanks Thomas Kotzian (Closes: #363297)
229          . postgres user UID is now the one from inside the vserver if necessary
230          . Compress now happens in-line to save some disk space (Closes: #370778)
231          . $PGSQLUSER is used instead of hardcoding user 'postgres' (although this is the default)
232         svn:
233          . Fixed inversed vsname emptiness check
234         rdiff:
235          . Symlink and globbing support in include/exclude/vsinclude
236            clarification: globbing is fully supported again, whereas no attempt
237            is done to dereference symlinks anymore, due to incompatibilities
238            between various readlink versions in this field.
239          . Removed overzealous vsnames check
240          . Now works if testconnect=no and if $test is not defined.
241          . add $sshoptions config parameter in [dest] section of config so
242            connections to ports other than 22 can be made by adding the
243            following to the top of the handler config:
244            options = --remote-schema 'ssh -p REMOTE-PORT -C %s rdiff-backup
245            --server'
246         dup:
247          . Symlink and globbing support in include/exclude/vsinclude
248            clarification: globbing is fully supported again, whereas no attempt
249            is done to dereference symlinks anymore, due to incompatibilities
250            between various readlink versions in this field.
251          . Removed over zealous vsnames check
252          . Does not pretend anymore that duplicity can work without
253            any passphrase
254          . Support duplicity 0.4.2 (with Debian patches applied; upstream's
255            0.4.3 will integrate them); documented how to write sftp-compatible
256            sshoptions (Closes: #388543)
257          . Now forbid to (try to) include /.
258         sys:
259          . Many more system checks were added, (thanks to Petr KlĂ­ma)
260          . Added warning if no devices were found (thanks Ranier Zocholl)
261          . Enhanced debian package selections to include purged packages (thanks
262            Tom Hoover)
263          . Removed warning about vserver not running (thanks anarcat)
264         ldap:
265          . Compress now happens in-line to save some disk space (Closes: #370778)
266         makecd:
267          . Added nicelevel option (thanks rhatto)
268         trac:
269          . fixed problem when src was set to the trac repo directly (Closes: #382737)
270     lib changes
271         vserver:
272          . init_vservers: fixed Debian bug #351083 (improper readlink syntax)
273          . found_vservers: escaped special grep repetition character +
274          . forced mktemp to use a template with a name to be more compatible with
275            different versions of mktemp, thanks anarcat
276     ninjahelper changes
277          . Recursively ignore subdirs in /etc/backup.d (Closes: #361102)
278          . Fix configdirectory error that forced you to use /etc/backup.d, thanks anarcat
279          . When determining which backup actions to list, find now follows
280            symlinks for $configdirectory
281          . Stop checking helpers perms: both "make install" and distros packages
282            install them with appropriate permissions, it's overzealous to check
283            this at runtime, and is more complicated to do with current
284            admingroup option.
285         dup.helper:
286          . Fix: signing was enabled with symmetric encryption.
287     changed cron permissions to 644
288     changed /etc/backup.d permissions to 0770 (for admingroup)
289     minor documentation fixes
290     improved RPM build process allowing 'make rpm-package' and 'make
291     srpm-package' targets, also fixes permissions on man directories,
292     cleans up RPM-related files during distclean, and adds default
293     EDITOR for "autogen.sh -f" if none is set. (thanks Robert Napier)
294
295 version 0.9.3 -- February 1st, 2006
296     autotools fixes
297     backupninja changes
298         backupninja.conf
299          . added (commented out) the various default paths to
300            programs such as PGSQLDUMP, so that users can figure
301            out more easily they can customize them
302         code refactor:
303          . now uses vservers lib to initialize vservers support
304     handler changes
305         duplicity, mysql, pgsql, rdiff, svn, sys: start to use (at different
306            degrees) new lib/vserver functionality
307         mysql:
308          . fixed no user defaults file processing
309         duplicity:
310          . fixed (again...) globbing in include and exclude options (Debian bug
311            #348022, follow-up to #338796)
312          . warn if vsnames or vsinclude is enabled while vservers support is
313            disabled in backupninja.conf
314          . now works when multiple vservers names are given (separated by space)
315            in vsnames config variable
316         rdiff
317          . fixed globbing bug in include, exclude and vsinclude options
318          . it's now possible to choose exactly which vservers should be
319            backed-up, as it already was with duplicity handler, with the
320            "vsnames" configuration setting
321     ninjahelper changes
322         rdiff.helper:
323          . fixed errors in create remote dir
324          . code formatting cleanup (three spaces indent)
325          . fixed bug which caused only first include/exclude dir to
326            have "include = "
327          . fixed globbing bug with exclude
328         ninjahelper:
329          . now reports error if the helper script has a syntax error or bombs out.
330          . code formatting cleanup (three spaces indent)
331     lib changes
332         vserver:
333          . init_vservers: improved VROOTDIR detection
334          . init_vservers: test in a stricter way the real vservers availability
335          . init_vservers: canonicalize VROOTDIR (since duplicity et al.
336            don't follow symlinks)
337          . init_vservers: warn if vservers are enabled but no vserver is found
338          . new function: vservers_exist
339     known bugs:
340         easydialog:
341          . formDisplay does not return exit status.
342
343 version 0.9.2 -- December 29, 2005
344     backupninja changes
345         fixed broken toint() which caused when "everyday" problems
346         backupninja.conf.5 updated to include "when" and "vservers"
347         code refactor:
348             . moved to lib/ some code that has to be shared between
349               backupninja and ninjahelper
350     handler changes
351         trac:
352             . mkdir subdirectory problem fixed
353         duplicity:
354             . globbing support fixed in include and exclude options
355             . different signing and encrypting key support added
356             . fixed erroneous comments in example.dup about the way
357               GnuPG-related options are used
358         mysql:
359             . handler vserver bugs fixed and debug output enhanced
360     ninjahelper(s) changes
361         vserver-related functions added to lib/vservers.in
362         added man/ninjahelper.1 man page
363         makecd:
364             . was missing in Makefile.am/.in
365         rdiff-backup:
366             . used to expand '*' in default source directories
367             . the "Cancel" buttons used to have a weird behaviour
368             . updated to include Vserver selection
369         pgsql:
370             . forbid the user to choose an empty database set
371             . "Cancel" button now does what it is meant to do
372         mysql:
373             . enhanced for vserver support
374             . now able to select databases and dump directory
375         duplicity:
376             . new handler added (with Vserver support)
377
378 version 0.9.1 -- November 05 2005
379     rearranged source so that it is relocatable with autotools
380         (thanks to Petr KlĂ­ma petr.klima@madeta-group.cz)
381     fixed many bugs in rdiff helper
382     rdiff handler does not require 'label' (for real this time?)
383     added makecd ninjahelper
384         (thanks to Stefani stefani@riseup.net)
385     made ninjahelper create files with mode 600 rather than 000
386     changed subversion handler to use svnadmin hotcopy instead of
387             the unsupported hot-copy.py script, which was moved in Debian
388     update rdiff ninjahelper
389             now detects and auto-install rdiff-backup on the remote
390             machine if possible, also tests the remote backup directory
391             and offers to create it if it doesn't exist
392
393 version 0.9 -- October 19 2005
394     *** IMPORTANT CHANGE, UPGRADE AT ONCE ***
395      fixed insecure temporary file creation
396     *****************************************
397     removed erroneous magic file marker in pgsql handler
398     fixed incorrect find positional
399     changed direct grep of /etc/passwd to getent passwd.
400     rdiff helper has much better information on failed ssh attempt
401         (patch from cmccallum@thecsl.org).
402     rdiff handler now supports remote source and local dest.
403         (patch from cmccallum@thecsl.org).
404     man pages are greatly improved.
405
406 version 0.8 -- September 15 2005
407     added pgsql (PostgreSQL) handler, with vservers support.
408     added vservers support to duplicity handler
409         Note: the configuration is a bit different than the rdiff
410         handler's one, but the default behavior is the same:
411         have a look at example.dup.
412     improved README
413     documented .disabled method.
414     corrected VROOTDIR default value.
415     added ninjahelper to the install instructions.
416     improved rdiff, dup and sys handlers' vservers support
417         prevent vserver-debiantools' $VROOTDIR/ARCHIVES directory
418         to be seen as a vserver
419     changes to sys handler
420         make use of configurable $VSERVERINFO instead of hard-coded vserver-info.
421         fixed dpkg existence test inside vserver.
422         fixed $nodpkg use.
423     changes to pgsql handler
424         now checks if the specified vserver is running.
425         now checks if $PGSQLDUMP/$PGSQLDUMPALL are available where needed.
426         now checks if "postgres" user exists on the host/vserver.
427     changes to ninjahelper
428         check_perms() does not die anymore on group/world readable
429         helper scripts (now consistent with the "helper scripts
430         must not be group or world writable!" error msg).
431     xedit action now tries $EDITOR, then /etc/alternatives/editor,
432         then nano, vim and vi, and aborts if none of these exists.
433     added helper for pgsql handler.
434     rdiff handler now does not require 'label'
435     changes to mysql and svn handlers' vservers support
436         these handlers now check if the source vserver is running
437     added 'ignores' for mysql handler. (thanks Daniel.Bonniot@inria.fr)
438
439 version 0.7 -- July 26 2005
440     added ninjahelper: a dialog based wizard for creating backupninja configs.
441     considerably improved and changed the log file output.
442     you can now disable actions with .disabled (this is new preferred method).
443     added makecd handler and example.makecd for backing up to cd/dvd (thanks stef).
444     fixed bug when specifying multiple 'when' options.
445
446 version 0.6 -- June 16 2005
447     ldap handler has new options: backup method to use (ldapsearch or
448         slapcat), restart, passwordfile and binddn. Default backup method
449         is set to ldapsearch as this is safer
450     ******************************************************************
451     NOTE: to get the previous default behavior with the ldap handler,
452     you must set "method = slapcat". The new default is ldapsearch.
453     ******************************************************************
454     implemented fix so that the main script will echo fatal errors rather
455         than being silent about them, this means an error message every hour
456         if there is a major configuration problem (not a handler problem)
457     added vserver support to main script and to the handlers: mysql, svn, sys, rdiff
458     changes to duplicity handler (thanks intrigeri!):
459         "keep = yes" now disables file cleaning on desthost
460         added "sign" option for backups signing
461         added "encryptkey" option to specify the gpg key to use
462         split config into [source], [gpg] and [dest] sections
463         added "nicelevel" option
464         added "testconnect" option
465         added "sshoptions" option (will be passed to ssh/scp)
466         added "bandwidthlimit" option
467     example.dup example config file for duplicity handler
468     added trac (http://trac.edgewall.com/) environment handler (thanks Charles Lepple!)
469     added configfile option to mysql handler
470         the default is /etc/mysql/debian.cnf. with this,
471         sqldump doesn't need dbusername. (hotcopy still does).
472     fixed bug in mysql handler which caused some passwords to not work.
473         (.my.cnf files now have double quotes around password)
474     can now pass options to hwinfo and sfdisk in sys handler.
475
476 version 0.5 -- April 12 2005
477     rdiff handler works when remote sshd has a banner
478     rdiff handler supports local dest
479     logfile is created if it doesn't exist
480     added "when = hourly"
481     added optional 'nicelevel' to rdiff handler
482     fixed bug where actions were not run in numeric order.
483     improved 'when' parsing.
484
485 version 0.4.4 -- March 18 2005
486     results of handlers are now read line by line.
487     changes to rdiff handler: added "options", and "keep" is
488         not necessarily days now (ie, it will pass straight through to
489         rdiff-backup if the keep has a unit on it, otherwise it adds the 'D').
490     added dup handler (still pretty beta)
491     added maildir handler (very specialized handler)
492     added --run option (runs the specified action file)
493     improved sys handler, now uses hwinfo
494     added subversion hotbackup handler, svn.
495     added PATH to cron.d file, which fixes file not found errors.
496
497 version 0.4.2 -- Jan 6 2005
498     fixed bug which caused a report email to be sent even if no actions were run.
499     fixed bug where multiple handler status messages were ignored
500     added status in the subject line of report emails
501
502 version 0.4.1 -- Jan 3 2005
503     added $usecolors and now more conservative about when colors are echoed.
504     fixed major bug, 'when' actually works now.
505     replaced debug function with debug, info, warning, error, fatal.
506     added --now option to force all actions to be performed now.
507
508 version 0.4 -- Dec 26 2004
509     added "when" option, so that all configs can specify when
510         they are to be run.
511     added reportsuccess and reportwarning config options
512     added .sys handler (hardware, packages, partitions).
513
514 version 0.3.4 -- Dec 8 2004
515     fixed numerical variable quoting compatibility with older wc
516     fixed stderr redirect bug
517     some comments in example.rdiff
518
519 version 0.3.3 -- Nov 10 2004
520     '*' (asterisk) works now in rdiff config files
521     works now with gawk as well as mawk
522     many bug fixes to ldap handler
523     paths to helper scripts can be configured in global config
524     does not require /usr/bin/stat
525
526 version 0.3.2 -- Sept 29 2004
527     handler scripts are no longer executable (to comply with debian policy)
528     handler error and warning messages are sent with the notify email
529
530 version 0.3.1 -- Sept 5 2004
531     added ldap handler
532     moved sh support to a handler script
533     add test mode, where no action is taken.
534     added --help
535     force only root can read /etc/backup.d/*
536     fixed missing equals symbols in example.rdiff
537     changed backupninja executable to be /usr/sbin rather than /usr/bin
538
539 version 0.3 -- Oct 20 2004
540     ** IMPORTANT ** all config files are now ini style, not apache style
541     rewrote all scripts in bash for portability
542     added drop-in backupninja lib directory (/usr/share/backupninja)
543     all scripts are now run as root
544
545 version 0.2 -- Oct 14 2004
546     move distribution folder ./cron.d to ./etc/cron.d
547     fixed bug: removed printr of excludes (!)
548     added support for changing the user/group in rdiff sources.
549     added support for .mysql config files.
550
551 version 0.1 -- Oct 8 2004
552     initial release
553