dup: fixed bandwidthlimit test
[matthijs/upstream/backupninja.git] / ChangeLog
1 version 0.9.7 -- UNRELEASED
2     backupninja changes
3          . fix bug in reportspace, thanks Dan Garthwaite
4          . do not assume English locale when using date (Closes: #465837)
5          . add 'when = manual' option, that can be used in the global config
6            file or in a given backup action file. Thanks Tuomas Jormola for the
7            preliminary patch (Closes: #511299)
8     handler changes
9         maildir:
10          . fix location of deleted_on file
11          . add missing destid_file options to ssh connections
12          . added sshoptions variable for arbitrary ssh options
13          . updated example file to include destid_file, destport and sshoptions
14         mysql:
15          . Options passed to mysqldump are now customizable with the new
16            sqldumpoptions configuration variable. Thanks to Chris Lamb for his
17            preliminary patch (Closes: #502966)
18          . Hide 'mysqladmin ping' output, to prevent confusing the user in
19            case mysqld is running but the authentication fails, which apparently
20            does not prevent mysqldump to work.
21          . Fix the error message displayed when mysqld is not running:
22            mysqladmin ping indeed returns 0 when authentication fails.
23         sys:
24          . New luksheaders option (default=disabled) to backup the Luks header
25            of every Luks device.
26          . New lvm option (default=disabled) to backup LVM metadata for every
27            detected volume group.
28          . Backup dmsetup info as well, for easier restoring of Luks headers.
29         dup:
30          . Fixed bandwidthlimit syntax error. Thanks to Ian Beckwith for
31            the patch.
32
33 version 0.9.6 -- July 21, 2008
34     backupninja changes
35          . fix bug in cstream definition, thanks Jamie McClelland
36          . Allow the entire backup run to be halted by an action, thanks to
37            Matthew Palmer (Closes: #455836)
38          . Fixed tr construct reporting a warning (Closes: #452669)
39     lib changes
40         vserver:
41          . added vservers_running function
42         tools
43          . mktemp is now required to run backupninja, removed less secure
44            fall-back if mktemp did not exist on the system
45     handler changes
46         dup:
47          . General cleanup
48          . Better support for new duplicity (>= 0.4.4) command line syntax:
49            run remove-older-than when $keep is not set to yes (Closes: #458816),
50            and run "duplicity cleanup" before any other duplicity command; both
51            only trigger a warning on failure, since they should not stop backups
52            from being done. Also migrated full/incremental backup switch to the
53            new syntax.
54          . Support every duplicity-supported transport with new configuration
55            option desturl (Closes: #483712, #346040, Trac#2).
56          . Actually allow to backup only VServers, by relaxing $include test.
57          . Set secure permissions on tmpdir when creating it.
58         ldap:
59          . support HDB backend just as the BDB one, and make message clearer
60            when no supported backend is found (Closes: #476910)
61         rdiff:
62          . Fixed ignore_version default value missing
63          . Add patch from Matthew Palmer to rdiff handler to incorporate sshoptions
64            into options via remote-schema not already specified (Closes: #424639)
65         wget:
66          . New handler from rhatto designed to incrementally pull content from
67            a website to a local folder, based on the rsync handler
68         maildir:
69          . fixed bug where maildirs that start with a number were skipped
70          . make maildir helper look in every subdirectory of the source directory for
71            maildirs, rather than just looking in the directories [a-zA-Z0-9], thanks
72            for the patch from chris@cenolan.com (Trac#43).
73          . make deleted maildirs record the date they were deleted
74          . add destid_file configuration option to enable you to specify an alternate
75            ssh public key authentication file (defaulting to /root/.ssh/id_rsa)
76         pgsql, mysql, svn, sys:
77          . use new vservers_running function from lib/vserver (factorization++)
78         sys:
79          . update for 2.6 kernels: use /proc/kallsyms instead of /proc/ksyms
80            (Closes: Trac#39)
81          . support selection of VServers to run on, in the same way as in the
82            dup handler, with the new vsnames configuration option ; (Closes: Trac#45)
83          . add support for capturing the package debconf selection states using
84            debconf-get-selections
85          . fixed catifexec function to actually work, also now passes the arguments
86            given to catifexec() to the called command (Thanks John Hallam!)
87          . Added more robust software RAID information capture by running mdadm
88            -Q --detail /dev/md?* because some people may have empty mdadm.conf files
89            (Thanks to John Hallam).
90         trac:
91          . stop failing on all the trac backups if just one fails, this means
92            removing the temporary trac backup directories if they fail
93         makecd
94          . updated handler for new toolset (genisoimage and wodim)
95
96 version 0.9.5 -- December 2, 2007
97     backupninja changes
98          . Fixed checks on configuration files permissions, since the patch
99            applied to fix #370396 broke this, especially for configuration files
100            created with permissions 000 by an older ninjahelper version.
101          . Enhanced portability for other platforms
102          . Added quoting because it was needed to prevent shell expansion, broking the
103            toint function sometimes (Closes: Trac#11)
104          . Fixed reportspace option (Closes: Trac#10)
105          . Fixed ldap handler not recognizing database suffix (Closes: Trac#28)
106     handler changes
107         dup:
108          . Support duplicity >= 0.4.3 invocation syntax (--ssh-command option
109            is not supported anymore) (Closes: #447425)
110          . New tmpdir configuration option, very useful in case duplicity tends
111            to fill up /tmp.
112         ldap:
113          . Fixed shell command quoting issues, missing 'then' clauses, cleaned up
114            compress=yes to be less redundant and not create empty uncompressed
115            file (Closes: #394935)
116          . Fixed ninjahelper to properly set compress option, standardized on yes/no
117            instead of on/off
118          . Fixed problem that caused combination of slapcat and compress to not work
119            together (Closes: Trac#29)
120          . Applied patch from romain.tartiere@healthgrid.org to fix the SSL/TLS options
121            to be correct, also set TLS to be the default over SSL (Closes: Trac#13)
122         maildir:
123          . Added an examples file (Closes: Trac#23)
124          . Applied patch from Anarcat that fixes the cp/mkdir calls to not use GNU
125            coreutils options, as well as some bashisms (Closes: Trac#24)
126          . Fix test mode (Closes: Trac#25)
127         mysql:
128          . Fixed case where odd combination of configuration options caused sqldump
129            backups to get overwritten with an empty file (Closes: #402679)
130          . Added 'nodata' option to enable you to specify tables that you want to omit
131            the data from a backup, but still backup the table structure. This is very
132            useful in cases where tables contain large amounts of cache data. See the
133            example.mysql for options, thanks Daniel Bonniot (Closes: #408829)
134          . Enhance code for selecting databases by asking MySQL not to give us the
135            header (-N), to not draw pretty boxes around the output (-B), send the query
136            via -e instead of a pipe and ensure MySQL listens to -B. Thanks to
137            Matthew Palmer (Closes: #452039).
138         pgsql:
139          . Support configuring PGSQLUSER for real, and document it a bit; this
140            broken support actually prevented pgsql handler to work for VServers
141            (Closes: #396578)
142         rdiff-backup:
143          . Added cstream support to allow for bandwidth limiting
144          . Handle "keep = yes" to disable old backups removal (Closes: #424633)
145          . Add configuration option to allow you to disable the version check
146            as in some instances this may be an ok scenario (Closes: #424632)
147          . Added local destination support to helper (Closes: Trac#4)
148          . Allow exclude-only configurations (Closes: Trac#21)
149         rub/rsync
150          . Fixed typo in rub handler that caused it to not work
151          . Changed to use lib/vserver code
152          . Fixed fsck error
153          . Fixed integer comparison (Closes: Trac#3)
154          . Renamed handler to 'rsync', replaces outdated rub handler
155          . updated examples/Makefile.am and handlers/Makefile.am to include
156            rsnap/rsync (Closes: #440554)
157          . Added example.rsync configuration file
158         sys:
159          . Fixed typo breaking things for VServers.
160          . Fix bug when vrootdir is on its own partition (Closes: #395928)
161          . Better sfdisk error and output handling: should now properly warn
162            when it does not manage to backup a partition table, and shut up when
163            it succeeds (Closes: #396632)
164          . Added option to not use sfdisk at all, useful for vserver/xen instances
165            that produce warnings about no harddisks found (Closes: #404071)
166          . Fixed example in example.sys to detail the __star__ in partitionsfile and
167            note why its necessary (Closes: #409192)
168          . Force C locale for sfdisk to ensure english words are found in grep
169          . Make directory where output is placed configurable, and create the parent dir
170            if it doesn't exist (Closes: Trac#1)
171     ninjareport
172          . Added first draft of method to aggregate reports from many servers into
173            one email. Requires logtail, rsync, configuration of reporthost,
174            reportdirectory and reportuser in backupninja.conf. Configure cron to
175            run once a day, and individual backupninjas not to report by email their
176            status, then enjoy one email report from all hosts, rather than multiple
177     fixed 'make install' bug that failed if /etc/backup.d already existed
178     changed spaces to tabs in Makefile.am
179     updated redhat spec file (thanks Adam Monsen)
180
181 version 0.9.4 -- October 6th, 2006
182     backupninja changes
183          . Fixed bug in toint(), and thus isnow(), which caused it
184            to not work when run from cron.
185          . Recursively ignore subdirs in /etc/backup.d (Closes: #361102)
186          . Add admingroup option to configuration to allow a group that can
187            read/write configurations (instead of only allowing root). Checks
188            and complains about group-readable files only when the group differs
189            from the one in the configuration file (default is root as before).
190            Thanks to Martin Krafft for the patch (Closes: #370396).
191          . When determining which backup actions to make, find now follows
192            symlinks for $configdirectory
193          . Changed order of -s to mail for compatibility
194          . fixed permission stat call so it uses the --format supported by
195            coreutils (Closes: #382747)
196          . Added disk space report option (thanks Adam Kosmin)
197     handler changes
198         Added tar handler:
199          . create tarballs
200         Added rsnap handler:
201          . rotated rsync snapshops
202          . code from paulv@bikkel.org
203         Added rub handler:
204          . alternative to rsnap
205          . code from rhatto@riseup.net
206         mysql:
207          . Fixed improper use of $vuserhome (Closes: #351083)
208          . Fixed erroneous removal of tmpfile when it didn't exit
209          . Fixed inversed vsname emptiness check
210          . Fixed su quote usage to be more posixy
211          . Compress for sqldumps now happens in-line to save some disk space (Closes: #370778)
212          . Fixed --defaults-file now as --defaults-extra-file (thanks rhatto)
213         pgsql:
214          . Fixed inversed vsname emptiness check
215          . Fixed su quote usage to be more posixy
216          . Fixed shell expansion, thanks Thomas Kotzian (Closes: #363297)
217          . postgres user UID is now the one from inside the vserver if necessary
218          . Compress now happens in-line to save some disk space (Closes: #370778)
219          . $PGSQLUSER is used instead of hardcoding user 'postgres' (although this is the default)
220         svn:
221          . Fixed inversed vsname emptiness check
222         rdiff:
223          . Symlink and globbing support in include/exclude/vsinclude
224            clarification: globbing is fully supported again, whereas no attempt
225            is done to dereference symlinks anymore, due to incompatibilities
226            between various readlink versions in this field.
227          . Removed overzealous vsnames check
228          . Now works if testconnect=no and if $test is not defined.
229          . add $sshoptions config parameter in [dest] section of config so
230            connections to ports other than 22 can be made by adding the
231            following to the top of the handler config:
232            options = --remote-schema 'ssh -p REMOTE-PORT -C %s rdiff-backup
233            --server'
234         dup:
235          . Symlink and globbing support in include/exclude/vsinclude
236            clarification: globbing is fully supported again, whereas no attempt
237            is done to dereference symlinks anymore, due to incompatibilities
238            between various readlink versions in this field.
239          . Removed over zealous vsnames check
240          . Does not pretend anymore that duplicity can work without
241            any passphrase
242          . Support duplicity 0.4.2 (with Debian patches applied; upstream's
243            0.4.3 will integrate them); documented how to write sftp-compatible
244            sshoptions (Closes: #388543)
245          . Now forbid to (try to) include /.
246         sys:
247          . Many more system checks were added, (thanks to Petr KlĂ­ma)
248          . Added warning if no devices were found (thanks Ranier Zocholl)
249          . Enhanced debian package selections to include purged packages (thanks
250            Tom Hoover)
251          . Removed warning about vserver not running (thanks anarcat)
252         ldap:
253          . Compress now happens in-line to save some disk space (Closes: #370778)
254         makecd:
255          . Added nicelevel option (thanks rhatto)
256         trac:
257          . fixed problem when src was set to the trac repo directly (Closes: #382737)
258     lib changes
259         vserver:
260          . init_vservers: fixed Debian bug #351083 (improper readlink syntax)
261          . found_vservers: escaped special grep repetition character +
262          . forced mktemp to use a template with a name to be more compatible with
263            different versions of mktemp, thanks anarcat
264     ninjahelper changes
265          . Recursively ignore subdirs in /etc/backup.d (Closes: #361102)
266          . Fix configdirectory error that forced you to use /etc/backup.d, thanks anarcat
267          . When determining which backup actions to list, find now follows
268            symlinks for $configdirectory
269          . Stop checking helpers perms: both "make install" and distros packages
270            install them with appropriate permissions, it's overzealous to check
271            this at runtime, and is more complicated to do with current
272            admingroup option.
273         dup.helper:
274          . Fix: signing was enabled with symmetric encryption.
275     changed cron permissions to 644
276     changed /etc/backup.d permissions to 0770 (for admingroup)
277     minor documentation fixes
278     improved RPM build process allowing 'make rpm-package' and 'make
279     srpm-package' targets, also fixes permissions on man directories,
280     cleans up RPM-related files during distclean, and adds default
281     EDITOR for "autogen.sh -f" if none is set. (thanks Robert Napier)
282
283 version 0.9.3 -- February 1st, 2006
284     autotools fixes
285     backupninja changes
286         backupninja.conf
287          . added (commented out) the various default paths to
288            programs such as PGSQLDUMP, so that users can figure
289            out more easily they can customize them
290         code refactor:
291          . now uses vservers lib to initialize vservers support
292     handler changes
293         duplicity, mysql, pgsql, rdiff, svn, sys: start to use (at different
294            degrees) new lib/vserver functionality
295         mysql:
296          . fixed no user defaults file processing
297         duplicity:
298          . fixed (again...) globbing in include and exclude options (Debian bug
299            #348022, follow-up to #338796)
300          . warn if vsnames or vsinclude is enabled while vservers support is
301            disabled in backupninja.conf
302          . now works when multiple vservers names are given (separated by space)
303            in vsnames config variable
304         rdiff
305          . fixed globbing bug in include, exclude and vsinclude options
306          . it's now possible to choose exactly which vservers should be
307            backed-up, as it already was with duplicity handler, with the
308            "vsnames" configuration setting
309     ninjahelper changes
310         rdiff.helper:
311          . fixed errors in create remote dir
312          . code formatting cleanup (three spaces indent)
313          . fixed bug which caused only first include/exclude dir to
314            have "include = "
315          . fixed globbing bug with exclude
316         ninjahelper:
317          . now reports error if the helper script has a syntax error or bombs out.
318          . code formatting cleanup (three spaces indent)
319     lib changes
320         vserver:
321          . init_vservers: improved VROOTDIR detection
322          . init_vservers: test in a stricter way the real vservers availability
323          . init_vservers: canonicalize VROOTDIR (since duplicity et al.
324            don't follow symlinks)
325          . init_vservers: warn if vservers are enabled but no vserver is found
326          . new function: vservers_exist
327     known bugs:
328         easydialog:
329          . formDisplay does not return exit status.
330
331 version 0.9.2 -- December 29, 2005
332     backupninja changes
333         fixed broken toint() which caused when "everyday" problems
334         backupninja.conf.5 updated to include "when" and "vservers"
335         code refactor:
336             . moved to lib/ some code that has to be shared between
337               backupninja and ninjahelper
338     handler changes
339         trac:
340             . mkdir subdirectory problem fixed
341         duplicity:
342             . globbing support fixed in include and exclude options
343             . different signing and encrypting key support added
344             . fixed erroneous comments in example.dup about the way
345               GnuPG-related options are used
346         mysql:
347             . handler vserver bugs fixed and debug output enhanced
348     ninjahelper(s) changes
349         vserver-related functions added to lib/vservers.in
350         added man/ninjahelper.1 man page
351         makecd:
352             . was missing in Makefile.am/.in
353         rdiff-backup:
354             . used to expand '*' in default source directories
355             . the "Cancel" buttons used to have a weird behaviour
356             . updated to include Vserver selection
357         pgsql:
358             . forbid the user to choose an empty database set
359             . "Cancel" button now does what it is meant to do
360         mysql:
361             . enhanced for vserver support
362             . now able to select databases and dump directory
363         duplicity:
364             . new handler added (with Vserver support)
365
366 version 0.9.1 -- November 05 2005
367     rearranged source so that it is relocatable with autotools
368         (thanks to Petr KlĂ­ma petr.klima@madeta-group.cz)
369     fixed many bugs in rdiff helper
370     rdiff handler does not require 'label' (for real this time?)
371     added makecd ninjahelper
372         (thanks to Stefani stefani@riseup.net)
373     made ninjahelper create files with mode 600 rather than 000
374     changed subversion handler to use svnadmin hotcopy instead of
375             the unsupported hot-copy.py script, which was moved in Debian
376     update rdiff ninjahelper
377             now detects and auto-install rdiff-backup on the remote
378             machine if possible, also tests the remote backup directory
379             and offers to create it if it doesn't exist
380
381 version 0.9 -- October 19 2005
382     *** IMPORTANT CHANGE, UPGRADE AT ONCE ***
383      fixed insecure temporary file creation
384     *****************************************
385     removed erroneous magic file marker in pgsql handler
386     fixed incorrect find positional
387     changed direct grep of /etc/passwd to getent passwd.
388     rdiff helper has much better information on failed ssh attempt
389         (patch from cmccallum@thecsl.org).
390     rdiff handler now supports remote source and local dest.
391         (patch from cmccallum@thecsl.org).
392     man pages are greatly improved.
393
394 version 0.8 -- September 15 2005
395     added pgsql (PostgreSQL) handler, with vservers support.
396     added vservers support to duplicity handler
397         Note: the configuration is a bit different than the rdiff
398         handler's one, but the default behavior is the same:
399         have a look at example.dup.
400     improved README
401     documented .disabled method.
402     corrected VROOTDIR default value.
403     added ninjahelper to the install instructions.
404     improved rdiff, dup and sys handlers' vservers support
405         prevent vserver-debiantools' $VROOTDIR/ARCHIVES directory
406         to be seen as a vserver
407     changes to sys handler
408         make use of configurable $VSERVERINFO instead of hard-coded vserver-info.
409         fixed dpkg existence test inside vserver.
410         fixed $nodpkg use.
411     changes to pgsql handler
412         now checks if the specified vserver is running.
413         now checks if $PGSQLDUMP/$PGSQLDUMPALL are available where needed.
414         now checks if "postgres" user exists on the host/vserver.
415     changes to ninjahelper
416         check_perms() does not die anymore on group/world readable
417         helper scripts (now consistent with the "helper scripts
418         must not be group or world writable!" error msg).
419     xedit action now tries $EDITOR, then /etc/alternatives/editor,
420         then nano, vim and vi, and aborts if none of these exists.
421     added helper for pgsql handler.
422     rdiff handler now does not require 'label'
423     changes to mysql and svn handlers' vservers support
424         these handlers now check if the source vserver is running
425     added 'ignores' for mysql handler. (thanks Daniel.Bonniot@inria.fr)
426
427 version 0.7 -- July 26 2005
428     added ninjahelper: a dialog based wizard for creating backupninja configs.
429     considerably improved and changed the log file output.
430     you can now disable actions with .disabled (this is new preferred method).
431     added makecd handler and example.makecd for backing up to cd/dvd (thanks stef).
432     fixed bug when specifying multiple 'when' options.
433
434 version 0.6 -- June 16 2005
435     ldap handler has new options: backup method to use (ldapsearch or
436         slapcat), restart, passwordfile and binddn. Default backup method
437         is set to ldapsearch as this is safer
438     ******************************************************************
439     NOTE: to get the previous default behavior with the ldap handler,
440     you must set "method = slapcat". The new default is ldapsearch.
441     ******************************************************************
442     implemented fix so that the main script will echo fatal errors rather
443         than being silent about them, this means an error message every hour
444         if there is a major configuration problem (not a handler problem)
445     added vserver support to main script and to the handlers: mysql, svn, sys, rdiff
446     changes to duplicity handler (thanks intrigeri!):
447         "keep = yes" now disables file cleaning on desthost
448         added "sign" option for backups signing
449         added "encryptkey" option to specify the gpg key to use
450         split config into [source], [gpg] and [dest] sections
451         added "nicelevel" option
452         added "testconnect" option
453         added "sshoptions" option (will be passed to ssh/scp)
454         added "bandwidthlimit" option
455     example.dup example config file for duplicity handler
456     added trac (http://trac.edgewall.com/) environment handler (thanks Charles Lepple!)
457     added configfile option to mysql handler
458         the default is /etc/mysql/debian.cnf. with this,
459         sqldump doesn't need dbusername. (hotcopy still does).
460     fixed bug in mysql handler which caused some passwords to not work.
461         (.my.cnf files now have double quotes around password)
462     can now pass options to hwinfo and sfdisk in sys handler.
463
464 version 0.5 -- April 12 2005
465     rdiff handler works when remote sshd has a banner
466     rdiff handler supports local dest
467     logfile is created if it doesn't exist
468     added "when = hourly"
469     added optional 'nicelevel' to rdiff handler
470     fixed bug where actions were not run in numeric order.
471     improved 'when' parsing.
472
473 version 0.4.4 -- March 18 2005
474     results of handlers are now read line by line.
475     changes to rdiff handler: added "options", and "keep" is
476         not necessarily days now (ie, it will pass straight through to
477         rdiff-backup if the keep has a unit on it, otherwise it adds the 'D').
478     added dup handler (still pretty beta)
479     added maildir handler (very specialized handler)
480     added --run option (runs the specified action file)
481     improved sys handler, now uses hwinfo
482     added subversion hotbackup handler, svn.
483     added PATH to cron.d file, which fixes file not found errors.
484
485 version 0.4.2 -- Jan 6 2005
486     fixed bug which caused a report email to be sent even if no actions were run.
487     fixed bug where multiple handler status messages were ignored
488     added status in the subject line of report emails
489
490 version 0.4.1 -- Jan 3 2005
491     added $usecolors and now more conservative about when colors are echoed.
492     fixed major bug, 'when' actually works now.
493     replaced debug function with debug, info, warning, error, fatal.
494     added --now option to force all actions to be performed now.
495
496 version 0.4 -- Dec 26 2004
497     added "when" option, so that all configs can specify when
498         they are to be run.
499     added reportsuccess and reportwarning config options
500     added .sys handler (hardware, packages, partitions).
501
502 version 0.3.4 -- Dec 8 2004
503     fixed numerical variable quoting compatibility with older wc
504     fixed stderr redirect bug
505     some comments in example.rdiff
506
507 version 0.3.3 -- Nov 10 2004
508     '*' (asterisk) works now in rdiff config files
509     works now with gawk as well as mawk
510     many bug fixes to ldap handler
511     paths to helper scripts can be configured in global config
512     does not require /usr/bin/stat
513
514 version 0.3.2 -- Sept 29 2004
515     handler scripts are no longer executable (to comply with debian policy)
516     handler error and warning messages are sent with the notify email
517
518 version 0.3.1 -- Sept 5 2004
519     added ldap handler
520     moved sh support to a handler script
521     add test mode, where no action is taken.
522     added --help
523     force only root can read /etc/backup.d/*
524     fixed missing equals symbols in example.rdiff
525     changed backupninja executable to be /usr/sbin rather than /usr/bin
526
527 version 0.3 -- Oct 20 2004
528     ** IMPORTANT ** all config files are now ini style, not apache style
529     rewrote all scripts in bash for portability
530     added drop-in backupninja lib directory (/usr/share/backupninja)
531     all scripts are now run as root
532
533 version 0.2 -- Oct 14 2004
534     move distribution folder ./cron.d to ./etc/cron.d
535     fixed bug: removed printr of excludes (!)
536     added support for changing the user/group in rdiff sources.
537     added support for .mysql config files.
538
539 version 0.1 -- Oct 8 2004
540     initial release
541