df24adcba81ae324f271a296c67ed185115b1618
[matthijs/upstream/backupninja.git] / ChangeLog
1 version 0.9.6 -- unreleased
2     backupninja changes
3          . fix bug in cstream definition, thanks Jamie McClelland
4          . Allow the entire backup run to be halted by an action, thanks to
5            Matthew Palmer (Closes: #455836)
6          . Fixed tr construct reporting a warning (Closes: #452669)
7     lib changes
8         vserver:
9          . added vservers_running function
10         tools
11          . mktemp is now required to run backupninja, removed less secure
12            fall-back if mktemp did not exist on the system
13     handler changes
14         dup:
15          . General cleanup
16          . Better support for new duplicity (>= 0.4.4) command line syntax:
17            run remove-older-than when $keep is not set to yes (Closes: #458816),
18            and run "duplicity cleanup" before any other duplicity command; both
19            only trigger a warning on failure, since they should not stop backups
20            from being done. Also migrated full/incremental backup switch to the
21            new syntax.
22          . Support every duplicity-supported transport with new configuration
23            option desturl (Closes: #483712, #346040, Trac#2).
24          .
25         Actually allow to backup only VServers, by relaxing $include test.
26         ldap:
27          . support HDB backend just as the BDB one, and make message clearer
28            when no supported backend is found (Closes: #476910)
29         rdiff:
30          . Fixed ignore_version default value missing
31          . Add patch from Matthew Palmer to rdiff handler to incorporate sshoptions
32            into options via remote-schema not already specified (Closes: #424639)
33         wget:
34          . New handler from rhatto designed to incrementally pull content from
35            a website to a local folder, based on the rsync handler
36         maildir:
37          . fixed bug where maildirs that start with a number were skipped.
38          . make deleted maildirs record the date they were deleted
39          . add destid_file configuration option to enable you to specify an alternate
40            ssh public key authentication file (defaulting to /root/.ssh/id_rsa)
41         pgsql, mysql, svn, sys:
42          . use new vservers_running function from lib/vserver (factorization++)
43         sys:
44          . update for 2.6 kernels: use /proc/kallsyms instead of /proc/ksyms
45            (Closes: Trac#39)
46          . support selection of VServers to run on, in the same way as in the
47            dup handler, with the new vsnames configuration option ; (Closes: Trac#45)
48          . add support for capturing the package debconf selection states using
49            debconf-get-selections
50          . fixed catifexec function to actually work, also now passes the arguments
51            given to catifexec() to the called command (Thanks John Hallam!)
52
53 version 0.9.5 -- December 2, 2007
54     backupninja changes
55          . Fixed checks on configuration files permissions, since the patch
56            applied to fix #370396 broke this, especially for configuration files
57            created with permissions 000 by an older ninjahelper version.
58          . Enhanced portability for other platforms
59          . Added quoting because it was needed to prevent shell expansion, broking the
60            toint function sometimes (Closes: Trac#11)
61          . Fixed reportspace option (Closes: Trac#10)
62          . Fixed ldap handler not recognizing database suffix (Closes: Trac#28)
63     handler changes
64         dup:
65          . Support duplicity >= 0.4.3 invocation syntax (--ssh-command option
66            is not supported anymore) (Closes: #447425)
67          . New tmpdir configuration option, very useful in case duplicity tends
68            to fill up /tmp.
69         ldap:
70          . Fixed shell command quoting issues, missing 'then' clauses, cleaned up
71            compress=yes to be less redundant and not create empty uncompressed
72            file (Closes: #394935)
73          . Fixed ninjahelper to properly set compress option, standardized on yes/no
74            instead of on/off
75          . Fixed problem that caused combination of slapcat and compress to not work
76            together (Closes: Trac#29)
77          . Applied patch from romain.tartiere@healthgrid.org to fix the SSL/TLS options
78            to be correct, also set TLS to be the default over SSL (Closes: Trac#13)
79         maildir:
80          . Added an examples file (Closes: Trac#23)
81          . Applied patch from Anarcat that fixes the cp/mkdir calls to not use GNU
82            coreutils options, as well as some bashisms (Closes: Trac#24)
83          . Fix test mode (Closes: Trac#25)
84         mysql:
85          . Fixed case where odd combination of configuration options caused sqldump
86            backups to get overwritten with an empty file (Closes: #402679)
87          . Added 'nodata' option to enable you to specify tables that you want to omit
88            the data from a backup, but still backup the table structure. This is very
89            useful in cases where tables contain large amounts of cache data. See the
90            example.mysql for options, thanks Daniel Bonniot (Closes: #408829)
91          . Enhance code for selecting databases by asking MySQL not to give us the
92            header (-N), to not draw pretty boxes around the output (-B), send the query
93            via -e instead of a pipe and ensure MySQL listens to -B. Thanks to
94            Matthew Palmer (Closes: #452039).
95         pgsql:
96          . Support configuring PGSQLUSER for real, and document it a bit; this
97            broken support actually prevented pgsql handler to work for VServers
98            (Closes: #396578)
99         rdiff-backup:
100          . Added cstream support to allow for bandwidth limiting
101          . Handle "keep = yes" to disable old backups removal (Closes: #424633)
102          . Add configuration option to allow you to disable the version check
103            as in some instances this may be an ok scenario (Closes: #424632)
104          . Added local destination support to helper (Closes: Trac#4)
105          . Allow exclude-only configurations (Closes: Trac#21)
106         rub/rsync
107          . Fixed typo in rub handler that caused it to not work
108          . Changed to use lib/vserver code
109          . Fixed fsck error
110          . Fixed integer comparison (Closes: Trac#3)
111          . Renamed handler to 'rsync', replaces outdated rub handler
112          . updated examples/Makefile.am and handlers/Makefile.am to include
113            rsnap/rsync (Closes: #440554)
114          . Added example.rsync configuration file
115         sys:
116          . Fixed typo breaking things for VServers.
117          . Fix bug when vrootdir is on its own partition (Closes: #395928)
118          . Better sfdisk error and output handling: should now properly warn
119            when it does not manage to backup a partition table, and shut up when
120            it succeeds (Closes: #396632)
121          . Added option to not use sfdisk at all, useful for vserver/xen instances
122            that produce warnings about no harddisks found (Closes: #404071)
123          . Fixed example in example.sys to detail the __star__ in partitionsfile and
124            note why its necessary (Closes: #409192)
125          . Force C locale for sfdisk to ensure english words are found in grep
126          . Make directory where output is placed configurable, and create the parent dir
127            if it doesn't exist (Closes: Trac#1)
128     ninjareport
129          . Added first draft of method to aggregate reports from many servers into
130            one email. Requires logtail, rsync, configuration of reporthost,
131            reportdirectory and reportuser in backupninja.conf. Configure cron to
132            run once a day, and individual backupninjas not to report by email their
133            status, then enjoy one email report from all hosts, rather than multiple
134     fixed 'make install' bug that failed if /etc/backup.d already existed
135     changed spaces to tabs in Makefile.am
136     updated redhat spec file (thanks Adam Monsen)
137
138 version 0.9.4 -- October 6th, 2006
139     backupninja changes
140          . Fixed bug in toint(), and thus isnow(), which caused it
141            to not work when run from cron.
142          . Recursively ignore subdirs in /etc/backup.d (Closes: #361102)
143          . Add admingroup option to configuration to allow a group that can
144            read/write configurations (instead of only allowing root). Checks
145            and complains about group-readable files only when the group differs
146            from the one in the configuration file (default is root as before).
147            Thanks to Martin Krafft for the patch (Closes: #370396).
148          . When determining which backup actions to make, find now follows
149            symlinks for $configdirectory
150          . Changed order of -s to mail for compatibility
151          . fixed permission stat call so it uses the --format supported by
152            coreutils (Closes: #382747)
153          . Added disk space report option (thanks Adam Kosmin)
154     handler changes
155         Added tar handler:
156          . create tarballs
157         Added rsnap handler:
158          . rotated rsync snapshops
159          . code from paulv@bikkel.org
160         Added rub handler:
161          . alternative to rsnap
162          . code from rhatto@riseup.net
163         mysql:
164          . Fixed improper use of $vuserhome (Closes: #351083)
165          . Fixed erroneous removal of tmpfile when it didn't exit
166          . Fixed inversed vsname emptiness check
167          . Fixed su quote usage to be more posixy
168          . Compress for sqldumps now happens in-line to save some disk space (Closes: #370778)
169          . Fixed --defaults-file now as --defaults-extra-file (thanks rhatto)
170         pgsql:
171          . Fixed inversed vsname emptiness check
172          . Fixed su quote usage to be more posixy
173          . Fixed shell expansion, thanks Thomas Kotzian (Closes: #363297)
174          . postgres user UID is now the one from inside the vserver if necessary
175          . Compress now happens in-line to save some disk space (Closes: #370778)
176          . $PGSQLUSER is used instead of hardcoding user 'postgres' (although this is the default)
177         svn:
178          . Fixed inversed vsname emptiness check
179         rdiff:
180          . Symlink and globbing support in include/exclude/vsinclude
181            clarification: globbing is fully supported again, whereas no attempt
182            is done to dereference symlinks anymore, due to incompatibilities
183            between various readlink versions in this field.
184          . Removed overzealous vsnames check
185          . Now works if testconnect=no and if $test is not defined.
186          . add $sshoptions config parameter in [dest] section of config so
187            connections to ports other than 22 can be made by adding the
188            following to the top of the handler config:
189            options = --remote-schema 'ssh -p REMOTE-PORT -C %s rdiff-backup
190            --server'
191         dup:
192          . Symlink and globbing support in include/exclude/vsinclude
193            clarification: globbing is fully supported again, whereas no attempt
194            is done to dereference symlinks anymore, due to incompatibilities
195            between various readlink versions in this field.
196          . Removed over zealous vsnames check
197          . Does not pretend anymore that duplicity can work without
198            any passphrase
199          . Support duplicity 0.4.2 (with Debian patches applied; upstream's
200            0.4.3 will integrate them); documented how to write sftp-compatible
201            sshoptions (Closes: #388543)
202          . Now forbid to (try to) include /.
203         sys:
204          . Many more system checks were added, (thanks to Petr KlĂ­ma)
205          . Added warning if no devices were found (thanks Ranier Zocholl)
206          . Enhanced debian package selections to include purged packages (thanks
207            Tom Hoover)
208          . Removed warning about vserver not running (thanks anarcat)
209         ldap:
210          . Compress now happens in-line to save some disk space (Closes: #370778)
211         makecd:
212          . Added nicelevel option (thanks rhatto)
213         trac:
214          . fixed problem when src was set to the trac repo directly (Closes: #382737)
215     lib changes
216         vserver:
217          . init_vservers: fixed Debian bug #351083 (improper readlink syntax)
218          . found_vservers: escaped special grep repetition character +
219          . forced mktemp to use a template with a name to be more compatible with
220            different versions of mktemp, thanks anarcat
221     ninjahelper changes
222          . Recursively ignore subdirs in /etc/backup.d (Closes: #361102)
223          . Fix configdirectory error that forced you to use /etc/backup.d, thanks anarcat
224          . When determining which backup actions to list, find now follows
225            symlinks for $configdirectory
226          . Stop checking helpers perms: both "make install" and distros packages
227            install them with appropriate permissions, it's overzealous to check
228            this at runtime, and is more complicated to do with current
229            admingroup option.
230         dup.helper:
231          . Fix: signing was enabled with symmetric encryption.
232     changed cron permissions to 644
233     changed /etc/backup.d permissions to 0770 (for admingroup)
234     minor documentation fixes
235     improved RPM build process allowing 'make rpm-package' and 'make
236     srpm-package' targets, also fixes permissions on man directories,
237     cleans up RPM-related files during distclean, and adds default
238     EDITOR for "autogen.sh -f" if none is set. (thanks Robert Napier)
239
240 version 0.9.3 -- February 1st, 2006
241     autotools fixes
242     backupninja changes
243         backupninja.conf
244          . added (commented out) the various default paths to
245            programs such as PGSQLDUMP, so that users can figure
246            out more easily they can customize them
247         code refactor:
248          . now uses vservers lib to initialize vservers support
249     handler changes
250         duplicity, mysql, pgsql, rdiff, svn, sys: start to use (at different
251            degrees) new lib/vserver functionality
252         mysql:
253          . fixed no user defaults file processing
254         duplicity:
255          . fixed (again...) globbing in include and exclude options (Debian bug
256            #348022, follow-up to #338796)
257          . warn if vsnames or vsinclude is enabled while vservers support is
258            disabled in backupninja.conf
259          . now works when multiple vservers names are given (separated by space)
260            in vsnames config variable
261         rdiff
262          . fixed globbing bug in include, exclude and vsinclude options
263          . it's now possible to choose exactly which vservers should be
264            backed-up, as it already was with duplicity handler, with the
265            "vsnames" configuration setting
266     ninjahelper changes
267         rdiff.helper:
268          . fixed errors in create remote dir
269          . code formatting cleanup (three spaces indent)
270          . fixed bug which caused only first include/exclude dir to
271            have "include = "
272          . fixed globbing bug with exclude
273         ninjahelper:
274          . now reports error if the helper script has a syntax error or bombs out.
275          . code formatting cleanup (three spaces indent)
276     lib changes
277         vserver:
278          . init_vservers: improved VROOTDIR detection
279          . init_vservers: test in a stricter way the real vservers availability
280          . init_vservers: canonicalize VROOTDIR (since duplicity et al.
281            don't follow symlinks)
282          . init_vservers: warn if vservers are enabled but no vserver is found
283          . new function: vservers_exist
284     known bugs:
285         easydialog:
286          . formDisplay does not return exit status.
287
288 version 0.9.2 -- December 29, 2005
289     backupninja changes
290         fixed broken toint() which caused when "everyday" problems
291         backupninja.conf.5 updated to include "when" and "vservers"
292         code refactor:
293             . moved to lib/ some code that has to be shared between
294               backupninja and ninjahelper
295     handler changes
296         trac:
297             . mkdir subdirectory problem fixed
298         duplicity:
299             . globbing support fixed in include and exclude options
300             . different signing and encrypting key support added
301             . fixed erroneous comments in example.dup about the way
302               GnuPG-related options are used
303         mysql:
304             . handler vserver bugs fixed and debug output enhanced
305     ninjahelper(s) changes
306         vserver-related functions added to lib/vservers.in
307         added man/ninjahelper.1 man page
308         makecd:
309             . was missing in Makefile.am/.in
310         rdiff-backup:
311             . used to expand '*' in default source directories
312             . the "Cancel" buttons used to have a weird behaviour
313             . updated to include Vserver selection
314         pgsql:
315             . forbid the user to choose an empty database set
316             . "Cancel" button now does what it is meant to do
317         mysql:
318             . enhanced for vserver support
319             . now able to select databases and dump directory
320         duplicity:
321             . new handler added (with Vserver support)
322
323 version 0.9.1 -- November 05 2005
324     rearranged source so that it is relocatable with autotools
325         (thanks to Petr KlĂ­ma petr.klima@madeta-group.cz)
326     fixed many bugs in rdiff helper
327     rdiff handler does not require 'label' (for real this time?)
328     added makecd ninjahelper
329         (thanks to Stefani stefani@riseup.net)
330     made ninjahelper create files with mode 600 rather than 000
331     changed subversion handler to use svnadmin hotcopy instead of
332             the unsupported hot-copy.py script, which was moved in Debian
333     update rdiff ninjahelper
334             now detects and auto-install rdiff-backup on the remote
335             machine if possible, also tests the remote backup directory
336             and offers to create it if it doesn't exist
337
338 version 0.9 -- October 19 2005
339     *** IMPORTANT CHANGE, UPGRADE AT ONCE ***
340      fixed insecure temporary file creation
341     *****************************************
342     removed erroneous magic file marker in pgsql handler
343     fixed incorrect find positional
344     changed direct grep of /etc/passwd to getent passwd.
345     rdiff helper has much better information on failed ssh attempt
346         (patch from cmccallum@thecsl.org).
347     rdiff handler now supports remote source and local dest.
348         (patch from cmccallum@thecsl.org).
349     man pages are greatly improved.
350
351 version 0.8 -- September 15 2005
352     added pgsql (PostgreSQL) handler, with vservers support.
353     added vservers support to duplicity handler
354         Note: the configuration is a bit different than the rdiff
355         handler's one, but the default behavior is the same:
356         have a look at example.dup.
357     improved README
358     documented .disabled method.
359     corrected VROOTDIR default value.
360     added ninjahelper to the install instructions.
361     improved rdiff, dup and sys handlers' vservers support
362         prevent vserver-debiantools' $VROOTDIR/ARCHIVES directory
363         to be seen as a vserver
364     changes to sys handler
365         make use of configurable $VSERVERINFO instead of hard-coded vserver-info.
366         fixed dpkg existence test inside vserver.
367         fixed $nodpkg use.
368     changes to pgsql handler
369         now checks if the specified vserver is running.
370         now checks if $PGSQLDUMP/$PGSQLDUMPALL are available where needed.
371         now checks if "postgres" user exists on the host/vserver.
372     changes to ninjahelper
373         check_perms() does not die anymore on group/world readable
374         helper scripts (now consistent with the "helper scripts
375         must not be group or world writable!" error msg).
376     xedit action now tries $EDITOR, then /etc/alternatives/editor,
377         then nano, vim and vi, and aborts if none of these exists.
378     added helper for pgsql handler.
379     rdiff handler now does not require 'label'
380     changes to mysql and svn handlers' vservers support
381         these handlers now check if the source vserver is running
382     added 'ignores' for mysql handler. (thanks Daniel.Bonniot@inria.fr)
383
384 version 0.7 -- July 26 2005
385     added ninjahelper: a dialog based wizard for creating backupninja configs.
386     considerably improved and changed the log file output.
387     you can now disable actions with .disabled (this is new preferred method).
388     added makecd handler and example.makecd for backing up to cd/dvd (thanks stef).
389     fixed bug when specifying multiple 'when' options.
390
391 version 0.6 -- June 16 2005
392     ldap handler has new options: backup method to use (ldapsearch or
393         slapcat), restart, passwordfile and binddn. Default backup method
394         is set to ldapsearch as this is safer
395     ******************************************************************
396     NOTE: to get the previous default behavior with the ldap handler,
397     you must set "method = slapcat". The new default is ldapsearch.
398     ******************************************************************
399     implemented fix so that the main script will echo fatal errors rather
400         than being silent about them, this means an error message every hour
401         if there is a major configuration problem (not a handler problem)
402     added vserver support to main script and to the handlers: mysql, svn, sys, rdiff
403     changes to duplicity handler (thanks intrigeri!):
404         "keep = yes" now disables file cleaning on desthost
405         added "sign" option for backups signing
406         added "encryptkey" option to specify the gpg key to use
407         split config into [source], [gpg] and [dest] sections
408         added "nicelevel" option
409         added "testconnect" option
410         added "sshoptions" option (will be passed to ssh/scp)
411         added "bandwidthlimit" option
412     example.dup example config file for duplicity handler
413     added trac (http://trac.edgewall.com/) environment handler (thanks Charles Lepple!)
414     added configfile option to mysql handler
415         the default is /etc/mysql/debian.cnf. with this,
416         sqldump doesn't need dbusername. (hotcopy still does).
417     fixed bug in mysql handler which caused some passwords to not work.
418         (.my.cnf files now have double quotes around password)
419     can now pass options to hwinfo and sfdisk in sys handler.
420
421 version 0.5 -- April 12 2005
422     rdiff handler works when remote sshd has a banner
423     rdiff handler supports local dest
424     logfile is created if it doesn't exist
425     added "when = hourly"
426     added optional 'nicelevel' to rdiff handler
427     fixed bug where actions were not run in numeric order.
428     improved 'when' parsing.
429
430 version 0.4.4 -- March 18 2005
431     results of handlers are now read line by line.
432     changes to rdiff handler: added "options", and "keep" is
433         not necessarily days now (ie, it will pass straight through to
434         rdiff-backup if the keep has a unit on it, otherwise it adds the 'D').
435     added dup handler (still pretty beta)
436     added maildir handler (very specialized handler)
437     added --run option (runs the specified action file)
438     improved sys handler, now uses hwinfo
439     added subversion hotbackup handler, svn.
440     added PATH to cron.d file, which fixes file not found errors.
441
442 version 0.4.2 -- Jan 6 2005
443     fixed bug which caused a report email to be sent even if no actions were run.
444     fixed bug where multiple handler status messages were ignored
445     added status in the subject line of report emails
446
447 version 0.4.1 -- Jan 3 2005
448     added $usecolors and now more conservative about when colors are echoed.
449     fixed major bug, 'when' actually works now.
450     replaced debug function with debug, info, warning, error, fatal.
451     added --now option to force all actions to be performed now.
452
453 version 0.4 -- Dec 26 2004
454     added "when" option, so that all configs can specify when
455         they are to be run.
456     added reportsuccess and reportwarning config options
457     added .sys handler (hardware, packages, partitions).
458
459 version 0.3.4 -- Dec 8 2004
460     fixed numerical variable quoting compatibility with older wc
461     fixed stderr redirect bug
462     some comments in example.rdiff
463
464 version 0.3.3 -- Nov 10 2004
465     '*' (asterisk) works now in rdiff config files
466     works now with gawk as well as mawk
467     many bug fixes to ldap handler
468     paths to helper scripts can be configured in global config
469     does not require /usr/bin/stat
470
471 version 0.3.2 -- Sept 29 2004
472     handler scripts are no longer executable (to comply with debian policy)
473     handler error and warning messages are sent with the notify email
474
475 version 0.3.1 -- Sept 5 2004
476     added ldap handler
477     moved sh support to a handler script
478     add test mode, where no action is taken.
479     added --help
480     force only root can read /etc/backup.d/*
481     fixed missing equals symbols in example.rdiff
482     changed backupninja executable to be /usr/sbin rather than /usr/bin
483
484 version 0.3 -- Oct 20 2004
485     ** IMPORTANT ** all config files are now ini style, not apache style
486     rewrote all scripts in bash for portability
487     added drop-in backupninja lib directory (/usr/share/backupninja)
488     all scripts are now run as root
489
490 version 0.2 -- Oct 14 2004
491     move distribution folder ./cron.d to ./etc/cron.d
492     fixed bug: removed printr of excludes (!)
493     added support for changing the user/group in rdiff sources.
494     added support for .mysql config files.
495
496 version 0.1 -- Oct 8 2004
497     initial release
498