d9a6906a0a2b15510561ee1a4e97cedc0de006c4
[matthijs/upstream/backupninja.git] / ChangeLog
1 version 0.9.6 -- unreleased
2     backupninja changes
3          . fix bug in cstream definition, thanks Jamie McClelland
4          . Allow the entire backup run to be halted by an action, thanks to
5            Matthew Palmer (Closes: #455836)
6          . Fixed tr construct reporting a warning (Closes: #452669)
7     lib changes
8         vserver:
9          . added vservers_running function
10     handler changes
11         dup:
12          . General cleanup
13          . Better support for new duplicity (>= 0.4.4) command line syntax:
14            run remove-older-than when $keep is not set to yes (Closes: #458816),
15            and run "duplicity cleanup" before any other duplicity command; both
16            only trigger a warning on failure, since they should not stop backups
17            from being done. Also migrated full/incremental backup switch to the
18            new syntax.
19          . Support every duplicity-supported transport with new configuration
20            option desturl (Closes: #483712, #346040, Trac#2).
21          .
22         Actually allow to backup only VServers, by relaxing $include test.
23         ldap:
24          . support HDB backend just as the BDB one, and make message clearer
25            when no supported backend is found (Closes: #476910)
26         rdiff:
27          . Fixed ignore_version default value missing
28          . Add patch from Matthew Palmer to rdiff handler to incorporate sshoptions
29            into options via remote-schema not already specified (Closes: #424639)
30         wget:
31          . New handler from rhatto designed to incrementally pull content from
32            a website to a local folder, based on the rsync handler
33         maildir:
34          . fixed bug where maildirs that start with a number were skipped.
35          . make deleted maildirs record the date they were deleted
36          . add destid_file configuration option to enable you to specify an alternate
37            ssh public key authentication file (defaulting to /root/.ssh/id_rsa)
38         pgsql, mysql, svn, sys:
39          . use new vservers_running function from lib/vserver (factorization++)
40         sys:
41          . update for 2.6 kernels: use /proc/kallsyms instead of /proc/ksyms
42            (Closes: Trac#39)
43          . support selection of VServers to run on, in the same way as in the
44            dup handler, with the new vsnames configuration option ; (Closes: Trac#45)
45
46 version 0.9.5 -- December 2, 2007
47     backupninja changes
48          . Fixed checks on configuration files permissions, since the patch
49            applied to fix #370396 broke this, especially for configuration files
50            created with permissions 000 by an older ninjahelper version.
51          . Enhanced portability for other platforms
52          . Added quoting because it was needed to prevent shell expansion, broking the
53            toint function sometimes (Closes: Trac#11)
54          . Fixed reportspace option (Closes: Trac#10)
55          . Fixed ldap handler not recognizing database suffix (Closes: Trac#28)
56     handler changes
57         dup:
58          . Support duplicity >= 0.4.3 invocation syntax (--ssh-command option
59            is not supported anymore) (Closes: #447425)
60          . New tmpdir configuration option, very useful in case duplicity tends
61            to fill up /tmp.
62         ldap:
63          . Fixed shell command quoting issues, missing 'then' clauses, cleaned up
64            compress=yes to be less redundant and not create empty uncompressed
65            file (Closes: #394935)
66          . Fixed ninjahelper to properly set compress option, standardized on yes/no
67            instead of on/off
68          . Fixed problem that caused combination of slapcat and compress to not work
69            together (Closes: Trac#29)
70          . Applied patch from romain.tartiere@healthgrid.org to fix the SSL/TLS options
71            to be correct, also set TLS to be the default over SSL (Closes: Trac#13)
72         maildir:
73          . Added an examples file (Closes: Trac#23)
74          . Applied patch from Anarcat that fixes the cp/mkdir calls to not use GNU
75            coreutils options, as well as some bashisms (Closes: Trac#24)
76          . Fix test mode (Closes: Trac#25)
77         mysql:
78          . Fixed case where odd combination of configuration options caused sqldump
79            backups to get overwritten with an empty file (Closes: #402679)
80          . Added 'nodata' option to enable you to specify tables that you want to omit
81            the data from a backup, but still backup the table structure. This is very
82            useful in cases where tables contain large amounts of cache data. See the
83            example.mysql for options, thanks Daniel Bonniot (Closes: #408829)
84          . Enhance code for selecting databases by asking MySQL not to give us the
85            header (-N), to not draw pretty boxes around the output (-B), send the query
86            via -e instead of a pipe and ensure MySQL listens to -B. Thanks to
87            Matthew Palmer (Closes: #452039).
88         pgsql:
89          . Support configuring PGSQLUSER for real, and document it a bit; this
90            broken support actually prevented pgsql handler to work for VServers
91            (Closes: #396578)
92         rdiff-backup:
93          . Added cstream support to allow for bandwidth limiting
94          . Handle "keep = yes" to disable old backups removal (Closes: #424633)
95          . Add configuration option to allow you to disable the version check
96            as in some instances this may be an ok scenario (Closes: #424632)
97          . Added local destination support to helper (Closes: Trac#4)
98          . Allow exclude-only configurations (Closes: Trac#21)
99         rub/rsync
100          . Fixed typo in rub handler that caused it to not work
101          . Changed to use lib/vserver code
102          . Fixed fsck error
103          . Fixed integer comparison (Closes: Trac#3)
104          . Renamed handler to 'rsync', replaces outdated rub handler
105          . updated examples/Makefile.am and handlers/Makefile.am to include
106            rsnap/rsync (Closes: #440554)
107          . Added example.rsync configuration file
108         sys:
109          . Fixed typo breaking things for VServers.
110          . Fix bug when vrootdir is on its own partition (Closes: #395928)
111          . Better sfdisk error and output handling: should now properly warn
112            when it does not manage to backup a partition table, and shut up when
113            it succeeds (Closes: #396632)
114          . Added option to not use sfdisk at all, useful for vserver/xen instances
115            that produce warnings about no harddisks found (Closes: #404071)
116          . Fixed example in example.sys to detail the __star__ in partitionsfile and
117            note why its necessary (Closes: #409192)
118          . Force C locale for sfdisk to ensure english words are found in grep
119          . Make directory where output is placed configurable, and create the parent dir
120            if it doesn't exist (Closes: Trac#1)
121     ninjareport
122          . Added first draft of method to aggregate reports from many servers into
123            one email. Requires logtail, rsync, configuration of reporthost,
124            reportdirectory and reportuser in backupninja.conf. Configure cron to
125            run once a day, and individual backupninjas not to report by email their
126            status, then enjoy one email report from all hosts, rather than multiple
127     fixed 'make install' bug that failed if /etc/backup.d already existed
128     changed spaces to tabs in Makefile.am
129     updated redhat spec file (thanks Adam Monsen)
130
131 version 0.9.4 -- October 6th, 2006
132     backupninja changes
133          . Fixed bug in toint(), and thus isnow(), which caused it
134            to not work when run from cron.
135          . Recursively ignore subdirs in /etc/backup.d (Closes: #361102)
136          . Add admingroup option to configuration to allow a group that can
137            read/write configurations (instead of only allowing root). Checks
138            and complains about group-readable files only when the group differs
139            from the one in the configuration file (default is root as before).
140            Thanks to Martin Krafft for the patch (Closes: #370396).
141          . When determining which backup actions to make, find now follows
142            symlinks for $configdirectory
143          . Changed order of -s to mail for compatibility
144          . fixed permission stat call so it uses the --format supported by
145            coreutils (Closes: #382747)
146          . Added disk space report option (thanks Adam Kosmin)
147     handler changes
148         Added tar handler:
149          . create tarballs
150         Added rsnap handler:
151          . rotated rsync snapshops
152          . code from paulv@bikkel.org
153         Added rub handler:
154          . alternative to rsnap
155          . code from rhatto@riseup.net
156         mysql:
157          . Fixed improper use of $vuserhome (Closes: #351083)
158          . Fixed erroneous removal of tmpfile when it didn't exit
159          . Fixed inversed vsname emptiness check
160          . Fixed su quote usage to be more posixy
161          . Compress for sqldumps now happens in-line to save some disk space (Closes: #370778)
162          . Fixed --defaults-file now as --defaults-extra-file (thanks rhatto)
163         pgsql:
164          . Fixed inversed vsname emptiness check
165          . Fixed su quote usage to be more posixy
166          . Fixed shell expansion, thanks Thomas Kotzian (Closes: #363297)
167          . postgres user UID is now the one from inside the vserver if necessary
168          . Compress now happens in-line to save some disk space (Closes: #370778)
169          . $PGSQLUSER is used instead of hardcoding user 'postgres' (although this is the default)
170         svn:
171          . Fixed inversed vsname emptiness check
172         rdiff:
173          . Symlink and globbing support in include/exclude/vsinclude
174            clarification: globbing is fully supported again, whereas no attempt
175            is done to dereference symlinks anymore, due to incompatibilities
176            between various readlink versions in this field.
177          . Removed overzealous vsnames check
178          . Now works if testconnect=no and if $test is not defined.
179          . add $sshoptions config parameter in [dest] section of config so
180            connections to ports other than 22 can be made by adding the
181            following to the top of the handler config:
182            options = --remote-schema 'ssh -p REMOTE-PORT -C %s rdiff-backup
183            --server'
184         dup:
185          . Symlink and globbing support in include/exclude/vsinclude
186            clarification: globbing is fully supported again, whereas no attempt
187            is done to dereference symlinks anymore, due to incompatibilities
188            between various readlink versions in this field.
189          . Removed over zealous vsnames check
190          . Does not pretend anymore that duplicity can work without
191            any passphrase
192          . Support duplicity 0.4.2 (with Debian patches applied; upstream's
193            0.4.3 will integrate them); documented how to write sftp-compatible
194            sshoptions (Closes: #388543)
195          . Now forbid to (try to) include /.
196         sys:
197          . Many more system checks were added, (thanks to Petr Klíma)
198          . Added warning if no devices were found (thanks Ranier Zocholl)
199          . Enhanced debian package selections to include purged packages (thanks
200            Tom Hoover)
201          . Removed warning about vserver not running (thanks anarcat)
202         ldap:
203          . Compress now happens in-line to save some disk space (Closes: #370778)
204         makecd:
205          . Added nicelevel option (thanks rhatto)
206         trac:
207          . fixed problem when src was set to the trac repo directly (Closes: #382737)
208     lib changes
209         vserver:
210          . init_vservers: fixed Debian bug #351083 (improper readlink syntax)
211          . found_vservers: escaped special grep repetition character +
212          . forced mktemp to use a template with a name to be more compatible with
213            different versions of mktemp, thanks anarcat
214     ninjahelper changes
215          . Recursively ignore subdirs in /etc/backup.d (Closes: #361102)
216          . Fix configdirectory error that forced you to use /etc/backup.d, thanks anarcat
217          . When determining which backup actions to list, find now follows
218            symlinks for $configdirectory
219          . Stop checking helpers perms: both "make install" and distros packages
220            install them with appropriate permissions, it's overzealous to check
221            this at runtime, and is more complicated to do with current
222            admingroup option.
223         dup.helper:
224          . Fix: signing was enabled with symmetric encryption.
225     changed cron permissions to 644
226     changed /etc/backup.d permissions to 0770 (for admingroup)
227     minor documentation fixes
228     improved RPM build process allowing 'make rpm-package' and 'make
229     srpm-package' targets, also fixes permissions on man directories,
230     cleans up RPM-related files during distclean, and adds default
231     EDITOR for "autogen.sh -f" if none is set. (thanks Robert Napier)
232
233 version 0.9.3 -- February 1st, 2006
234     autotools fixes
235     backupninja changes
236         backupninja.conf
237          . added (commented out) the various default paths to
238            programs such as PGSQLDUMP, so that users can figure
239            out more easily they can customize them
240         code refactor:
241          . now uses vservers lib to initialize vservers support
242     handler changes
243         duplicity, mysql, pgsql, rdiff, svn, sys: start to use (at different
244            degrees) new lib/vserver functionality
245         mysql:
246          . fixed no user defaults file processing
247         duplicity:
248          . fixed (again...) globbing in include and exclude options (Debian bug
249            #348022, follow-up to #338796)
250          . warn if vsnames or vsinclude is enabled while vservers support is
251            disabled in backupninja.conf
252          . now works when multiple vservers names are given (separated by space)
253            in vsnames config variable
254         rdiff
255          . fixed globbing bug in include, exclude and vsinclude options
256          . it's now possible to choose exactly which vservers should be
257            backed-up, as it already was with duplicity handler, with the
258            "vsnames" configuration setting
259     ninjahelper changes
260         rdiff.helper:
261          . fixed errors in create remote dir
262          . code formatting cleanup (three spaces indent)
263          . fixed bug which caused only first include/exclude dir to
264            have "include = "
265          . fixed globbing bug with exclude
266         ninjahelper:
267          . now reports error if the helper script has a syntax error or bombs out.
268          . code formatting cleanup (three spaces indent)
269     lib changes
270         vserver:
271          . init_vservers: improved VROOTDIR detection
272          . init_vservers: test in a stricter way the real vservers availability
273          . init_vservers: canonicalize VROOTDIR (since duplicity et al.
274            don't follow symlinks)
275          . init_vservers: warn if vservers are enabled but no vserver is found
276          . new function: vservers_exist
277     known bugs:
278         easydialog:
279          . formDisplay does not return exit status.
280
281 version 0.9.2 -- December 29, 2005
282     backupninja changes
283         fixed broken toint() which caused when "everyday" problems
284         backupninja.conf.5 updated to include "when" and "vservers"
285         code refactor:
286             . moved to lib/ some code that has to be shared between
287               backupninja and ninjahelper
288     handler changes
289         trac:
290             . mkdir subdirectory problem fixed
291         duplicity:
292             . globbing support fixed in include and exclude options
293             . different signing and encrypting key support added
294             . fixed erroneous comments in example.dup about the way
295               GnuPG-related options are used
296         mysql:
297             . handler vserver bugs fixed and debug output enhanced
298     ninjahelper(s) changes
299         vserver-related functions added to lib/vservers.in
300         added man/ninjahelper.1 man page
301         makecd:
302             . was missing in Makefile.am/.in
303         rdiff-backup:
304             . used to expand '*' in default source directories
305             . the "Cancel" buttons used to have a weird behaviour
306             . updated to include Vserver selection
307         pgsql:
308             . forbid the user to choose an empty database set
309             . "Cancel" button now does what it is meant to do
310         mysql:
311             . enhanced for vserver support
312             . now able to select databases and dump directory
313         duplicity:
314             . new handler added (with Vserver support)
315
316 version 0.9.1 -- November 05 2005
317     rearranged source so that it is relocatable with autotools
318         (thanks to Petr Klíma petr.klima@madeta-group.cz)
319     fixed many bugs in rdiff helper
320     rdiff handler does not require 'label' (for real this time?)
321     added makecd ninjahelper
322         (thanks to Stefani stefani@riseup.net)
323     made ninjahelper create files with mode 600 rather than 000
324     changed subversion handler to use svnadmin hotcopy instead of
325             the unsupported hot-copy.py script, which was moved in Debian
326     update rdiff ninjahelper
327             now detects and auto-install rdiff-backup on the remote
328             machine if possible, also tests the remote backup directory
329             and offers to create it if it doesn't exist
330
331 version 0.9 -- October 19 2005
332     *** IMPORTANT CHANGE, UPGRADE AT ONCE ***
333      fixed insecure temporary file creation
334     *****************************************
335     removed erroneous magic file marker in pgsql handler
336     fixed incorrect find positional
337     changed direct grep of /etc/passwd to getent passwd.
338     rdiff helper has much better information on failed ssh attempt
339         (patch from cmccallum@thecsl.org).
340     rdiff handler now supports remote source and local dest.
341         (patch from cmccallum@thecsl.org).
342     man pages are greatly improved.
343
344 version 0.8 -- September 15 2005
345     added pgsql (PostgreSQL) handler, with vservers support.
346     added vservers support to duplicity handler
347         Note: the configuration is a bit different than the rdiff
348         handler's one, but the default behavior is the same:
349         have a look at example.dup.
350     improved README
351     documented .disabled method.
352     corrected VROOTDIR default value.
353     added ninjahelper to the install instructions.
354     improved rdiff, dup and sys handlers' vservers support
355         prevent vserver-debiantools' $VROOTDIR/ARCHIVES directory
356         to be seen as a vserver
357     changes to sys handler
358         make use of configurable $VSERVERINFO instead of hard-coded vserver-info.
359         fixed dpkg existence test inside vserver.
360         fixed $nodpkg use.
361     changes to pgsql handler
362         now checks if the specified vserver is running.
363         now checks if $PGSQLDUMP/$PGSQLDUMPALL are available where needed.
364         now checks if "postgres" user exists on the host/vserver.
365     changes to ninjahelper
366         check_perms() does not die anymore on group/world readable
367         helper scripts (now consistent with the "helper scripts
368         must not be group or world writable!" error msg).
369     xedit action now tries $EDITOR, then /etc/alternatives/editor,
370         then nano, vim and vi, and aborts if none of these exists.
371     added helper for pgsql handler.
372     rdiff handler now does not require 'label'
373     changes to mysql and svn handlers' vservers support
374         these handlers now check if the source vserver is running
375     added 'ignores' for mysql handler. (thanks Daniel.Bonniot@inria.fr)
376
377 version 0.7 -- July 26 2005
378     added ninjahelper: a dialog based wizard for creating backupninja configs.
379     considerably improved and changed the log file output.
380     you can now disable actions with .disabled (this is new preferred method).
381     added makecd handler and example.makecd for backing up to cd/dvd (thanks stef).
382     fixed bug when specifying multiple 'when' options.
383
384 version 0.6 -- June 16 2005
385     ldap handler has new options: backup method to use (ldapsearch or
386         slapcat), restart, passwordfile and binddn. Default backup method
387         is set to ldapsearch as this is safer
388     ******************************************************************
389     NOTE: to get the previous default behavior with the ldap handler,
390     you must set "method = slapcat". The new default is ldapsearch.
391     ******************************************************************
392     implemented fix so that the main script will echo fatal errors rather
393         than being silent about them, this means an error message every hour
394         if there is a major configuration problem (not a handler problem)
395     added vserver support to main script and to the handlers: mysql, svn, sys, rdiff
396     changes to duplicity handler (thanks intrigeri!):
397         "keep = yes" now disables file cleaning on desthost
398         added "sign" option for backups signing
399         added "encryptkey" option to specify the gpg key to use
400         split config into [source], [gpg] and [dest] sections
401         added "nicelevel" option
402         added "testconnect" option
403         added "sshoptions" option (will be passed to ssh/scp)
404         added "bandwidthlimit" option
405     example.dup example config file for duplicity handler
406     added trac (http://trac.edgewall.com/) environment handler (thanks Charles Lepple!)
407     added configfile option to mysql handler
408         the default is /etc/mysql/debian.cnf. with this,
409         sqldump doesn't need dbusername. (hotcopy still does).
410     fixed bug in mysql handler which caused some passwords to not work.
411         (.my.cnf files now have double quotes around password)
412     can now pass options to hwinfo and sfdisk in sys handler.
413
414 version 0.5 -- April 12 2005
415     rdiff handler works when remote sshd has a banner
416     rdiff handler supports local dest
417     logfile is created if it doesn't exist
418     added "when = hourly"
419     added optional 'nicelevel' to rdiff handler
420     fixed bug where actions were not run in numeric order.
421     improved 'when' parsing.
422
423 version 0.4.4 -- March 18 2005
424     results of handlers are now read line by line.
425     changes to rdiff handler: added "options", and "keep" is
426         not necessarily days now (ie, it will pass straight through to
427         rdiff-backup if the keep has a unit on it, otherwise it adds the 'D').
428     added dup handler (still pretty beta)
429     added maildir handler (very specialized handler)
430     added --run option (runs the specified action file)
431     improved sys handler, now uses hwinfo
432     added subversion hotbackup handler, svn.
433     added PATH to cron.d file, which fixes file not found errors.
434
435 version 0.4.2 -- Jan 6 2005
436     fixed bug which caused a report email to be sent even if no actions were run.
437     fixed bug where multiple handler status messages were ignored
438     added status in the subject line of report emails
439
440 version 0.4.1 -- Jan 3 2005
441     added $usecolors and now more conservative about when colors are echoed.
442     fixed major bug, 'when' actually works now.
443     replaced debug function with debug, info, warning, error, fatal.
444     added --now option to force all actions to be performed now.
445
446 version 0.4 -- Dec 26 2004
447     added "when" option, so that all configs can specify when
448         they are to be run.
449     added reportsuccess and reportwarning config options
450     added .sys handler (hardware, packages, partitions).
451
452 version 0.3.4 -- Dec 8 2004
453     fixed numerical variable quoting compatibility with older wc
454     fixed stderr redirect bug
455     some comments in example.rdiff
456
457 version 0.3.3 -- Nov 10 2004
458     '*' (asterisk) works now in rdiff config files
459     works now with gawk as well as mawk
460     many bug fixes to ldap handler
461     paths to helper scripts can be configured in global config
462     does not require /usr/bin/stat
463
464 version 0.3.2 -- Sept 29 2004
465     handler scripts are no longer executable (to comply with debian policy)
466     handler error and warning messages are sent with the notify email
467
468 version 0.3.1 -- Sept 5 2004
469     added ldap handler
470     moved sh support to a handler script
471     add test mode, where no action is taken.
472     added --help
473     force only root can read /etc/backup.d/*
474     fixed missing equals symbols in example.rdiff
475     changed backupninja executable to be /usr/sbin rather than /usr/bin
476
477 version 0.3 -- Oct 20 2004
478     ** IMPORTANT ** all config files are now ini style, not apache style
479     rewrote all scripts in bash for portability
480     added drop-in backupninja lib directory (/usr/share/backupninja)
481     all scripts are now run as root
482
483 version 0.2 -- Oct 14 2004
484     move distribution folder ./cron.d to ./etc/cron.d
485     fixed bug: removed printr of excludes (!)
486     added support for changing the user/group in rdiff sources.
487     added support for .mysql config files.
488
489 version 0.1 -- Oct 8 2004
490     initial release
491