fixed Trac#29 causing slapcat + gzip not to work
[matthijs/upstream/backupninja.git] / ChangeLog
1 version 0.9.5 -- unreleased
2     ninjareport
3          . Added first draft of method to aggregate reports from many servers into
4            one email. Requires logtail, rsync, configuration of reporthost,
5            reportdirectory and reportuser in backupninja.conf. Configure cron to
6            run once a day, and individual backupninjas not to report by email their
7            status, then enjoy one email report from all hosts, rather than multiple
8     backupninja changes
9          . Fixed checks on configuration files permissions, since the patch
10            applied to fix #370396 broke this, especially for configuration files
11            created with permissions 000 by an older ninjahelper version.
12          . Enhanced portability for other platforms
13          . Added quoting because it was needed to prevent shell expansion, broking the
14            toint function sometimes (Closes: Trac#11)
15          . Fixed reportspace option (Closes: Trac#10)
16     handler changes
17         dup:
18          . Support duplicity >= 0.4.3 invocation syntax (--ssh-command option
19            is not supported anymore)
20         ldap:
21          . Fixed shell command quoting issues, missing 'then' clauses, cleaned up
22            compress=yes to be less redundant and not create empty uncompressed
23            file (Closes: #394935)
24          . Fixed ninjahelper to properly set compress option, standardized on yes/no
25            instead of on/off
26          . Fixed problem that caused combination of slapcat and compress to not work
27            together (Closes: Trac#29)
28         maildir:
29          . Added an examples file (Closes: Trac#23)
30         mysql:
31          . Fixed case where odd combination of configuration options caused sqldump
32            backups to get overwritten with an empty file (Closes: #402679)
33          . Added 'nodata' option to enable you to specify tables that you want to omit
34            the data from a backup, but still backup the table structure. This is very
35            useful in cases where tables contain large amounts of cache data. See the
36            example.mysql for options, thanks Daniel Bonniot (Closes: #408829)
37          . Enhance code for selecting databases by asking MySQL not to give us the 
38            header (-N), to not draw pretty boxes around the output (-B), send the query 
39            via -e instead of a pipe and ensure MySQL listens to -B. Thanks to
40            Matthew Palmer (Closes: #452039).
41         pgsql:
42          . Support configuring PGSQLUSER for real, and document it a bit; this
43            broken support actually prevented pgsql handler to work for VServers
44            (Closes: #396578)
45         rdiff-backup:
46          . Added cstream support to allow for bandwidth limiting
47          . Handle "keep = yes" to disable old backups removal (Closes: #424633)
48          . Add configuration option to allow you to disable the version check
49            as in some instances this may be an ok scenario (Closes: #424632)
50          . Added local destination support to helper (Closes: Trac#4)
51         rub/rsync
52          . Fixed typo in rub handler that caused it to not work
53          . Changed to use lib/vserver code
54          . Fixed fsck error
55          . Fixed integer comparison (Closes: Trac#3)
56          . Renamed handler to 'rsync', replaces outdated rub handler
57          . updated examples/Makefile.am and handlers/Makefile.am to include
58            rsnap/rsync (Closes: #440554)
59          . Added example.rsync configuration file
60         sys:
61          . Fixed typo breaking things for VServers.
62          . Fix bug when vrootdir is on its own partition (Closes: #395928)
63          . Better sfdisk error and output handling: should now properly warn
64            when it does not manage to backup a partition table, and shut up when
65            it succeeds (Closes: #396632)
66          . Added option to not use sfdisk at all, useful for vserver/xen instances
67            that produce warnings about no harddisks found (Closes: #404071)
68          . Fixed example in example.sys to detail the __star__ in partitionsfile and
69            note why its necessary (Closes: #409192)
70          . Force C locale for sfdisk to ensure english words are found in grep
71          . Make directory where output is placed configurable, and create the parent dir 
72            if it doesn't exist (Closes: Trac#1)
73     fixed 'make install' bug that failed if /etc/backup.d already existed
74     changed spaces to tabs in Makefile.am
75     
76
77 version 0.9.4 -- October 6th, 2006
78     backupninja changes
79          . Fixed bug in toint(), and thus isnow(), which caused it
80            to not work when run from cron.
81          . Recursively ignore subdirs in /etc/backup.d (Closes: #361102)
82          . Add admingroup option to configuration to allow a group that can
83            read/write configurations (instead of only allowing root). Checks
84            and complains about group-readable files only when the group differs
85            from the one in the configuration file (default is root as before). 
86            Thanks to Martin Krafft for the patch (Closes: #370396).
87          . When determining which backup actions to make, find now follows
88            symlinks for $configdirectory
89          . Changed order of -s to mail for compatibility
90          . fixed permission stat call so it uses the --format supported by
91            coreutils (Closes: #382747)
92          . Added disk space report option (thanks Adam Kosmin)
93     handler changes
94         Added tar handler:
95          . create tarballs
96         Added rsnap handler:
97          . rotated rsync snapshops
98          . code from paulv@bikkel.org
99         Added rub handler: 
100          . alternative to rsnap
101          . code from rhatto@riseup.net
102         mysql:
103          . Fixed improper use of $vuserhome (Closes: #351083)
104          . Fixed erroneous removal of tmpfile when it didn't exit
105          . Fixed inversed vsname emptiness check
106          . Fixed su quote usage to be more posixy
107          . Compress for sqldumps now happens in-line to save some disk space (Closes: #370778)
108          . Fixed --defaults-file now as --defaults-extra-file (thanks rhatto)
109         pgsql:
110          . Fixed inversed vsname emptiness check
111          . Fixed su quote usage to be more posixy
112          . Fixed shell expansion, thanks Thomas Kotzian (Closes: #363297)
113          . postgres user UID is now the one from inside the vserver if necessary
114          . Compress now happens in-line to save some disk space (Closes: #370778)
115          . $PGSQLUSER is used instead of hardcoding user 'postgres' (although this is the default) 
116         svn:
117          . Fixed inversed vsname emptiness check
118         rdiff:
119          . Symlink and globbing support in include/exclude/vsinclude
120            clarification: globbing is fully supported again, whereas no attempt
121            is done to dereference symlinks anymore, due to incompatibilities
122            between various readlink versions in this field.
123          . Removed overzealous vsnames check
124          . Now works if testconnect=no and if $test is not defined.
125          . add $sshoptions config parameter in [dest] section of config so
126            connections to ports other than 22 can be made by adding the
127            following to the top of the handler config:
128            options = --remote-schema 'ssh -p REMOTE-PORT -C %s rdiff-backup
129            --server'
130         dup:
131          . Symlink and globbing support in include/exclude/vsinclude
132            clarification: globbing is fully supported again, whereas no attempt
133            is done to dereference symlinks anymore, due to incompatibilities
134            between various readlink versions in this field.
135          . Removed over zealous vsnames check
136          . Does not pretend anymore that duplicity can work without
137            any passphrase
138          . Support duplicity 0.4.2 (with Debian patches applied; upstream's
139            0.4.3 will integrate them); documented how to write sftp-compatible
140            sshoptions (Closes: #388543)
141          . Now forbid to (try to) include /.
142         sys:
143          . Many more system checks were added, (thanks to Petr Klíma)
144          . Added warning if no devices were found (thanks Ranier Zocholl)
145          . Enhanced debian package selections to include purged packages (thanks
146            Tom Hoover)
147          . Removed warning about vserver not running (thanks anarcat)
148         ldap:
149          . Compress now happens in-line to save some disk space (Closes: #370778)
150         makecd:
151          . Added nicelevel option (thanks rhatto)
152         trac:
153          . fixed problem when src was set to the trac repo directly (Closes: #382737)
154     lib changes
155         vserver:
156          . init_vservers: fixed Debian bug #351083 (improper readlink syntax)
157          . found_vservers: escaped special grep repetition character +
158          . forced mktemp to use a template with a name to be more compatible with 
159            different versions of mktemp, thanks anarcat
160     ninjahelper changes
161          . Recursively ignore subdirs in /etc/backup.d (Closes: #361102)
162          . Fix configdirectory error that forced you to use /etc/backup.d, thanks anarcat
163          . When determining which backup actions to list, find now follows
164            symlinks for $configdirectory
165          . Stop checking helpers perms: both "make install" and distros packages
166            install them with appropriate permissions, it's overzealous to check
167            this at runtime, and is more complicated to do with current
168            admingroup option.
169         dup.helper:
170          . Fix: signing was enabled with symmetric encryption.
171     changed cron permissions to 644
172     changed /etc/backup.d permissions to 0770 (for admingroup)
173     minor documentation fixes
174     improved RPM build process allowing 'make rpm-package' and 'make
175     srpm-package' targets, also fixes permissions on man directories, 
176     cleans up RPM-related files during distclean, and adds default
177     EDITOR for "autogen.sh -f" if none is set. (thanks Robert Napier)
178
179 version 0.9.3 -- February 1st, 2006
180     autotools fixes
181     backupninja changes
182         backupninja.conf
183          . added (commented out) the various default paths to
184            programs such as PGSQLDUMP, so that users can figure
185            out more easily they can customize them
186         code refactor:
187          . now uses vservers lib to initialize vservers support
188     handler changes
189         duplicity, mysql, pgsql, rdiff, svn, sys: start to use (at different
190            degrees) new lib/vserver functionality
191         mysql:
192          . fixed no user defaults file processing
193         duplicity:
194          . fixed (again...) globbing in include and exclude options (Debian bug
195            #348022, follow-up to #338796)
196          . warn if vsnames or vsinclude is enabled while vservers support is
197            disabled in backupninja.conf
198          . now works when multiple vservers names are given (separated by space)
199            in vsnames config variable
200         rdiff
201          . fixed globbing bug in include, exclude and vsinclude options
202          . it's now possible to choose exactly which vservers should be
203            backed-up, as it already was with duplicity handler, with the
204            "vsnames" configuration setting
205     ninjahelper changes
206         rdiff.helper:
207          . fixed errors in create remote dir
208          . code formatting cleanup (three spaces indent)
209          . fixed bug which caused only first include/exclude dir to
210            have "include = "
211          . fixed globbing bug with exclude
212         ninjahelper:
213          . now reports error if the helper script has a syntax error or bombs out.
214          . code formatting cleanup (three spaces indent)
215     lib changes
216         vserver:
217          . init_vservers: improved VROOTDIR detection
218          . init_vservers: test in a stricter way the real vservers availability
219          . init_vservers: canonicalize VROOTDIR (since duplicity et al.
220            don't follow symlinks)
221          . init_vservers: warn if vservers are enabled but no vserver is found
222          . new function: vservers_exist
223     known bugs:
224         easydialog: 
225          . formDisplay does not return exit status.
226
227 version 0.9.2 -- December 29, 2005
228     backupninja changes
229         fixed broken toint() which caused when "everyday" problems
230         backupninja.conf.5 updated to include "when" and "vservers"
231         code refactor:
232             . moved to lib/ some code that has to be shared between
233               backupninja and ninjahelper
234     handler changes
235         trac:
236             . mkdir subdirectory problem fixed
237         duplicity:
238             . globbing support fixed in include and exclude options 
239             . different signing and encrypting key support added
240             . fixed erroneous comments in example.dup about the way
241               GnuPG-related options are used
242         mysql:
243             . handler vserver bugs fixed and debug output enhanced
244     ninjahelper(s) changes
245         vserver-related functions added to lib/vservers.in
246         added man/ninjahelper.1 man page
247         makecd:
248             . was missing in Makefile.am/.in
249         rdiff-backup:
250             . used to expand '*' in default source directories
251             . the "Cancel" buttons used to have a weird behaviour
252             . updated to include Vserver selection 
253         pgsql:
254             . forbid the user to choose an empty database set 
255             . "Cancel" button now does what it is meant to do
256         mysql:
257             . enhanced for vserver support 
258             . now able to select databases and dump directory
259         duplicity:
260             . new handler added (with Vserver support)
261
262 version 0.9.1 -- November 05 2005
263     rearranged source so that it is relocatable with autotools
264         (thanks to Petr Klíma petr.klima@madeta-group.cz)
265     fixed many bugs in rdiff helper
266     rdiff handler does not require 'label' (for real this time?)
267     added makecd ninjahelper
268         (thanks to Stefani stefani@riseup.net)
269     made ninjahelper create files with mode 600 rather than 000
270     changed subversion handler to use svnadmin hotcopy instead of
271             the unsupported hot-copy.py script, which was moved in Debian
272     update rdiff ninjahelper
273             now detects and auto-install rdiff-backup on the remote 
274             machine if possible, also tests the remote backup directory
275             and offers to create it if it doesn't exist
276
277 version 0.9 -- October 19 2005
278     *** IMPORTANT CHANGE, UPGRADE AT ONCE ***
279      fixed insecure temporary file creation 
280     *****************************************
281     removed erroneous magic file marker in pgsql handler
282     fixed incorrect find positional
283     changed direct grep of /etc/passwd to getent passwd.
284     rdiff helper has much better information on failed ssh attempt
285         (patch from cmccallum@thecsl.org).
286     rdiff handler now supports remote source and local dest. 
287         (patch from cmccallum@thecsl.org).
288     man pages are greatly improved.
289
290 version 0.8 -- September 15 2005
291     added pgsql (PostgreSQL) handler, with vservers support.
292     added vservers support to duplicity handler
293         Note: the configuration is a bit different than the rdiff
294         handler's one, but the default behavior is the same:
295         have a look at example.dup.
296     improved README
297     documented .disabled method.
298     corrected VROOTDIR default value.
299     added ninjahelper to the install instructions.
300     improved rdiff, dup and sys handlers' vservers support
301         prevent vserver-debiantools' $VROOTDIR/ARCHIVES directory
302         to be seen as a vserver
303     changes to sys handler
304         make use of configurable $VSERVERINFO instead of hard-coded vserver-info.
305         fixed dpkg existence test inside vserver.
306         fixed $nodpkg use.
307     changes to pgsql handler
308         now checks if the specified vserver is running.
309         now checks if $PGSQLDUMP/$PGSQLDUMPALL are available where needed.
310         now checks if "postgres" user exists on the host/vserver.
311     changes to ninjahelper
312         check_perms() does not die anymore on group/world readable
313         helper scripts (now consistent with the "helper scripts
314         must not be group or world writable!" error msg).
315     xedit action now tries $EDITOR, then /etc/alternatives/editor,
316         then nano, vim and vi, and aborts if none of these exists.
317     added helper for pgsql handler.
318     rdiff handler now does not require 'label'
319     changes to mysql and svn handlers' vservers support
320         these handlers now check if the source vserver is running
321     added 'ignores' for mysql handler. (thanks Daniel.Bonniot@inria.fr)
322
323 version 0.7 -- July 26 2005
324     added ninjahelper: a dialog based wizard for creating backupninja configs.
325     considerably improved and changed the log file output.
326     you can now disable actions with .disabled (this is new preferred method).
327     added makecd handler and example.makecd for backing up to cd/dvd (thanks stef).
328     fixed bug when specifying multiple 'when' options.
329
330 version 0.6 -- June 16 2005
331     ldap handler has new options: backup method to use (ldapsearch or
332         slapcat), restart, passwordfile and binddn. Default backup method
333         is set to ldapsearch as this is safer
334     ******************************************************************
335     NOTE: to get the previous default behavior with the ldap handler, 
336     you must set "method = slapcat". The new default is ldapsearch.
337     ******************************************************************
338     implemented fix so that the main script will echo fatal errors rather
339         than being silent about them, this means an error message every hour
340         if there is a major configuration problem (not a handler problem)
341     added vserver support to main script and to the handlers: mysql, svn, sys, rdiff
342     changes to duplicity handler (thanks intrigeri!):
343         "keep = yes" now disables file cleaning on desthost
344         added "sign" option for backups signing
345         added "encryptkey" option to specify the gpg key to use
346         split config into [source], [gpg] and [dest] sections
347         added "nicelevel" option
348         added "testconnect" option
349         added "sshoptions" option (will be passed to ssh/scp)
350         added "bandwidthlimit" option
351     example.dup example config file for duplicity handler 
352     added trac (http://trac.edgewall.com/) environment handler (thanks Charles Lepple!)
353     added configfile option to mysql handler
354         the default is /etc/mysql/debian.cnf. with this, 
355         sqldump doesn't need dbusername. (hotcopy still does).
356     fixed bug in mysql handler which caused some passwords to not work.
357         (.my.cnf files now have double quotes around password)
358     can now pass options to hwinfo and sfdisk in sys handler.
359
360 version 0.5 -- April 12 2005
361     rdiff handler works when remote sshd has a banner
362     rdiff handler supports local dest 
363     logfile is created if it doesn't exist
364     added "when = hourly" 
365     added optional 'nicelevel' to rdiff handler
366     fixed bug where actions were not run in numeric order.
367     improved 'when' parsing.
368
369 version 0.4.4 -- March 18 2005
370     results of handlers are now read line by line. 
371     changes to rdiff handler: added "options", and "keep" is
372         not necessarily days now (ie, it will pass straight through to
373         rdiff-backup if the keep has a unit on it, otherwise it adds the 'D').
374     added dup handler (still pretty beta)
375     added maildir handler (very specialized handler)
376     added --run option (runs the specified action file)
377     improved sys handler, now uses hwinfo
378     added subversion hotbackup handler, svn. 
379     added PATH to cron.d file, which fixes file not found errors.
380
381 version 0.4.2 -- Jan 6 2005
382     fixed bug which caused a report email to be sent even if no actions were run.
383     fixed bug where multiple handler status messages were ignored
384     added status in the subject line of report emails
385
386 version 0.4.1 -- Jan 3 2005
387     added $usecolors and now more conservative about when colors are echoed.
388     fixed major bug, 'when' actually works now.
389     replaced debug function with debug, info, warning, error, fatal.
390     added --now option to force all actions to be performed now.
391     
392 version 0.4 -- Dec 26 2004
393     added "when" option, so that all configs can specify when
394         they are to be run.
395     added reportsuccess and reportwarning config options
396     added .sys handler (hardware, packages, partitions).
397
398 version 0.3.4 -- Dec 8 2004
399     fixed numerical variable quoting compatibility with older wc    
400     fixed stderr redirect bug
401     some comments in example.rdiff
402
403 version 0.3.3 -- Nov 10 2004
404     '*' (asterisk) works now in rdiff config files
405     works now with gawk as well as mawk
406     many bug fixes to ldap handler
407     paths to helper scripts can be configured in global config
408     does not require /usr/bin/stat
409
410 version 0.3.2 -- Sept 29 2004
411     handler scripts are no longer executable (to comply with debian policy)
412     handler error and warning messages are sent with the notify email
413
414 version 0.3.1 -- Sept 5 2004
415     added ldap handler
416     moved sh support to a handler script
417     add test mode, where no action is taken.
418     added --help
419     force only root can read /etc/backup.d/*
420     fixed missing equals symbols in example.rdiff
421     changed backupninja executable to be /usr/sbin rather than /usr/bin
422     
423 version 0.3 -- Oct 20 2004
424     ** IMPORTANT ** all config files are now ini style, not apache style
425     rewrote all scripts in bash for portability
426     added drop-in backupninja lib directory (/usr/share/backupninja)
427     all scripts are now run as root
428
429 version 0.2 -- Oct 14 2004
430     move distribution folder ./cron.d to ./etc/cron.d
431     fixed bug: removed printr of excludes (!)
432     added support for changing the user/group in rdiff sources.
433     added support for .mysql config files.
434     
435 version 0.1 -- Oct 8 2004
436     initial release 
437