pgsql, mysql, svn: use new vservers_running function from lib/vserver (factorization++)
[matthijs/upstream/backupninja.git] / ChangeLog
1 version 0.9.6 -- unreleased
2     backupninja changes
3          . fix bug in cstream definition, thanks Jamie McClelland
4          . Allow the entire backup run to be halted by an action, thanks to
5            Matthew Palmer (Closes: #455836)
6          . Fixed tr construct reporting a warning (Closes: #452669)
7     lib changes
8         vserver:
9          . added vservers_running function
10     handler changes
11         dup:
12          . General cleanup
13          . Better support for new duplicity (>= 0.4.4) command line syntax:
14            run remove-older-than when $keep is not set to yes (Closes: #458816),
15            and run "duplicity cleanup" before any other duplicity command; both
16            only trigger a warning on failure, since they should not stop backups
17            from being done. Also migrated full/incremental backup switch to the
18            new syntax.
19          . Support every duplicity-supported transport with new configuration
20            option desturl (Closes: #483712, #346040, Trac#2).
21          .
22         Actually allow to backup only VServers, by relaxing $include test.
23         ldap:
24          . support HDB backend just as the BDB one, and make message clearer
25            when no supported backend is found (Closes: #476910)
26         rdiff:
27          . Fixed ignore_version default value missing
28          . Add patch from Matthew Palmer to rdiff handler to incorporate sshoptions
29            into options via remote-schema not already specified (Closes: #424639)
30         wget:
31          . New handler from rhatto designed to incrementally pull content from
32            a website to a local folder, based on the rsync handler
33         maildir:
34          . fixed bug where maildirs that start with a number were skipped.
35          . make deleted maildirs record the date they were deleted
36          . add destid_file configuration option to enable you to specify an alternate
37            ssh public key authentication file (defaulting to /root/.ssh/id_rsa)
38         pgsql, mysql, svn:
39          . use new vservers_running function from lib/vserver (factorization++)
40         sys:
41          . update for 2.6 kernels: use /proc/kallsyms instead of /proc/ksyms
42            (Closes: Trac#39)
43          . use new vservers_running function from lib/vserver
44
45 version 0.9.5 -- December 2, 2007
46     backupninja changes
47          . Fixed checks on configuration files permissions, since the patch
48            applied to fix #370396 broke this, especially for configuration files
49            created with permissions 000 by an older ninjahelper version.
50          . Enhanced portability for other platforms
51          . Added quoting because it was needed to prevent shell expansion, broking the
52            toint function sometimes (Closes: Trac#11)
53          . Fixed reportspace option (Closes: Trac#10)
54          . Fixed ldap handler not recognizing database suffix (Closes: Trac#28)
55     handler changes
56         dup:
57          . Support duplicity >= 0.4.3 invocation syntax (--ssh-command option
58            is not supported anymore) (Closes: #447425)
59          . New tmpdir configuration option, very useful in case duplicity tends
60            to fill up /tmp.
61         ldap:
62          . Fixed shell command quoting issues, missing 'then' clauses, cleaned up
63            compress=yes to be less redundant and not create empty uncompressed
64            file (Closes: #394935)
65          . Fixed ninjahelper to properly set compress option, standardized on yes/no
66            instead of on/off
67          . Fixed problem that caused combination of slapcat and compress to not work
68            together (Closes: Trac#29)
69          . Applied patch from romain.tartiere@healthgrid.org to fix the SSL/TLS options
70            to be correct, also set TLS to be the default over SSL (Closes: Trac#13)
71         maildir:
72          . Added an examples file (Closes: Trac#23)
73          . Applied patch from Anarcat that fixes the cp/mkdir calls to not use GNU
74            coreutils options, as well as some bashisms (Closes: Trac#24)
75          . Fix test mode (Closes: Trac#25)
76         mysql:
77          . Fixed case where odd combination of configuration options caused sqldump
78            backups to get overwritten with an empty file (Closes: #402679)
79          . Added 'nodata' option to enable you to specify tables that you want to omit
80            the data from a backup, but still backup the table structure. This is very
81            useful in cases where tables contain large amounts of cache data. See the
82            example.mysql for options, thanks Daniel Bonniot (Closes: #408829)
83          . Enhance code for selecting databases by asking MySQL not to give us the
84            header (-N), to not draw pretty boxes around the output (-B), send the query
85            via -e instead of a pipe and ensure MySQL listens to -B. Thanks to
86            Matthew Palmer (Closes: #452039).
87         pgsql:
88          . Support configuring PGSQLUSER for real, and document it a bit; this
89            broken support actually prevented pgsql handler to work for VServers
90            (Closes: #396578)
91         rdiff-backup:
92          . Added cstream support to allow for bandwidth limiting
93          . Handle "keep = yes" to disable old backups removal (Closes: #424633)
94          . Add configuration option to allow you to disable the version check
95            as in some instances this may be an ok scenario (Closes: #424632)
96          . Added local destination support to helper (Closes: Trac#4)
97          . Allow exclude-only configurations (Closes: Trac#21)
98         rub/rsync
99          . Fixed typo in rub handler that caused it to not work
100          . Changed to use lib/vserver code
101          . Fixed fsck error
102          . Fixed integer comparison (Closes: Trac#3)
103          . Renamed handler to 'rsync', replaces outdated rub handler
104          . updated examples/Makefile.am and handlers/Makefile.am to include
105            rsnap/rsync (Closes: #440554)
106          . Added example.rsync configuration file
107         sys:
108          . Fixed typo breaking things for VServers.
109          . Fix bug when vrootdir is on its own partition (Closes: #395928)
110          . Better sfdisk error and output handling: should now properly warn
111            when it does not manage to backup a partition table, and shut up when
112            it succeeds (Closes: #396632)
113          . Added option to not use sfdisk at all, useful for vserver/xen instances
114            that produce warnings about no harddisks found (Closes: #404071)
115          . Fixed example in example.sys to detail the __star__ in partitionsfile and
116            note why its necessary (Closes: #409192)
117          . Force C locale for sfdisk to ensure english words are found in grep
118          . Make directory where output is placed configurable, and create the parent dir
119            if it doesn't exist (Closes: Trac#1)
120     ninjareport
121          . Added first draft of method to aggregate reports from many servers into
122            one email. Requires logtail, rsync, configuration of reporthost,
123            reportdirectory and reportuser in backupninja.conf. Configure cron to
124            run once a day, and individual backupninjas not to report by email their
125            status, then enjoy one email report from all hosts, rather than multiple
126     fixed 'make install' bug that failed if /etc/backup.d already existed
127     changed spaces to tabs in Makefile.am
128     updated redhat spec file (thanks Adam Monsen)
129
130 version 0.9.4 -- October 6th, 2006
131     backupninja changes
132          . Fixed bug in toint(), and thus isnow(), which caused it
133            to not work when run from cron.
134          . Recursively ignore subdirs in /etc/backup.d (Closes: #361102)
135          . Add admingroup option to configuration to allow a group that can
136            read/write configurations (instead of only allowing root). Checks
137            and complains about group-readable files only when the group differs
138            from the one in the configuration file (default is root as before).
139            Thanks to Martin Krafft for the patch (Closes: #370396).
140          . When determining which backup actions to make, find now follows
141            symlinks for $configdirectory
142          . Changed order of -s to mail for compatibility
143          . fixed permission stat call so it uses the --format supported by
144            coreutils (Closes: #382747)
145          . Added disk space report option (thanks Adam Kosmin)
146     handler changes
147         Added tar handler:
148          . create tarballs
149         Added rsnap handler:
150          . rotated rsync snapshops
151          . code from paulv@bikkel.org
152         Added rub handler:
153          . alternative to rsnap
154          . code from rhatto@riseup.net
155         mysql:
156          . Fixed improper use of $vuserhome (Closes: #351083)
157          . Fixed erroneous removal of tmpfile when it didn't exit
158          . Fixed inversed vsname emptiness check
159          . Fixed su quote usage to be more posixy
160          . Compress for sqldumps now happens in-line to save some disk space (Closes: #370778)
161          . Fixed --defaults-file now as --defaults-extra-file (thanks rhatto)
162         pgsql:
163          . Fixed inversed vsname emptiness check
164          . Fixed su quote usage to be more posixy
165          . Fixed shell expansion, thanks Thomas Kotzian (Closes: #363297)
166          . postgres user UID is now the one from inside the vserver if necessary
167          . Compress now happens in-line to save some disk space (Closes: #370778)
168          . $PGSQLUSER is used instead of hardcoding user 'postgres' (although this is the default)
169         svn:
170          . Fixed inversed vsname emptiness check
171         rdiff:
172          . Symlink and globbing support in include/exclude/vsinclude
173            clarification: globbing is fully supported again, whereas no attempt
174            is done to dereference symlinks anymore, due to incompatibilities
175            between various readlink versions in this field.
176          . Removed overzealous vsnames check
177          . Now works if testconnect=no and if $test is not defined.
178          . add $sshoptions config parameter in [dest] section of config so
179            connections to ports other than 22 can be made by adding the
180            following to the top of the handler config:
181            options = --remote-schema 'ssh -p REMOTE-PORT -C %s rdiff-backup
182            --server'
183         dup:
184          . Symlink and globbing support in include/exclude/vsinclude
185            clarification: globbing is fully supported again, whereas no attempt
186            is done to dereference symlinks anymore, due to incompatibilities
187            between various readlink versions in this field.
188          . Removed over zealous vsnames check
189          . Does not pretend anymore that duplicity can work without
190            any passphrase
191          . Support duplicity 0.4.2 (with Debian patches applied; upstream's
192            0.4.3 will integrate them); documented how to write sftp-compatible
193            sshoptions (Closes: #388543)
194          . Now forbid to (try to) include /.
195         sys:
196          . Many more system checks were added, (thanks to Petr KlĂ­ma)
197          . Added warning if no devices were found (thanks Ranier Zocholl)
198          . Enhanced debian package selections to include purged packages (thanks
199            Tom Hoover)
200          . Removed warning about vserver not running (thanks anarcat)
201         ldap:
202          . Compress now happens in-line to save some disk space (Closes: #370778)
203         makecd:
204          . Added nicelevel option (thanks rhatto)
205         trac:
206          . fixed problem when src was set to the trac repo directly (Closes: #382737)
207     lib changes
208         vserver:
209          . init_vservers: fixed Debian bug #351083 (improper readlink syntax)
210          . found_vservers: escaped special grep repetition character +
211          . forced mktemp to use a template with a name to be more compatible with
212            different versions of mktemp, thanks anarcat
213     ninjahelper changes
214          . Recursively ignore subdirs in /etc/backup.d (Closes: #361102)
215          . Fix configdirectory error that forced you to use /etc/backup.d, thanks anarcat
216          . When determining which backup actions to list, find now follows
217            symlinks for $configdirectory
218          . Stop checking helpers perms: both "make install" and distros packages
219            install them with appropriate permissions, it's overzealous to check
220            this at runtime, and is more complicated to do with current
221            admingroup option.
222         dup.helper:
223          . Fix: signing was enabled with symmetric encryption.
224     changed cron permissions to 644
225     changed /etc/backup.d permissions to 0770 (for admingroup)
226     minor documentation fixes
227     improved RPM build process allowing 'make rpm-package' and 'make
228     srpm-package' targets, also fixes permissions on man directories,
229     cleans up RPM-related files during distclean, and adds default
230     EDITOR for "autogen.sh -f" if none is set. (thanks Robert Napier)
231
232 version 0.9.3 -- February 1st, 2006
233     autotools fixes
234     backupninja changes
235         backupninja.conf
236          . added (commented out) the various default paths to
237            programs such as PGSQLDUMP, so that users can figure
238            out more easily they can customize them
239         code refactor:
240          . now uses vservers lib to initialize vservers support
241     handler changes
242         duplicity, mysql, pgsql, rdiff, svn, sys: start to use (at different
243            degrees) new lib/vserver functionality
244         mysql:
245          . fixed no user defaults file processing
246         duplicity:
247          . fixed (again...) globbing in include and exclude options (Debian bug
248            #348022, follow-up to #338796)
249          . warn if vsnames or vsinclude is enabled while vservers support is
250            disabled in backupninja.conf
251          . now works when multiple vservers names are given (separated by space)
252            in vsnames config variable
253         rdiff
254          . fixed globbing bug in include, exclude and vsinclude options
255          . it's now possible to choose exactly which vservers should be
256            backed-up, as it already was with duplicity handler, with the
257            "vsnames" configuration setting
258     ninjahelper changes
259         rdiff.helper:
260          . fixed errors in create remote dir
261          . code formatting cleanup (three spaces indent)
262          . fixed bug which caused only first include/exclude dir to
263            have "include = "
264          . fixed globbing bug with exclude
265         ninjahelper:
266          . now reports error if the helper script has a syntax error or bombs out.
267          . code formatting cleanup (three spaces indent)
268     lib changes
269         vserver:
270          . init_vservers: improved VROOTDIR detection
271          . init_vservers: test in a stricter way the real vservers availability
272          . init_vservers: canonicalize VROOTDIR (since duplicity et al.
273            don't follow symlinks)
274          . init_vservers: warn if vservers are enabled but no vserver is found
275          . new function: vservers_exist
276     known bugs:
277         easydialog:
278          . formDisplay does not return exit status.
279
280 version 0.9.2 -- December 29, 2005
281     backupninja changes
282         fixed broken toint() which caused when "everyday" problems
283         backupninja.conf.5 updated to include "when" and "vservers"
284         code refactor:
285             . moved to lib/ some code that has to be shared between
286               backupninja and ninjahelper
287     handler changes
288         trac:
289             . mkdir subdirectory problem fixed
290         duplicity:
291             . globbing support fixed in include and exclude options
292             . different signing and encrypting key support added
293             . fixed erroneous comments in example.dup about the way
294               GnuPG-related options are used
295         mysql:
296             . handler vserver bugs fixed and debug output enhanced
297     ninjahelper(s) changes
298         vserver-related functions added to lib/vservers.in
299         added man/ninjahelper.1 man page
300         makecd:
301             . was missing in Makefile.am/.in
302         rdiff-backup:
303             . used to expand '*' in default source directories
304             . the "Cancel" buttons used to have a weird behaviour
305             . updated to include Vserver selection
306         pgsql:
307             . forbid the user to choose an empty database set
308             . "Cancel" button now does what it is meant to do
309         mysql:
310             . enhanced for vserver support
311             . now able to select databases and dump directory
312         duplicity:
313             . new handler added (with Vserver support)
314
315 version 0.9.1 -- November 05 2005
316     rearranged source so that it is relocatable with autotools
317         (thanks to Petr KlĂ­ma petr.klima@madeta-group.cz)
318     fixed many bugs in rdiff helper
319     rdiff handler does not require 'label' (for real this time?)
320     added makecd ninjahelper
321         (thanks to Stefani stefani@riseup.net)
322     made ninjahelper create files with mode 600 rather than 000
323     changed subversion handler to use svnadmin hotcopy instead of
324             the unsupported hot-copy.py script, which was moved in Debian
325     update rdiff ninjahelper
326             now detects and auto-install rdiff-backup on the remote
327             machine if possible, also tests the remote backup directory
328             and offers to create it if it doesn't exist
329
330 version 0.9 -- October 19 2005
331     *** IMPORTANT CHANGE, UPGRADE AT ONCE ***
332      fixed insecure temporary file creation
333     *****************************************
334     removed erroneous magic file marker in pgsql handler
335     fixed incorrect find positional
336     changed direct grep of /etc/passwd to getent passwd.
337     rdiff helper has much better information on failed ssh attempt
338         (patch from cmccallum@thecsl.org).
339     rdiff handler now supports remote source and local dest.
340         (patch from cmccallum@thecsl.org).
341     man pages are greatly improved.
342
343 version 0.8 -- September 15 2005
344     added pgsql (PostgreSQL) handler, with vservers support.
345     added vservers support to duplicity handler
346         Note: the configuration is a bit different than the rdiff
347         handler's one, but the default behavior is the same:
348         have a look at example.dup.
349     improved README
350     documented .disabled method.
351     corrected VROOTDIR default value.
352     added ninjahelper to the install instructions.
353     improved rdiff, dup and sys handlers' vservers support
354         prevent vserver-debiantools' $VROOTDIR/ARCHIVES directory
355         to be seen as a vserver
356     changes to sys handler
357         make use of configurable $VSERVERINFO instead of hard-coded vserver-info.
358         fixed dpkg existence test inside vserver.
359         fixed $nodpkg use.
360     changes to pgsql handler
361         now checks if the specified vserver is running.
362         now checks if $PGSQLDUMP/$PGSQLDUMPALL are available where needed.
363         now checks if "postgres" user exists on the host/vserver.
364     changes to ninjahelper
365         check_perms() does not die anymore on group/world readable
366         helper scripts (now consistent with the "helper scripts
367         must not be group or world writable!" error msg).
368     xedit action now tries $EDITOR, then /etc/alternatives/editor,
369         then nano, vim and vi, and aborts if none of these exists.
370     added helper for pgsql handler.
371     rdiff handler now does not require 'label'
372     changes to mysql and svn handlers' vservers support
373         these handlers now check if the source vserver is running
374     added 'ignores' for mysql handler. (thanks Daniel.Bonniot@inria.fr)
375
376 version 0.7 -- July 26 2005
377     added ninjahelper: a dialog based wizard for creating backupninja configs.
378     considerably improved and changed the log file output.
379     you can now disable actions with .disabled (this is new preferred method).
380     added makecd handler and example.makecd for backing up to cd/dvd (thanks stef).
381     fixed bug when specifying multiple 'when' options.
382
383 version 0.6 -- June 16 2005
384     ldap handler has new options: backup method to use (ldapsearch or
385         slapcat), restart, passwordfile and binddn. Default backup method
386         is set to ldapsearch as this is safer
387     ******************************************************************
388     NOTE: to get the previous default behavior with the ldap handler,
389     you must set "method = slapcat". The new default is ldapsearch.
390     ******************************************************************
391     implemented fix so that the main script will echo fatal errors rather
392         than being silent about them, this means an error message every hour
393         if there is a major configuration problem (not a handler problem)
394     added vserver support to main script and to the handlers: mysql, svn, sys, rdiff
395     changes to duplicity handler (thanks intrigeri!):
396         "keep = yes" now disables file cleaning on desthost
397         added "sign" option for backups signing
398         added "encryptkey" option to specify the gpg key to use
399         split config into [source], [gpg] and [dest] sections
400         added "nicelevel" option
401         added "testconnect" option
402         added "sshoptions" option (will be passed to ssh/scp)
403         added "bandwidthlimit" option
404     example.dup example config file for duplicity handler
405     added trac (http://trac.edgewall.com/) environment handler (thanks Charles Lepple!)
406     added configfile option to mysql handler
407         the default is /etc/mysql/debian.cnf. with this,
408         sqldump doesn't need dbusername. (hotcopy still does).
409     fixed bug in mysql handler which caused some passwords to not work.
410         (.my.cnf files now have double quotes around password)
411     can now pass options to hwinfo and sfdisk in sys handler.
412
413 version 0.5 -- April 12 2005
414     rdiff handler works when remote sshd has a banner
415     rdiff handler supports local dest
416     logfile is created if it doesn't exist
417     added "when = hourly"
418     added optional 'nicelevel' to rdiff handler
419     fixed bug where actions were not run in numeric order.
420     improved 'when' parsing.
421
422 version 0.4.4 -- March 18 2005
423     results of handlers are now read line by line.
424     changes to rdiff handler: added "options", and "keep" is
425         not necessarily days now (ie, it will pass straight through to
426         rdiff-backup if the keep has a unit on it, otherwise it adds the 'D').
427     added dup handler (still pretty beta)
428     added maildir handler (very specialized handler)
429     added --run option (runs the specified action file)
430     improved sys handler, now uses hwinfo
431     added subversion hotbackup handler, svn.
432     added PATH to cron.d file, which fixes file not found errors.
433
434 version 0.4.2 -- Jan 6 2005
435     fixed bug which caused a report email to be sent even if no actions were run.
436     fixed bug where multiple handler status messages were ignored
437     added status in the subject line of report emails
438
439 version 0.4.1 -- Jan 3 2005
440     added $usecolors and now more conservative about when colors are echoed.
441     fixed major bug, 'when' actually works now.
442     replaced debug function with debug, info, warning, error, fatal.
443     added --now option to force all actions to be performed now.
444
445 version 0.4 -- Dec 26 2004
446     added "when" option, so that all configs can specify when
447         they are to be run.
448     added reportsuccess and reportwarning config options
449     added .sys handler (hardware, packages, partitions).
450
451 version 0.3.4 -- Dec 8 2004
452     fixed numerical variable quoting compatibility with older wc
453     fixed stderr redirect bug
454     some comments in example.rdiff
455
456 version 0.3.3 -- Nov 10 2004
457     '*' (asterisk) works now in rdiff config files
458     works now with gawk as well as mawk
459     many bug fixes to ldap handler
460     paths to helper scripts can be configured in global config
461     does not require /usr/bin/stat
462
463 version 0.3.2 -- Sept 29 2004
464     handler scripts are no longer executable (to comply with debian policy)
465     handler error and warning messages are sent with the notify email
466
467 version 0.3.1 -- Sept 5 2004
468     added ldap handler
469     moved sh support to a handler script
470     add test mode, where no action is taken.
471     added --help
472     force only root can read /etc/backup.d/*
473     fixed missing equals symbols in example.rdiff
474     changed backupninja executable to be /usr/sbin rather than /usr/bin
475
476 version 0.3 -- Oct 20 2004
477     ** IMPORTANT ** all config files are now ini style, not apache style
478     rewrote all scripts in bash for portability
479     added drop-in backupninja lib directory (/usr/share/backupninja)
480     all scripts are now run as root
481
482 version 0.2 -- Oct 14 2004
483     move distribution folder ./cron.d to ./etc/cron.d
484     fixed bug: removed printr of excludes (!)
485     added support for changing the user/group in rdiff sources.
486     added support for .mysql config files.
487
488 version 0.1 -- Oct 8 2004
489     initial release
490