dup: set secure permissions on tmpdir when creating it
[matthijs/upstream/backupninja.git] / ChangeLog
1 version 0.9.6 -- unreleased
2     backupninja changes
3          . fix bug in cstream definition, thanks Jamie McClelland
4          . Allow the entire backup run to be halted by an action, thanks to
5            Matthew Palmer (Closes: #455836)
6          . Fixed tr construct reporting a warning (Closes: #452669)
7     lib changes
8         vserver:
9          . added vservers_running function
10         tools
11          . mktemp is now required to run backupninja, removed less secure
12            fall-back if mktemp did not exist on the system
13     handler changes
14         dup:
15          . General cleanup
16          . Better support for new duplicity (>= 0.4.4) command line syntax:
17            run remove-older-than when $keep is not set to yes (Closes: #458816),
18            and run "duplicity cleanup" before any other duplicity command; both
19            only trigger a warning on failure, since they should not stop backups
20            from being done. Also migrated full/incremental backup switch to the
21            new syntax.
22          . Support every duplicity-supported transport with new configuration
23            option desturl (Closes: #483712, #346040, Trac#2).
24          . Actually allow to backup only VServers, by relaxing $include test.
25          . Set secure permissions on tmpdir when creating it.
26         ldap:
27          . support HDB backend just as the BDB one, and make message clearer
28            when no supported backend is found (Closes: #476910)
29         rdiff:
30          . Fixed ignore_version default value missing
31          . Add patch from Matthew Palmer to rdiff handler to incorporate sshoptions
32            into options via remote-schema not already specified (Closes: #424639)
33         wget:
34          . New handler from rhatto designed to incrementally pull content from
35            a website to a local folder, based on the rsync handler
36         maildir:
37          . fixed bug where maildirs that start with a number were skipped.
38          . make deleted maildirs record the date they were deleted
39          . add destid_file configuration option to enable you to specify an alternate
40            ssh public key authentication file (defaulting to /root/.ssh/id_rsa)
41         pgsql, mysql, svn, sys:
42          . use new vservers_running function from lib/vserver (factorization++)
43         sys:
44          . update for 2.6 kernels: use /proc/kallsyms instead of /proc/ksyms
45            (Closes: Trac#39)
46          . support selection of VServers to run on, in the same way as in the
47            dup handler, with the new vsnames configuration option ; (Closes: Trac#45)
48          . add support for capturing the package debconf selection states using
49            debconf-get-selections
50          . fixed catifexec function to actually work, also now passes the arguments
51            given to catifexec() to the called command (Thanks John Hallam!)
52          . Added more robust software RAID information capture by running mdadm
53            -Q --detail /dev/md?* because some people may have empty mdadm.conf files
54            (Thanks to John Hallam).
55         trac:
56          . stop failing on all the trac backups if just one fails, this means
57            removing the temporary trac backup directories if they fail
58
59 version 0.9.5 -- December 2, 2007
60     backupninja changes
61          . Fixed checks on configuration files permissions, since the patch
62            applied to fix #370396 broke this, especially for configuration files
63            created with permissions 000 by an older ninjahelper version.
64          . Enhanced portability for other platforms
65          . Added quoting because it was needed to prevent shell expansion, broking the
66            toint function sometimes (Closes: Trac#11)
67          . Fixed reportspace option (Closes: Trac#10)
68          . Fixed ldap handler not recognizing database suffix (Closes: Trac#28)
69     handler changes
70         dup:
71          . Support duplicity >= 0.4.3 invocation syntax (--ssh-command option
72            is not supported anymore) (Closes: #447425)
73          . New tmpdir configuration option, very useful in case duplicity tends
74            to fill up /tmp.
75         ldap:
76          . Fixed shell command quoting issues, missing 'then' clauses, cleaned up
77            compress=yes to be less redundant and not create empty uncompressed
78            file (Closes: #394935)
79          . Fixed ninjahelper to properly set compress option, standardized on yes/no
80            instead of on/off
81          . Fixed problem that caused combination of slapcat and compress to not work
82            together (Closes: Trac#29)
83          . Applied patch from romain.tartiere@healthgrid.org to fix the SSL/TLS options
84            to be correct, also set TLS to be the default over SSL (Closes: Trac#13)
85         maildir:
86          . Added an examples file (Closes: Trac#23)
87          . Applied patch from Anarcat that fixes the cp/mkdir calls to not use GNU
88            coreutils options, as well as some bashisms (Closes: Trac#24)
89          . Fix test mode (Closes: Trac#25)
90         mysql:
91          . Fixed case where odd combination of configuration options caused sqldump
92            backups to get overwritten with an empty file (Closes: #402679)
93          . Added 'nodata' option to enable you to specify tables that you want to omit
94            the data from a backup, but still backup the table structure. This is very
95            useful in cases where tables contain large amounts of cache data. See the
96            example.mysql for options, thanks Daniel Bonniot (Closes: #408829)
97          . Enhance code for selecting databases by asking MySQL not to give us the
98            header (-N), to not draw pretty boxes around the output (-B), send the query
99            via -e instead of a pipe and ensure MySQL listens to -B. Thanks to
100            Matthew Palmer (Closes: #452039).
101         pgsql:
102          . Support configuring PGSQLUSER for real, and document it a bit; this
103            broken support actually prevented pgsql handler to work for VServers
104            (Closes: #396578)
105         rdiff-backup:
106          . Added cstream support to allow for bandwidth limiting
107          . Handle "keep = yes" to disable old backups removal (Closes: #424633)
108          . Add configuration option to allow you to disable the version check
109            as in some instances this may be an ok scenario (Closes: #424632)
110          . Added local destination support to helper (Closes: Trac#4)
111          . Allow exclude-only configurations (Closes: Trac#21)
112         rub/rsync
113          . Fixed typo in rub handler that caused it to not work
114          . Changed to use lib/vserver code
115          . Fixed fsck error
116          . Fixed integer comparison (Closes: Trac#3)
117          . Renamed handler to 'rsync', replaces outdated rub handler
118          . updated examples/Makefile.am and handlers/Makefile.am to include
119            rsnap/rsync (Closes: #440554)
120          . Added example.rsync configuration file
121         sys:
122          . Fixed typo breaking things for VServers.
123          . Fix bug when vrootdir is on its own partition (Closes: #395928)
124          . Better sfdisk error and output handling: should now properly warn
125            when it does not manage to backup a partition table, and shut up when
126            it succeeds (Closes: #396632)
127          . Added option to not use sfdisk at all, useful for vserver/xen instances
128            that produce warnings about no harddisks found (Closes: #404071)
129          . Fixed example in example.sys to detail the __star__ in partitionsfile and
130            note why its necessary (Closes: #409192)
131          . Force C locale for sfdisk to ensure english words are found in grep
132          . Make directory where output is placed configurable, and create the parent dir
133            if it doesn't exist (Closes: Trac#1)
134     ninjareport
135          . Added first draft of method to aggregate reports from many servers into
136            one email. Requires logtail, rsync, configuration of reporthost,
137            reportdirectory and reportuser in backupninja.conf. Configure cron to
138            run once a day, and individual backupninjas not to report by email their
139            status, then enjoy one email report from all hosts, rather than multiple
140     fixed 'make install' bug that failed if /etc/backup.d already existed
141     changed spaces to tabs in Makefile.am
142     updated redhat spec file (thanks Adam Monsen)
143
144 version 0.9.4 -- October 6th, 2006
145     backupninja changes
146          . Fixed bug in toint(), and thus isnow(), which caused it
147            to not work when run from cron.
148          . Recursively ignore subdirs in /etc/backup.d (Closes: #361102)
149          . Add admingroup option to configuration to allow a group that can
150            read/write configurations (instead of only allowing root). Checks
151            and complains about group-readable files only when the group differs
152            from the one in the configuration file (default is root as before).
153            Thanks to Martin Krafft for the patch (Closes: #370396).
154          . When determining which backup actions to make, find now follows
155            symlinks for $configdirectory
156          . Changed order of -s to mail for compatibility
157          . fixed permission stat call so it uses the --format supported by
158            coreutils (Closes: #382747)
159          . Added disk space report option (thanks Adam Kosmin)
160     handler changes
161         Added tar handler:
162          . create tarballs
163         Added rsnap handler:
164          . rotated rsync snapshops
165          . code from paulv@bikkel.org
166         Added rub handler:
167          . alternative to rsnap
168          . code from rhatto@riseup.net
169         mysql:
170          . Fixed improper use of $vuserhome (Closes: #351083)
171          . Fixed erroneous removal of tmpfile when it didn't exit
172          . Fixed inversed vsname emptiness check
173          . Fixed su quote usage to be more posixy
174          . Compress for sqldumps now happens in-line to save some disk space (Closes: #370778)
175          . Fixed --defaults-file now as --defaults-extra-file (thanks rhatto)
176         pgsql:
177          . Fixed inversed vsname emptiness check
178          . Fixed su quote usage to be more posixy
179          . Fixed shell expansion, thanks Thomas Kotzian (Closes: #363297)
180          . postgres user UID is now the one from inside the vserver if necessary
181          . Compress now happens in-line to save some disk space (Closes: #370778)
182          . $PGSQLUSER is used instead of hardcoding user 'postgres' (although this is the default)
183         svn:
184          . Fixed inversed vsname emptiness check
185         rdiff:
186          . Symlink and globbing support in include/exclude/vsinclude
187            clarification: globbing is fully supported again, whereas no attempt
188            is done to dereference symlinks anymore, due to incompatibilities
189            between various readlink versions in this field.
190          . Removed overzealous vsnames check
191          . Now works if testconnect=no and if $test is not defined.
192          . add $sshoptions config parameter in [dest] section of config so
193            connections to ports other than 22 can be made by adding the
194            following to the top of the handler config:
195            options = --remote-schema 'ssh -p REMOTE-PORT -C %s rdiff-backup
196            --server'
197         dup:
198          . Symlink and globbing support in include/exclude/vsinclude
199            clarification: globbing is fully supported again, whereas no attempt
200            is done to dereference symlinks anymore, due to incompatibilities
201            between various readlink versions in this field.
202          . Removed over zealous vsnames check
203          . Does not pretend anymore that duplicity can work without
204            any passphrase
205          . Support duplicity 0.4.2 (with Debian patches applied; upstream's
206            0.4.3 will integrate them); documented how to write sftp-compatible
207            sshoptions (Closes: #388543)
208          . Now forbid to (try to) include /.
209         sys:
210          . Many more system checks were added, (thanks to Petr KlĂ­ma)
211          . Added warning if no devices were found (thanks Ranier Zocholl)
212          . Enhanced debian package selections to include purged packages (thanks
213            Tom Hoover)
214          . Removed warning about vserver not running (thanks anarcat)
215         ldap:
216          . Compress now happens in-line to save some disk space (Closes: #370778)
217         makecd:
218          . Added nicelevel option (thanks rhatto)
219         trac:
220          . fixed problem when src was set to the trac repo directly (Closes: #382737)
221     lib changes
222         vserver:
223          . init_vservers: fixed Debian bug #351083 (improper readlink syntax)
224          . found_vservers: escaped special grep repetition character +
225          . forced mktemp to use a template with a name to be more compatible with
226            different versions of mktemp, thanks anarcat
227     ninjahelper changes
228          . Recursively ignore subdirs in /etc/backup.d (Closes: #361102)
229          . Fix configdirectory error that forced you to use /etc/backup.d, thanks anarcat
230          . When determining which backup actions to list, find now follows
231            symlinks for $configdirectory
232          . Stop checking helpers perms: both "make install" and distros packages
233            install them with appropriate permissions, it's overzealous to check
234            this at runtime, and is more complicated to do with current
235            admingroup option.
236         dup.helper:
237          . Fix: signing was enabled with symmetric encryption.
238     changed cron permissions to 644
239     changed /etc/backup.d permissions to 0770 (for admingroup)
240     minor documentation fixes
241     improved RPM build process allowing 'make rpm-package' and 'make
242     srpm-package' targets, also fixes permissions on man directories,
243     cleans up RPM-related files during distclean, and adds default
244     EDITOR for "autogen.sh -f" if none is set. (thanks Robert Napier)
245
246 version 0.9.3 -- February 1st, 2006
247     autotools fixes
248     backupninja changes
249         backupninja.conf
250          . added (commented out) the various default paths to
251            programs such as PGSQLDUMP, so that users can figure
252            out more easily they can customize them
253         code refactor:
254          . now uses vservers lib to initialize vservers support
255     handler changes
256         duplicity, mysql, pgsql, rdiff, svn, sys: start to use (at different
257            degrees) new lib/vserver functionality
258         mysql:
259          . fixed no user defaults file processing
260         duplicity:
261          . fixed (again...) globbing in include and exclude options (Debian bug
262            #348022, follow-up to #338796)
263          . warn if vsnames or vsinclude is enabled while vservers support is
264            disabled in backupninja.conf
265          . now works when multiple vservers names are given (separated by space)
266            in vsnames config variable
267         rdiff
268          . fixed globbing bug in include, exclude and vsinclude options
269          . it's now possible to choose exactly which vservers should be
270            backed-up, as it already was with duplicity handler, with the
271            "vsnames" configuration setting
272     ninjahelper changes
273         rdiff.helper:
274          . fixed errors in create remote dir
275          . code formatting cleanup (three spaces indent)
276          . fixed bug which caused only first include/exclude dir to
277            have "include = "
278          . fixed globbing bug with exclude
279         ninjahelper:
280          . now reports error if the helper script has a syntax error or bombs out.
281          . code formatting cleanup (three spaces indent)
282     lib changes
283         vserver:
284          . init_vservers: improved VROOTDIR detection
285          . init_vservers: test in a stricter way the real vservers availability
286          . init_vservers: canonicalize VROOTDIR (since duplicity et al.
287            don't follow symlinks)
288          . init_vservers: warn if vservers are enabled but no vserver is found
289          . new function: vservers_exist
290     known bugs:
291         easydialog:
292          . formDisplay does not return exit status.
293
294 version 0.9.2 -- December 29, 2005
295     backupninja changes
296         fixed broken toint() which caused when "everyday" problems
297         backupninja.conf.5 updated to include "when" and "vservers"
298         code refactor:
299             . moved to lib/ some code that has to be shared between
300               backupninja and ninjahelper
301     handler changes
302         trac:
303             . mkdir subdirectory problem fixed
304         duplicity:
305             . globbing support fixed in include and exclude options
306             . different signing and encrypting key support added
307             . fixed erroneous comments in example.dup about the way
308               GnuPG-related options are used
309         mysql:
310             . handler vserver bugs fixed and debug output enhanced
311     ninjahelper(s) changes
312         vserver-related functions added to lib/vservers.in
313         added man/ninjahelper.1 man page
314         makecd:
315             . was missing in Makefile.am/.in
316         rdiff-backup:
317             . used to expand '*' in default source directories
318             . the "Cancel" buttons used to have a weird behaviour
319             . updated to include Vserver selection
320         pgsql:
321             . forbid the user to choose an empty database set
322             . "Cancel" button now does what it is meant to do
323         mysql:
324             . enhanced for vserver support
325             . now able to select databases and dump directory
326         duplicity:
327             . new handler added (with Vserver support)
328
329 version 0.9.1 -- November 05 2005
330     rearranged source so that it is relocatable with autotools
331         (thanks to Petr KlĂ­ma petr.klima@madeta-group.cz)
332     fixed many bugs in rdiff helper
333     rdiff handler does not require 'label' (for real this time?)
334     added makecd ninjahelper
335         (thanks to Stefani stefani@riseup.net)
336     made ninjahelper create files with mode 600 rather than 000
337     changed subversion handler to use svnadmin hotcopy instead of
338             the unsupported hot-copy.py script, which was moved in Debian
339     update rdiff ninjahelper
340             now detects and auto-install rdiff-backup on the remote
341             machine if possible, also tests the remote backup directory
342             and offers to create it if it doesn't exist
343
344 version 0.9 -- October 19 2005
345     *** IMPORTANT CHANGE, UPGRADE AT ONCE ***
346      fixed insecure temporary file creation
347     *****************************************
348     removed erroneous magic file marker in pgsql handler
349     fixed incorrect find positional
350     changed direct grep of /etc/passwd to getent passwd.
351     rdiff helper has much better information on failed ssh attempt
352         (patch from cmccallum@thecsl.org).
353     rdiff handler now supports remote source and local dest.
354         (patch from cmccallum@thecsl.org).
355     man pages are greatly improved.
356
357 version 0.8 -- September 15 2005
358     added pgsql (PostgreSQL) handler, with vservers support.
359     added vservers support to duplicity handler
360         Note: the configuration is a bit different than the rdiff
361         handler's one, but the default behavior is the same:
362         have a look at example.dup.
363     improved README
364     documented .disabled method.
365     corrected VROOTDIR default value.
366     added ninjahelper to the install instructions.
367     improved rdiff, dup and sys handlers' vservers support
368         prevent vserver-debiantools' $VROOTDIR/ARCHIVES directory
369         to be seen as a vserver
370     changes to sys handler
371         make use of configurable $VSERVERINFO instead of hard-coded vserver-info.
372         fixed dpkg existence test inside vserver.
373         fixed $nodpkg use.
374     changes to pgsql handler
375         now checks if the specified vserver is running.
376         now checks if $PGSQLDUMP/$PGSQLDUMPALL are available where needed.
377         now checks if "postgres" user exists on the host/vserver.
378     changes to ninjahelper
379         check_perms() does not die anymore on group/world readable
380         helper scripts (now consistent with the "helper scripts
381         must not be group or world writable!" error msg).
382     xedit action now tries $EDITOR, then /etc/alternatives/editor,
383         then nano, vim and vi, and aborts if none of these exists.
384     added helper for pgsql handler.
385     rdiff handler now does not require 'label'
386     changes to mysql and svn handlers' vservers support
387         these handlers now check if the source vserver is running
388     added 'ignores' for mysql handler. (thanks Daniel.Bonniot@inria.fr)
389
390 version 0.7 -- July 26 2005
391     added ninjahelper: a dialog based wizard for creating backupninja configs.
392     considerably improved and changed the log file output.
393     you can now disable actions with .disabled (this is new preferred method).
394     added makecd handler and example.makecd for backing up to cd/dvd (thanks stef).
395     fixed bug when specifying multiple 'when' options.
396
397 version 0.6 -- June 16 2005
398     ldap handler has new options: backup method to use (ldapsearch or
399         slapcat), restart, passwordfile and binddn. Default backup method
400         is set to ldapsearch as this is safer
401     ******************************************************************
402     NOTE: to get the previous default behavior with the ldap handler,
403     you must set "method = slapcat". The new default is ldapsearch.
404     ******************************************************************
405     implemented fix so that the main script will echo fatal errors rather
406         than being silent about them, this means an error message every hour
407         if there is a major configuration problem (not a handler problem)
408     added vserver support to main script and to the handlers: mysql, svn, sys, rdiff
409     changes to duplicity handler (thanks intrigeri!):
410         "keep = yes" now disables file cleaning on desthost
411         added "sign" option for backups signing
412         added "encryptkey" option to specify the gpg key to use
413         split config into [source], [gpg] and [dest] sections
414         added "nicelevel" option
415         added "testconnect" option
416         added "sshoptions" option (will be passed to ssh/scp)
417         added "bandwidthlimit" option
418     example.dup example config file for duplicity handler
419     added trac (http://trac.edgewall.com/) environment handler (thanks Charles Lepple!)
420     added configfile option to mysql handler
421         the default is /etc/mysql/debian.cnf. with this,
422         sqldump doesn't need dbusername. (hotcopy still does).
423     fixed bug in mysql handler which caused some passwords to not work.
424         (.my.cnf files now have double quotes around password)
425     can now pass options to hwinfo and sfdisk in sys handler.
426
427 version 0.5 -- April 12 2005
428     rdiff handler works when remote sshd has a banner
429     rdiff handler supports local dest
430     logfile is created if it doesn't exist
431     added "when = hourly"
432     added optional 'nicelevel' to rdiff handler
433     fixed bug where actions were not run in numeric order.
434     improved 'when' parsing.
435
436 version 0.4.4 -- March 18 2005
437     results of handlers are now read line by line.
438     changes to rdiff handler: added "options", and "keep" is
439         not necessarily days now (ie, it will pass straight through to
440         rdiff-backup if the keep has a unit on it, otherwise it adds the 'D').
441     added dup handler (still pretty beta)
442     added maildir handler (very specialized handler)
443     added --run option (runs the specified action file)
444     improved sys handler, now uses hwinfo
445     added subversion hotbackup handler, svn.
446     added PATH to cron.d file, which fixes file not found errors.
447
448 version 0.4.2 -- Jan 6 2005
449     fixed bug which caused a report email to be sent even if no actions were run.
450     fixed bug where multiple handler status messages were ignored
451     added status in the subject line of report emails
452
453 version 0.4.1 -- Jan 3 2005
454     added $usecolors and now more conservative about when colors are echoed.
455     fixed major bug, 'when' actually works now.
456     replaced debug function with debug, info, warning, error, fatal.
457     added --now option to force all actions to be performed now.
458
459 version 0.4 -- Dec 26 2004
460     added "when" option, so that all configs can specify when
461         they are to be run.
462     added reportsuccess and reportwarning config options
463     added .sys handler (hardware, packages, partitions).
464
465 version 0.3.4 -- Dec 8 2004
466     fixed numerical variable quoting compatibility with older wc
467     fixed stderr redirect bug
468     some comments in example.rdiff
469
470 version 0.3.3 -- Nov 10 2004
471     '*' (asterisk) works now in rdiff config files
472     works now with gawk as well as mawk
473     many bug fixes to ldap handler
474     paths to helper scripts can be configured in global config
475     does not require /usr/bin/stat
476
477 version 0.3.2 -- Sept 29 2004
478     handler scripts are no longer executable (to comply with debian policy)
479     handler error and warning messages are sent with the notify email
480
481 version 0.3.1 -- Sept 5 2004
482     added ldap handler
483     moved sh support to a handler script
484     add test mode, where no action is taken.
485     added --help
486     force only root can read /etc/backup.d/*
487     fixed missing equals symbols in example.rdiff
488     changed backupninja executable to be /usr/sbin rather than /usr/bin
489
490 version 0.3 -- Oct 20 2004
491     ** IMPORTANT ** all config files are now ini style, not apache style
492     rewrote all scripts in bash for portability
493     added drop-in backupninja lib directory (/usr/share/backupninja)
494     all scripts are now run as root
495
496 version 0.2 -- Oct 14 2004
497     move distribution folder ./cron.d to ./etc/cron.d
498     fixed bug: removed printr of excludes (!)
499     added support for changing the user/group in rdiff sources.
500     added support for .mysql config files.
501
502 version 0.1 -- Oct 8 2004
503     initial release
504