Bacula-users

Re: [Bacula-users] Quantum Scalar i500 slow write speed

2010-08-05 11:37:49
Subject: Re: [Bacula-users] Quantum Scalar i500 slow write speed
From: Christian Gaul <christian.gaul AT otop DOT de>
To: bacula-users AT lists.sourceforge DOT net
Date: Thu, 05 Aug 2010 17:17:39 +0200
Am 05.08.2010 16:57, schrieb Henry Yen:
> On Thu, Aug 05, 2010 at 10:09:06AM -0400, John Drescher wrote:
>   
>> On Thu, Aug 5, 2010 at 8:57 AM, Henry Yen <henry AT aegisinfosys DOT com> 
>> wrote:
>>     
>   
>>> On (at least) Linux, /dev/random will quickly block - use /dev/urandom 
>>> instead.
>>>       
>> Since these tend to be slow I would just create a large file from one of 
>> these.
>>     
> Well, for this case you shouldn't simply pick one or the other.
>
> Again, on Linux, you generally can't use /dev/random at all -- it will
> block after reading just a few dozen bytes.  /dev/urandom won't block,
> but your suggestion of creating a large file from it is very sensible.
> /dev/urandom seems to measure about 3MB/sec or thereabouts, so creating
> a large "uncompressible" file could be done sort of like:
>
>    dd if=/dev/urandom of=tempchunk count=1048576
>    cat tempchunk tempchunk tempchunk tempchunk tempchunk tempchunk > bigfile
>
>   
cat-ting random data a couple of times to make one big random file wont
really work, unless the size of the chunks is way bigger than the
"library" size of the compression algorithm.

your example will probably lead to a 5:1 compression ratio :-)
so this will more than likely not be a really good test. Also, afaik tar
has an "optimization" when outputting to /dev/null, better output to
/dev/zero instead if using tar to check possible speeds.

Calculating the checksumms for the data can be CPU bound.


P.S.: Checked to make sure.. depends on the compression algorithm of course:

$ dd if=/dev/urandom of=chunk bs=1M count=1
1+0 Datensätze ein
1+0 Datensätze aus
1048576 Bytes (1,0 MB) kopiert, 0,154357 s, 6,8 MB/s

$ gzip chunk

$ ls -al chunk*
-rw-r--r-- 1 christian christian 1048576  5. Aug 17:06 chunk
-rw-r--r-- 1 christian christian 1048764  5. Aug 17:06 chunk.gz

$ cat chunk chunk chunk chunk chunk chunk > bigchunk

$ gzip bigchunk
$ ls -al bigchunk*
-rw-r--r-- 1 christian christian 6291456  5. Aug 17:07 bigchunk
-rw-r--r-- 1 christian christian 6292442  5. Aug 17:07 bigchunk.gz

$ lzma bigchunk
$ ls -al bigchunk*
-rw-r--r-- 1 christian christian 6291456  5. Aug 17:07 bigchunk
-rw-r--r-- 1 christian christian 1063718  5. Aug 17:07 bigchunk.lzma


(edited out some lines..)

-- 
Christian Gaul
otop AG
D-55116 Mainz
Rheinstraße 105-107
Fon: 06131.5763.330
Fax: 06131.5763.500
E-Mail: christian.gaul AT otop DOT de
Internet: www.otop.de

Vorsitzender des Aufsichtsrats: Christof Glasmacher
Vorstand: Dirk Flug
Registergericht: Amtsgericht Mainz
Handelsregister: HRB 7647

Bundesweit Fachberater in allen Hilfsmittelfachbereichen gesucht! Bewerbung und
Infos unter www.otop.de

Hinweis zum Datenschutz:
Diese E-Mail ist ausschließlich für den in der Adresse genannten Empfänger
bestimmt, da sie vertrauliche firmeninterne Informationen enthalten kann. Soweit
eine Weitergabe oder Verteilung nicht ausschließlich zu internen Zwecken des
Empfängers geschieht, ist jede unzulässige Veröffentlichung, Verwendung,
Verbreitung, Weiterleitung und das Kopieren dieser E-Mail und ihrer verknüpften
Anhänge streng untersagt. Falls Sie nicht der beabsichtigte Empfänger dieser
Nachricht sind, löschen Sie diese E-Mail bitte und informieren unverzüglich den
Absender.


------------------------------------------------------------------------------
The Palm PDK Hot Apps Program offers developers who use the
Plug-In Development Kit to bring their C/C++ apps to Palm for a share
of $1 Million in cash or HP Products. Visit us here for more details:
http://p.sf.net/sfu/dev2dev-palm
_______________________________________________
Bacula-users mailing list
Bacula-users AT lists.sourceforge DOT net
https://lists.sourceforge.net/lists/listinfo/bacula-users