Home   Profile   Fun
#133 Linux  03.06.2007

Simple example to collect system activity information with sysstat


By using some of the commands which come with the sysstat package it is easily possible to get an overview about the system activity. For this example just 3 cron entries are necessary:

* * * * *      root    /usr/lib/sa/sa1 -d 1 1
00 23 * * *    root    /usr/lib/sa/sa2 -A
* * * * *      root    date | head -1 >> /var/log/sa/iostat; /usr/bin/iostat -d -x /dev/hda 1 1 | sed -n '3,4p' >> /var/log/sa/iostat

The first one creates statistics from various system activities, e.g. cpu, network, io etc.. This data is stored in /var/log/sa/saXX. XX is the current day of month. But the data is not in human readable format. Hence a second cron entry transforms it and puts the output in /var/log/sa/sarXX. The result looks like this:

Linux 2.6.19-gentoo-r5 (mobile1)        2007-06-10

10:21:55       proc/s
10:23:57         0,02
10:25:04         0,15
Average:       0,07

10:21:55      cswch/s
10:23:57      1676,75
10:25:04       792,88
Average:    1362,38

10:21:55        CPU     %user     %nice   %system   %iowait    %steal     %idle
10:23:57        all     28,67      0,00      1,11      0,72      0,00     69,50
10:23:57          0     28,67      0,00      1,11      0,72      0,00     69,50
10:25:04        all      9,18      0,00      0,37      0,00      0,00     90,45
10:25:04          0      9,18      0,00      0,37      0,00      0,00     90,45
Average:      all     21,74      0,00      0,85      0,46      0,00     76,95
Average:        0     21,74      0,00      0,85      0,46      0,00     76,95

10:21:55         INTR    intr/s
10:23:57          sum    280,79
10:25:04          sum    268,81
Average:        sum    276,53

10:21:55     CPU  i000/s  i001/s  i002/s  i008/s  i009/s  i010/s  i012/s  i014/s  i015/s
10:23:57       0  249,95    0,00    0,00    0,00    0,00   29,24    0,00    1,60    0,00
10:25:04       0  250,01    0,00    0,00    0,00    0,00   18,10    0,00    0,72    0,00
Average:     0  249,97    0,00    0,00    0,00    0,00   25,28    0,00    1,28    0,00

10:21:55     pswpin/s pswpout/s
10:23:57         0,00      0,00
10:25:04         0,00      0,00
Average:       0,00      0,00

10:21:55          tps      rtps      wtps   bread/s   bwrtn/s
10:23:57         1,60      0,43      1,17      7,37     30,46
10:25:04         0,72      0,00      0,72      0,00     18,23
Average:       1,28      0,28      1,01      4,75     26,11

10:21:55      frmpg/s   bufpg/s   campg/s
10:23:57         2,19      0,43      0,94
10:25:04         0,39      0,22      0,12
Average:       1,55      0,35      0,65

10:21:55          TTY   rcvin/s   xmtin/s framerr/s prtyerr/s     brk/s   ovrun/s
10:23:57            1      0,00      0,00      0,00      0,00      0,00      0,00
10:25:04            1      0,00      0,00      0,00      0,00      0,00      0,00
Average:          1      0,00      0,00      0,00      0,00      0,00      0,00

10:21:55        IFACE   rxpck/s   txpck/s   rxbyt/s   txbyt/s   rxcmp/s   txcmp/s  rxmcst/s
10:23:57           lo      0,00      0,00      0,00      0,00      0,00      0,00      0,00
10:23:57         eth0      7,79      7,54   8034,94   1620,78      0,00      0,00      0,00
10:23:57         sit0      0,00      0,00      0,00      0,00      0,00      0,00      0,00
10:25:04           lo      0,00      0,00      0,00      0,00      0,00      0,00      0,00
10:25:04         eth0      0,55      0,51    166,33    347,19      0,00      0,00      0,00
10:25:04         sit0      0,00      0,00      0,00      0,00      0,00      0,00      0,00
Average:         lo      0,00      0,00      0,00      0,00      0,00      0,00      0,00
Average:       eth0      5,21      5,04   5236,28   1167,80      0,00      0,00      0,00
Average:       sit0      0,00      0,00      0,00      0,00      0,00      0,00      0,00

10:21:55        IFACE   rxerr/s   txerr/s    coll/s  rxdrop/s  txdrop/s  txcarr/s  rxfram/s  rxfifo/s  txfifo/s
10:23:57           lo      0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00
10:23:57         eth0      0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00
10:23:57         sit0      0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00
10:25:04           lo      0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00
10:25:04         eth0      0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00
10:25:04         sit0      0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00
Average:         lo      0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00
Average:       eth0      0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00
Average:       sit0      0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00

10:21:55          DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util
10:23:57       dev3-0      1,60      7,37     30,46     23,71      0,02     15,13      9,86      1,57
10:25:04       dev3-0      0,72      0,00     18,23     25,50      0,00      0,42      0,17      0,01
Average:     dev3-0      1,28      4,75     26,11     24,07      0,02     12,21      7,93      1,02

10:21:55       call/s retrans/s    read/s   write/s  access/s  getatt/s
10:23:57         0,00      0,00      0,00      0,00      0,00      0,00
10:25:04         0,00      0,00      0,00      0,00      0,00      0,00
Average:       0,00      0,00      0,00      0,00      0,00      0,00

10:21:55      scall/s badcall/s  packet/s     udp/s     tcp/s     hit/s    miss/s   sread/s  swrite/s saccess/s sgetatt/s
10:23:57         0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00
10:25:04         0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00
Average:       0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00      0,00

10:21:55     pgpgin/s pgpgout/s   fault/s  majflt/s
10:23:57         3,68     15,23      8,27      0,07
10:25:04         0,00      9,12     46,54      0,00
Average:       2,37     13,05     21,88      0,04

10:21:55    kbmemfree kbmemused  %memused kbbuffers  kbcached kbswpfree kbswpused  %swpused  kbswpcad
10:23:57        23772    490052     95,37     16808    290988   1172516       220      0,02         0
10:25:04        23876    489948     95,35     16868    291020   1172516       220      0,02         0
Average:      23824    490000     95,36     16838    291004   1172516       220      0,02         0

10:21:55    dentunusd   file-sz  inode-sz  super-sz %super-sz  dquot-sz %dquot-sz  rtsig-sz %rtsig-sz
10:23:57        10726      3136     11093         0      0,00         0      0,00         0      0,00
10:25:04        10727      3136     11093         0      0,00         0      0,00         0      0,00
Average:      10726      3136     11093         0      0,00         0      0,00         0      0,00

10:21:55       totsck    tcpsck    udpsck    rawsck   ip-frag
10:23:57          332        10         7         0         0
10:25:04          331         9         7         0         0
Average:        332        10         7         0         0

10:21:55      runq-sz  plist-sz   ldavg-1   ldavg-5  ldavg-15
10:23:57            0       100      0,86      0,40      0,22
10:25:04            2       100      0,61      0,42      0,24
Average:          1       100      0,73      0,41      0,23


The last cron record creates some more disk io statistics in /var/log/sa/iostat:

Sun Jun 10 09:29:01 CEST 2007
Device:         rrqm/s   wrqm/s     r/s     w/s   rsec/s   wsec/s avgrq-sz avgqu-sz   await  svctm  %util
hda               5.77     3.51   26.01    2.00  1266.27    44.10    46.78     1.01   36.07   6.71  18.80
Sun Jun 10 09:30:01 CEST 2007
Device:         rrqm/s   wrqm/s     r/s     w/s   rsec/s   wsec/s avgrq-sz avgqu-sz   await  svctm  %util
hda               5.72     3.48   25.79    1.99  1255.68    43.78    46.78     1.00   36.07   6.71  18.65
Sun Jun 10 09:31:01 CEST 2007
Device:         rrqm/s   wrqm/s     r/s     w/s   rsec/s   wsec/s avgrq-sz avgqu-sz   await  svctm  %util
hda               5.67     3.45   25.58    1.98  1245.21    43.47    46.77     0.99   36.06   6.71  18.49
Sun Jun 10 09:32:01 CEST 2007
Device:         rrqm/s   wrqm/s     r/s     w/s   rsec/s   wsec/s avgrq-sz avgqu-sz   await  svctm  %util
hda               5.63     3.43   25.37    1.97  1235.00    43.23    46.76     0.99   36.06   6.71  18.35
Sun Jun 10 09:33:01 CEST 2007
Device:         rrqm/s   wrqm/s     r/s     w/s   rsec/s   wsec/s avgrq-sz avgqu-sz   await  svctm  %util
hda               5.58     3.41   25.16    1.96  1224.92    43.03    46.75     0.98   36.04   6.71  18.21