|
Ran it again and here's what I see. We currently have 8 Gigs of memory
installed. It doesn't appear from the "free" command that we ran
completely out of memory. Heres what "free" and "slabinfo" say before
the test. This is sitting idle.
[root@jackets-a upgrade]# free -m
total used free shared buffers
cached
Mem: 8118 1508 6609 0 274
974
-/+ buffers/cache: 259 7858
Swap: 2000 0 2000
[root@jackets-a upgrade]#
[root@jackets-a upgrade]# cat /proc/slabinfo
slabinfo - version: 2.1
# name <active_objs> <num_objs> <objsize> <objperslab>
<pagesperslab> : tunables <limit> <batchcount> <sharedfactor> : slabdata
<active_slabs> <num_slabs> <sharedavail>
ip_vs_conn 39091 39105 256 15 1 : tunables 120 60
8 : slabdata 2607 2607 0
ip_fib_alias 18 113 32 113 1 : tunables 120 60
8 : slabdata 1 1 0
ip_fib_hash 18 113 32 113 1 : tunables 120 60
8 : slabdata 1 1 0
jbd_4k 2 3 4096 1 1 : tunables 24 12
8 : slabdata 2 3 0
dm-snapshot-in 128 177 64 59 1 : tunables 120 60
8 : slabdata 3 3 0
dm-snapshot-ex 0 0 24 145 1 : tunables 120 60
8 : slabdata 0 0 0
dm_mpath 0 0 28 127 1 : tunables 120 60
8 : slabdata 0 0 0
dm_tio 1348 1421 16 203 1 : tunables 120 60
8 : slabdata 7 7 0
dm_io 1351 1521 20 169 1 : tunables 120 60
8 : slabdata 9 9 0
uhci_urb_priv 0 0 28 127 1 : tunables 120 60
8 : slabdata 0 0 0
jbd_1k 0 0 1024 4 1 : tunables 54 27
8 : slabdata 0 0 0
ext3_inode_cache 12799 12816 600 6 1 : tunables 54 27
8 : slabdata 2136 2136 0
ext3_xattr 0 0 48 78 1 : tunables 120 60
8 : slabdata 0 0 0
journal_handle 68 169 20 169 1 : tunables 120 60
8 : slabdata 1 1 0
journal_head 381 864 52 72 1 : tunables 120 60
8 : slabdata 12 12 0
revoke_table 28 254 12 254 1 : tunables 120 60
8 : slabdata 1 1 0
revoke_record 0 0 16 203 1 : tunables 120 60
8 : slabdata 0 0 0
scsi_cmd_cache 59 100 384 10 1 : tunables 54 27
8 : slabdata 10 10 0
sgpool-128 32 33 2560 3 2 : tunables 24 12
8 : slabdata 11 11 0
sgpool-64 35 36 1280 3 1 : tunables 24 12
8 : slabdata 12 12 0
sgpool-32 36 36 640 6 1 : tunables 54 27
8 : slabdata 6 6 0
sgpool-16 47 50 384 10 1 : tunables 54 27
8 : slabdata 5 5 0
sgpool-8 128 180 256 15 1 : tunables 120 60
8 : slabdata 12 12 0
scsi_io_context 0 0 104 37 1 : tunables 120 60
8 : slabdata 0 0 0
UNIX 223 246 640 6 1 : tunables 54 27
8 : slabdata 41 41 0
flow_cache 0 0 128 30 1 : tunables 120 60
8 : slabdata 0 0 0
cfq_ioc_pool 122 210 92 42 1 : tunables 120 60
8 : slabdata 5 5 0
cfq_pool 104 160 96 40 1 : tunables 120 60
8 : slabdata 4 4 0
crq_pool 156 252 44 84 1 : tunables 120 60
8 : slabdata 3 3 0
deadline_drq 0 0 44 84 1 : tunables 120 60
8 : slabdata 0 0 0
as_arq 0 0 56 67 1 : tunables 120 60
8 : slabdata 0 0 0
mqueue_inode_cache 1 6 640 6 1 : tunables 54 27
8 : slabdata 1 1 0
isofs_inode_cache 0 0 452 8 1 : tunables 54 27
8 : slabdata 0 0 0
hugetlbfs_inode_cache 1 9 424 9 1 : tunables 54
27 8 : slabdata 1 1 0
ext2_inode_cache 0 0 584 7 1 : tunables 54 27
8 : slabdata 0 0 0
ext2_xattr 0 0 48 78 1 : tunables 120 60
8 : slabdata 0 0 0
dnotify_cache 0 0 20 169 1 : tunables 120 60
8 : slabdata 0 0 0
dquot 0 0 256 15 1 : tunables 120 60
8 : slabdata 0 0 0
eventpoll_pwq 0 0 36 101 1 : tunables 120 60
8 : slabdata 0 0 0
eventpoll_epi 0 0 128 30 1 : tunables 120 60
8 : slabdata 0 0 0
inotify_event_cache 0 0 28 127 1 : tunables 120 60
8 : slabdata 0 0 0
inotify_watch_cache 1 92 40 92 1 : tunables 120 60
8 : slabdata 1 1 0
kioctx 0 0 256 15 1 : tunables 120 60
8 : slabdata 0 0 0
kiocb 0 0 128 30 1 : tunables 120 60
8 : slabdata 0 0 0
fasync_cache 0 0 16 203 1 : tunables 120 60
8 : slabdata 0 0 0
shmem_inode_cache 524 546 532 7 1 : tunables 54 27
8 : slabdata 78 78 0
posix_timers_cache 0 0 100 39 1 : tunables 120 60
8 : slabdata 0 0 0
uid_cache 5 59 64 59 1 : tunables 120 60
8 : slabdata 1 1 0
ip_mrt_cache 0 0 128 30 1 : tunables 120 60
8 : slabdata 0 0 0
tcp_bind_bucket 148 406 16 203 1 : tunables 120 60
8 : slabdata 2 2 0
inet_peer_cache 2 59 64 59 1 : tunables 120 60
8 : slabdata 1 1 0
secpath_cache 0 0 32 113 1 : tunables 120 60
8 : slabdata 0 0 0
xfrm_dst_cache 0 0 384 10 1 : tunables 54 27
8 : slabdata 0 0 0
ip_dst_cache 78 150 256 15 1 : tunables 120 60
8 : slabdata 10 10 0
arp_cache 11 15 256 15 1 : tunables 120 60
8 : slabdata 1 1 0
RAW 5 6 640 6 1 : tunables 54 27
8 : slabdata 1 1 0
UDP 35 36 640 6 1 : tunables 54 27
8 : slabdata 6 6 0
tw_sock_TCP 81 90 128 30 1 : tunables 120 60
8 : slabdata 3 3 0
request_sock_TCP 8 59 64 59 1 : tunables 120 60
8 : slabdata 1 1 0
TCP 55 60 1280 3 1 : tunables 24 12
8 : slabdata 20 20 0
blkdev_ioc 71 254 28 127 1 : tunables 120 60
8 : slabdata 2 2 0
blkdev_queue 38 44 1016 4 1 : tunables 54 27
8 : slabdata 11 11 0
blkdev_requests 154 230 172 23 1 : tunables 120 60
8 : slabdata 10 10 0
biovec-256 11 12 3072 2 2 : tunables 24 12
8 : slabdata 6 6 0
biovec-128 15 15 1536 5 2 : tunables 24 12
8 : slabdata 3 3 0
biovec-64 23 30 768 5 1 : tunables 54 27
8 : slabdata 6 6 0
biovec-16 23 165 256 15 1 : tunables 120 60
8 : slabdata 11 11 0
biovec-4 23 118 64 59 1 : tunables 120 60
8 : slabdata 2 2 0
biovec-1 347 609 16 203 1 : tunables 120 60
8 : slabdata 3 3 180
bio 601 720 128 30 1 : tunables 120 60
8 : slabdata 24 24 180
utrace_engine_cache 0 0 32 113 1 : tunables 120 60
8 : slabdata 0 0 0
utrace_cache 0 0 32 113 1 : tunables 120 60
8 : slabdata 0 0 0
sock_inode_cache 275 308 512 7 1 : tunables 54 27
8 : slabdata 44 44 0
skbuff_fclone_cache 96 120 384 10 1 : tunables 54 27
8 : slabdata 12 12 13
skbuff_head_cache 1302 1905 256 15 1 : tunables 120 60
8 : slabdata 127 127 0
file_lock_cache 68 108 108 36 1 : tunables 120 60
8 : slabdata 3 3 0
Acpi-Operand 1563 1656 40 92 1 : tunables 120 60
8 : slabdata 18 18 0
Acpi-ParseExt 0 0 44 84 1 : tunables 120 60
8 : slabdata 0 0 0
Acpi-Parse 0 0 28 127 1 : tunables 120 60
8 : slabdata 0 0 0
Acpi-State 0 0 44 84 1 : tunables 120 60
8 : slabdata 0 0 0
Acpi-Namespace 651 676 20 169 1 : tunables 120 60
8 : slabdata 4 4 0
delayacct_cache 330 756 60 63 1 : tunables 120 60
8 : slabdata 12 12 0
taskstats_cache 46 106 72 53 1 : tunables 120 60
8 : slabdata 2 2 0
proc_inode_cache 1748 1809 440 9 1 : tunables 54 27
8 : slabdata 201 201 0
sigqueue 262 297 144 27 1 : tunables 120 60
8 : slabdata 11 11 0
radix_tree_node 10462 10486 276 14 1 : tunables 54 27
8 : slabdata 749 749 0
bdev_cache 62 70 576 7 1 : tunables 54 27
8 : slabdata 10 10 0
sysfs_dir_cache 6280 6384 44 84 1 : tunables 120 60
8 : slabdata 76 76 0
mnt_cache 39 90 128 30 1 : tunables 120 60
8 : slabdata 3 3 0
inode_cache 2367 2367 424 9 1 : tunables 54 27
8 : slabdata 263 263 0
dentry_cache 21759 21866 148 26 1 : tunables 120 60
8 : slabdata 841 841 0
filp 2088 2460 192 20 1 : tunables 120 60
8 : slabdata 123 123 108
names_cache 53 53 4096 1 1 : tunables 24 12
8 : slabdata 53 53 12
avc_node 9 72 52 72 1 : tunables 120 60
8 : slabdata 1 1 0
selinux_inode_security 912 1008 60 63 1 : tunables 120
60 8 : slabdata 16 16 0
key_jar 10 30 128 30 1 : tunables 120 60
8 : slabdata 1 1 0
idr_layer_cache 143 145 136 29 1 : tunables 120 60
8 : slabdata 5 5 0
buffer_head 237877 237960 52 72 1 : tunables 120 60
8 : slabdata 3305 3305 60
mm_struct 196 196 512 7 1 : tunables 54 27
8 : slabdata 28 28 0
vm_area_struct 6078 6336 88 44 1 : tunables 120 60
8 : slabdata 144 144 144
fs_cache 230 413 64 59 1 : tunables 120 60
8 : slabdata 7 7 0
files_cache 175 220 384 10 1 : tunables 54 27
8 : slabdata 22 22 0
signal_cache 253 279 448 9 1 : tunables 54 27
8 : slabdata 31 31 0
sighand_cache 207 213 1344 3 1 : tunables 24 12
8 : slabdata 71 71 6
task_struct 250 270 1392 5 2 : tunables 24 12
8 : slabdata 54 54 6
anon_vma 1942 2175 24 145 1 : tunables 120 60
8 : slabdata 15 15 0
pgd 192 452 32 113 1 : tunables 120 60
8 : slabdata 4 4 0
pmd 323 329 4096 1 1 : tunables 24 12
8 : slabdata 323 329 6
pid 354 808 36 101 1 : tunables 120 60
8 : slabdata 8 8 0
size-131072(DMA) 0 0 131072 1 32 : tunables 8 4
0 : slabdata 0 0 0
size-131072 0 0 131072 1 32 : tunables 8 4
0 : slabdata 0 0 0
size-65536(DMA) 0 0 65536 1 16 : tunables 8 4
0 : slabdata 0 0 0
size-65536 3 3 65536 1 16 : tunables 8 4
0 : slabdata 3 3 0
size-32768(DMA) 0 0 32768 1 8 : tunables 8 4
0 : slabdata 0 0 0
size-32768 16 16 32768 1 8 : tunables 8 4
0 : slabdata 16 16 0
size-16384(DMA) 0 0 16384 1 4 : tunables 8 4
0 : slabdata 0 0 0
size-16384 1 1 16384 1 4 : tunables 8 4
0 : slabdata 1 1 0
size-8192(DMA) 0 0 8192 1 2 : tunables 8 4
0 : slabdata 0 0 0
size-8192 9 9 8192 1 2 : tunables 8 4
0 : slabdata 9 9 0
size-4096(DMA) 0 0 4096 1 1 : tunables 24 12
8 : slabdata 0 0 0
size-4096 305 310 4096 1 1 : tunables 24 12
8 : slabdata 305 310 0
size-2048(DMA) 0 0 2048 2 1 : tunables 24 12
8 : slabdata 0 0 0
size-2048 1279 1306 2048 2 1 : tunables 24 12
8 : slabdata 653 653 0
size-1024(DMA) 0 0 1024 4 1 : tunables 54 27
8 : slabdata 0 0 0
size-1024 342 356 1024 4 1 : tunables 54 27
8 : slabdata 89 89 13
size-512(DMA) 0 0 512 8 1 : tunables 54 27
8 : slabdata 0 0 0
size-512 645 680 512 8 1 : tunables 54 27
8 : slabdata 85 85 0
size-256(DMA) 0 0 256 15 1 : tunables 120 60
8 : slabdata 0 0 0
size-256 602 675 256 15 1 : tunables 120 60
8 : slabdata 45 45 0
size-128(DMA) 0 0 128 30 1 : tunables 120 60
8 : slabdata 0 0 0
size-64(DMA) 0 0 64 59 1 : tunables 120 60
8 : slabdata 0 0 0
size-32(DMA) 0 0 32 113 1 : tunables 120 60
8 : slabdata 0 0 0
size-32 4492 4633 32 113 1 : tunables 120 60
8 : slabdata 41 41 0
size-128 1745 1890 128 30 1 : tunables 120 60
8 : slabdata 63 63 0
size-64 5104 6490 64 59 1 : tunables 120 60
8 : slabdata 110 110 0
kmem_cache 135 150 256 15 1 : tunables 120 60
8 : slabdata 10 10 0
Then we ran the test again and cranked up the traffic. It took a few
minutes and then it happened again.
IPVS: ip_vs_conn_new: no memory available.
IPVS: ip_vs_conn_new: no memory available.
IPVS: ip_vs_conn_new: no memory available.
IPVS: ip_vs_conn_new: no memory available.
IPVS: ip_vs_conn_new: no memory available.
IPVS: ip_vs_conn_new: no memory available.
IPVS: ip_vs_conn_new: no memory available.
IPVS: ip_vs_conn_new: no memory available.
IPVS: ip_vs_conn_new: no memory available.
Heres what "free" and "slabinfo" say after the test.
[root@jackets-a upgrade]# free
total used free shared buffers
cached
Mem: 8313112 1371072 6942040 0 62200
334064
-/+ buffers/cache: 974808 7338304
Swap: 2048184 0 2048184
[root@jackets-a upgrade]# cat /proc/slabinfo
slabinfo - version: 2.1
# name <active_objs> <num_objs> <objsize> <objperslab>
<pagesperslab> : tunables <limit> <batchcount> <sharedfactor> : slabdata
<active_slabs> <num_slabs> <sharedavail>
ip_vs_conn 2774925 2774925 256 15 1 : tunables 120 60
8 : slabdata 184995 184995 0
ip_fib_alias 18 113 32 113 1 : tunables 120 60
8 : slabdata 1 1 0
ip_fib_hash 18 113 32 113 1 : tunables 120 60
8 : slabdata 1 1 0
jbd_4k 4 4 4096 1 1 : tunables 24 12
8 : slabdata 4 4 0
dm-snapshot-in 128 177 64 59 1 : tunables 120 60
8 : slabdata 3 3 0
dm-snapshot-ex 0 0 24 145 1 : tunables 120 60
8 : slabdata 0 0 0
dm_mpath 0 0 28 127 1 : tunables 120 60
8 : slabdata 0 0 0
dm_tio 1481 1624 16 203 1 : tunables 120 60
8 : slabdata 8 8 0
dm_io 1457 1521 20 169 1 : tunables 120 60
8 : slabdata 9 9 0
uhci_urb_priv 0 0 28 127 1 : tunables 120 60
8 : slabdata 0 0 0
jbd_1k 0 0 1024 4 1 : tunables 54 27
8 : slabdata 0 0 0
ext3_inode_cache 1563 3936 600 6 1 : tunables 54 27
8 : slabdata 656 656 216
ext3_xattr 0 0 48 78 1 : tunables 120 60
8 : slabdata 0 0 0
journal_handle 84 169 20 169 1 : tunables 120 60
8 : slabdata 1 1 0
journal_head 365 864 52 72 1 : tunables 120 60
8 : slabdata 12 12 0
revoke_table 28 254 12 254 1 : tunables 120 60
8 : slabdata 1 1 0
revoke_record 16 203 16 203 1 : tunables 120 60
8 : slabdata 1 1 0
scsi_cmd_cache 84 140 384 10 1 : tunables 54 27
8 : slabdata 14 14 0
sgpool-128 32 33 2560 3 2 : tunables 24 12
8 : slabdata 11 11 0
sgpool-64 34 36 1280 3 1 : tunables 24 12
8 : slabdata 12 12 0
sgpool-32 39 48 640 6 1 : tunables 54 27
8 : slabdata 8 8 0
sgpool-16 39 40 384 10 1 : tunables 54 27
8 : slabdata 4 4 0
sgpool-8 225 225 256 15 1 : tunables 120 60
8 : slabdata 15 15 0
scsi_io_context 0 0 104 37 1 : tunables 120 60
8 : slabdata 0 0 0
UNIX 187 246 640 6 1 : tunables 54 27
8 : slabdata 41 41 0
flow_cache 0 0 128 30 1 : tunables 120 60
8 : slabdata 0 0 0
cfq_ioc_pool 130 210 92 42 1 : tunables 120 60
8 : slabdata 5 5 0
cfq_pool 112 160 96 40 1 : tunables 120 60
8 : slabdata 4 4 0
crq_pool 287 336 44 84 1 : tunables 120 60
8 : slabdata 4 4 0
deadline_drq 0 0 44 84 1 : tunables 120 60
8 : slabdata 0 0 0
as_arq 0 0 56 67 1 : tunables 120 60
8 : slabdata 0 0 0
mqueue_inode_cache 1 6 640 6 1 : tunables 54 27
8 : slabdata 1 1 0
isofs_inode_cache 0 0 452 8 1 : tunables 54 27
8 : slabdata 0 0 0
hugetlbfs_inode_cache 1 9 424 9 1 : tunables 54
27 8 : slabdata 1 1 0
ext2_inode_cache 0 0 584 7 1 : tunables 54 27
8 : slabdata 0 0 0
ext2_xattr 0 0 48 78 1 : tunables 120 60
8 : slabdata 0 0 0
dnotify_cache 0 0 20 169 1 : tunables 120 60
8 : slabdata 0 0 0
dquot 0 0 256 15 1 : tunables 120 60
8 : slabdata 0 0 0
eventpoll_pwq 0 0 36 101 1 : tunables 120 60
8 : slabdata 0 0 0
eventpoll_epi 0 0 128 30 1 : tunables 120 60
8 : slabdata 0 0 0
inotify_event_cache 0 0 28 127 1 : tunables 120 60
8 : slabdata 0 0 0
inotify_watch_cache 1 92 40 92 1 : tunables 120 60
8 : slabdata 1 1 0
kioctx 0 0 256 15 1 : tunables 120 60
8 : slabdata 0 0 0
kiocb 0 0 128 30 1 : tunables 120 60
8 : slabdata 0 0 0
fasync_cache 0 0 16 203 1 : tunables 120 60
8 : slabdata 0 0 0
shmem_inode_cache 536 546 532 7 1 : tunables 54 27
8 : slabdata 78 78 0
posix_timers_cache 0 0 100 39 1 : tunables 120 60
8 : slabdata 0 0 0
uid_cache 5 59 64 59 1 : tunables 120 60
8 : slabdata 1 1 0
ip_mrt_cache 0 0 128 30 1 : tunables 120 60
8 : slabdata 0 0 0
tcp_bind_bucket 117 406 16 203 1 : tunables 120 60
8 : slabdata 2 2 0
inet_peer_cache 10 59 64 59 1 : tunables 120 60
8 : slabdata 1 1 0
secpath_cache 0 0 32 113 1 : tunables 120 60
8 : slabdata 0 0 0
xfrm_dst_cache 0 0 384 10 1 : tunables 54 27
8 : slabdata 0 0 0
ip_dst_cache 89 150 256 15 1 : tunables 120 60
8 : slabdata 10 10 0
arp_cache 11 15 256 15 1 : tunables 120 60
8 : slabdata 1 1 0
RAW 5 6 640 6 1 : tunables 54 27
8 : slabdata 1 1 0
UDP 19 36 640 6 1 : tunables 54 27
8 : slabdata 6 6 0
tw_sock_TCP 90 90 128 30 1 : tunables 120 60
8 : slabdata 3 3 0
request_sock_TCP 0 0 64 59 1 : tunables 120 60
8 : slabdata 0 0 0
TCP 52 57 1280 3 1 : tunables 24 12
8 : slabdata 19 19 0
blkdev_ioc 89 254 28 127 1 : tunables 120 60
8 : slabdata 2 2 0
blkdev_queue 38 44 1016 4 1 : tunables 54 27
8 : slabdata 11 11 0
blkdev_requests 230 230 172 23 1 : tunables 120 60
8 : slabdata 10 10 0
biovec-256 11 12 3072 2 2 : tunables 24 12
8 : slabdata 6 6 0
biovec-128 15 15 1536 5 2 : tunables 24 12
8 : slabdata 3 3 0
biovec-64 23 30 768 5 1 : tunables 54 27
8 : slabdata 6 6 0
biovec-16 99 165 256 15 1 : tunables 120 60
8 : slabdata 11 11 0
biovec-4 48 118 64 59 1 : tunables 120 60
8 : slabdata 2 2 0
biovec-1 397 609 16 203 1 : tunables 120 60
8 : slabdata 3 3 204
bio 594 690 128 30 1 : tunables 120 60
8 : slabdata 23 23 144
utrace_engine_cache 0 0 32 113 1 : tunables 120 60
8 : slabdata 0 0 0
utrace_cache 0 0 32 113 1 : tunables 120 60
8 : slabdata 0 0 0
sock_inode_cache 256 308 512 7 1 : tunables 54 27
8 : slabdata 44 44 0
skbuff_fclone_cache 75 120 384 10 1 : tunables 54 27
8 : slabdata 12 12 0
skbuff_head_cache 1273 1890 256 15 1 : tunables 120 60
8 : slabdata 126 126 30
file_lock_cache 90 108 108 36 1 : tunables 120 60
8 : slabdata 3 3 0
Acpi-Operand 1563 1656 40 92 1 : tunables 120 60
8 : slabdata 18 18 0
Acpi-ParseExt 0 0 44 84 1 : tunables 120 60
8 : slabdata 0 0 0
Acpi-Parse 0 0 28 127 1 : tunables 120 60
8 : slabdata 0 0 0
Acpi-State 0 0 44 84 1 : tunables 120 60
8 : slabdata 0 0 0
Acpi-Namespace 651 676 20 169 1 : tunables 120 60
8 : slabdata 4 4 0
delayacct_cache 390 756 60 63 1 : tunables 120 60
8 : slabdata 12 12 0
taskstats_cache 28 106 72 53 1 : tunables 120 60
8 : slabdata 2 2 0
proc_inode_cache 461 1656 440 9 1 : tunables 54 27
8 : slabdata 184 184 82
sigqueue 166 297 144 27 1 : tunables 120 60
8 : slabdata 11 11 0
radix_tree_node 3237 7420 276 14 1 : tunables 54 27
8 : slabdata 530 530 128
bdev_cache 62 70 576 7 1 : tunables 54 27
8 : slabdata 10 10 0
sysfs_dir_cache 6280 6384 44 84 1 : tunables 120 60
8 : slabdata 76 76 0
mnt_cache 39 90 128 30 1 : tunables 120 60
8 : slabdata 3 3 0
inode_cache 1252 1548 424 9 1 : tunables 54 27
8 : slabdata 172 172 0
dentry_cache 3909 15262 148 26 1 : tunables 120 60
8 : slabdata 587 587 480
filp 2084 2560 192 20 1 : tunables 120 60
8 : slabdata 128 128 60
names_cache 49 49 4096 1 1 : tunables 24 12
8 : slabdata 49 49 0
avc_node 9 72 52 72 1 : tunables 120 60
8 : slabdata 1 1 0
selinux_inode_security 912 1008 60 63 1 : tunables 120
60 8 : slabdata 16 16 0
key_jar 10 30 128 30 1 : tunables 120 60
8 : slabdata 1 1 0
idr_layer_cache 143 145 136 29 1 : tunables 120 60
8 : slabdata 5 5 0
buffer_head 17426 89712 52 72 1 : tunables 120 60
8 : slabdata 1246 1246 480
mm_struct 196 196 512 7 1 : tunables 54 27
8 : slabdata 28 28 0
vm_area_struct 6119 6336 88 44 1 : tunables 120 60
8 : slabdata 144 144 120
fs_cache 163 413 64 59 1 : tunables 120 60
8 : slabdata 7 7 0
files_cache 189 220 384 10 1 : tunables 54 27
8 : slabdata 22 22 0
signal_cache 262 279 448 9 1 : tunables 54 27
8 : slabdata 31 31 0
sighand_cache 210 210 1344 3 1 : tunables 24 12
8 : slabdata 70 70 0
task_struct 249 270 1392 5 2 : tunables 24 12
8 : slabdata 54 54 12
anon_vma 1965 2175 24 145 1 : tunables 120 60
8 : slabdata 15 15 0
pgd 246 452 32 113 1 : tunables 120 60
8 : slabdata 4 4 0
pmd 322 328 4096 1 1 : tunables 24 12
8 : slabdata 322 328 12
pid 413 808 36 101 1 : tunables 120 60
8 : slabdata 8 8 0
size-131072(DMA) 0 0 131072 1 32 : tunables 8 4
0 : slabdata 0 0 0
size-131072 0 0 131072 1 32 : tunables 8 4
0 : slabdata 0 0 0
size-65536(DMA) 0 0 65536 1 16 : tunables 8 4
0 : slabdata 0 0 0
size-65536 3 3 65536 1 16 : tunables 8 4
0 : slabdata 3 3 0
size-32768(DMA) 0 0 32768 1 8 : tunables 8 4
0 : slabdata 0 0 0
size-32768 16 16 32768 1 8 : tunables 8 4
0 : slabdata 16 16 0
size-16384(DMA) 0 0 16384 1 4 : tunables 8 4
0 : slabdata 0 0 0
size-16384 1 1 16384 1 4 : tunables 8 4
0 : slabdata 1 1 0
size-8192(DMA) 0 0 8192 1 2 : tunables 8 4
0 : slabdata 0 0 0
size-8192 9 9 8192 1 2 : tunables 8 4
0 : slabdata 9 9 0
size-4096(DMA) 0 0 4096 1 1 : tunables 24 12
8 : slabdata 0 0 0
size-4096 298 304 4096 1 1 : tunables 24 12
8 : slabdata 298 304 6
size-2048(DMA) 0 0 2048 2 1 : tunables 24 12
8 : slabdata 0 0 0
size-2048 1284 1302 2048 2 1 : tunables 24 12
8 : slabdata 651 651 0
size-1024(DMA) 0 0 1024 4 1 : tunables 54 27
8 : slabdata 0 0 0
size-1024 351 356 1024 4 1 : tunables 54 27
8 : slabdata 89 89 0
size-512(DMA) 0 0 512 8 1 : tunables 54 27
8 : slabdata 0 0 0
size-512 631 680 512 8 1 : tunables 54 27
8 : slabdata 85 85 0
size-256(DMA) 0 0 256 15 1 : tunables 120 60
8 : slabdata 0 0 0
size-256 610 660 256 15 1 : tunables 120 60
8 : slabdata 44 44 0
size-128(DMA) 0 0 128 30 1 : tunables 120 60
8 : slabdata 0 0 0
size-64(DMA) 0 0 64 59 1 : tunables 120 60
8 : slabdata 0 0 0
size-32(DMA) 0 0 32 113 1 : tunables 120 60
8 : slabdata 0 0 0
size-32 4513 4633 32 113 1 : tunables 120 60
8 : slabdata 41 41 0
size-128 1728 1890 128 30 1 : tunables 120 60
8 : slabdata 63 63 0
size-64 4873 6490 64 59 1 : tunables 120 60
8 : slabdata 110 110 30
kmem_cache 135 150 256 15 1 : tunables 120 60
8 : slabdata 10 10 0
So the only thing I see shooting up higher in memory used is
buffers/cache used seems to grow. But in the slabinfo the ip_vs_conn
active objects grows fast. I watched it grow during the test from 39K
objects to over 2 million objects. Maybe something isn't being reset or
returned to the pool. We are running the OPS patch(one packet
scheduling) because we are using LVS for the udp service DNS. I'm sure
it treats connections differently than the regularly hashed connections
thing.
If you need anything else let me know. I have a reproducer now that
makes it happen regularly.
Mike
-----Original Message-----
From: lvs-users-bounces@xxxxxxxxxxxxxxxxxxxxxx
[mailto:lvs-users-bounces@xxxxxxxxxxxxxxxxxxxxxx] On Behalf Of Roberto
Nibali
Sent: Tuesday, March 13, 2007 5:26 PM
To: LinuxVirtualServer.org users mailing list.
Subject: Re: LVS performance bug
> I am running the 2.6.18 kernel on our servers with a directord and 2
> realservers running LVS-NAT for DNS queries. Everything works great
> but we cranked up the traffic to about 18000 queries sent to the
> director. Each query is 91 bytes and each response is about 290 bytes
> for a total of about 5.5 megabytes/second of data.
These numbers make sense ...
> It runs for awhile but then an error comes out "IPVS: ip_vs_conn_new:
> no memory available."This error comes out about 5-6 times and then the
> server boots. Has anyone else seen this? I tested this back
What's your hardware configuration and how much RAM do you have (I guess
about 1GB?)?
Please send following information when this happens:
cat /proc/slabinfo
> with the 2.4 kernel and and was running 32000 queries and the director
> was up and stable.
Yeah, recently I've seen that the structure to hold the connection
template entries has increased from 128 to 256 bytes. This could be an
explanation.
Best regards,
Roberto Nibali, ratz
--
echo
'[q]sa[ln0=aln256%Pln256/snlbx]sb3135071790101768542287578439snlbxq' |
dc _______________________________________________
LinuxVirtualServer.org mailing list - lvs-users@xxxxxxxxxxxxxxxxxxxxxx
Send requests to lvs-users-request@xxxxxxxxxxxxxxxxxxxxxx
or go to http://www.in-addr.de/mailman/listinfo/lvs-users
|
