Responder 
 
Avaliação do Tópico:
  • 0 Votos - 0 Média
  • 1
  • 2
  • 3
  • 4
  • 5
Squid acabando com a memoria
17/12/2008, 05:37
Resposta: #1
Squid acabando com a memoria
Olá pessoal,

Minha duvida é quanto ao uso de memoria do squid, pois usando o comando top para monitorar o uso da memoria percebi que em no maximo 2 dias meu servidor ja esta usando a swap. tem alguma coisa de errado com meu squid.conf ?

comando top:

top - 06:32:45 up 1 day, 16:26, 1 user, load average: 0.00, 0.00, 0.00
Tasks: 54 total, 3 running, 51 sleeping, 0 stopped, 0 zombie
Cpu(s): 0.3%us, 0.3%sy, 0.0%ni, 99.3%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st
Mem: 1544028k total, 1515784k used, 28244k free, 140160k buffers
Swap: 1951856k total, 0k used, 1951856k free, 1164772k cached

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
2405 proxy 15 0 108m 96m 1648 R 1.0 6.4 1:22.56 squid
1 root 15 0 6124 688 568 S 0.0 0.0 0:00.60 init
2 root RT 0 0 0 0 S 0.0 0.0 0:00.00 migration/0
3 root 34 19 0 0 0 S 0.0 0.0


squid.conf

#SQUID.CONF

http_port 3128 transparent
visible_hostname trinity

cache_mem 64 MB
maximum_object_size_in_memory 1024 KB ## -->> esta diretiva parece não funcionar.
maximum_object_size 1024 KB
minimum_object_size 0 MB
cache_swap_low 90
cache_swap_high 95
cache_dir ufs /var/spool/squid 40960 16 256
cache_access_log /var/log/squid/access.log
refresh_pattern ^ftp: 15 20% 2280
refresh_pattern ^gopher: 15 0% 2280
refresh_pattern . 15 20% 2280

acl all src 0.0.0.0/0.0.0.0
acl manager proto cache_object
acl localhost src 127.0.0.1/255.255.255.255
acl SSL_ports port 443 563
acl Safe_ports port 21 80 443 563 70 210 280 488 59 777 901 1 25-65535
acl purge method PURGE
acl CONNECT method CONNECT

acl queimados url_regex -i "/etc/squid/queimados"
http_access deny queimados

acl nomes dstdom_regex "/etc/squid/nomes"
http_access deny nomes

#acl extban url_regex -i \.exe \.mp3
#http_access deny extban

http_access allow manager localhost
http_access deny manager
http_access allow purge localhost
http_access deny purge
http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports

acl redelocal src 192.168.10.0/24
http_access allow localhost
http_access allow redelocal
http_access deny all

Da uma força ai pessoal.

Abraço.

Na Luta !!!
Encontrar todas as respostas deste usuário
Citar esta mensagem em uma resposta
17/12/2008, 11:56
Resposta: #2
 
O ponto principal a meu ver é este:
load average: 0.00, 0.00, 0.00

Sua máquina está aguentando o tranco... o squid come memória mesmo.

Quanto vc tem de memoria?

O movimento está parado!
Encontrar todas as respostas deste usuário
Citar esta mensagem em uma resposta
18/12/2008, 10:57
Resposta: #3
 
Amigo agora to com 2.5GB de RAM...

tá o que eu precisava saber era se o squid vai ocupando a memoria até começar a usar a swap, isso é normal ?

Cara sou novo na conf de servidor, me da uma explicação sobre isso que vc me passou:

load average: 0.00, 0.00, 0.00

Na Luta !!!
Encontrar todas as respostas deste usuário
Citar esta mensagem em uma resposta
18/12/2008, 11:40
Resposta: #4
 
Não é configuração, é o seu "top"
http://pt.wikipedia.org/wiki/Load_average

Bom, vc tem uma memória boa, este server tem mais serviços rodando além do proxy? Muitos usuários? Vc mudou algo após ele começar a usar a swap?

No squid.conf tem os comentários bem "explicadinhos" de cada opção, vou colocar algumas q eu uso p/ vc testar ai...
cache_mem 512 MB
minimum_object_size 50 KB
maximum_object_size_in_memory 200 KB

O movimento está parado!
Encontrar todas as respostas deste usuário
Citar esta mensagem em uma resposta
19/12/2008, 05:56
Resposta: #5
 
Amigo valeu pela explicação com relação ao load avverage do comando top.

Este servidor esta fazendo NAT da conexão, DHCP, e DNS ... que estou preparando para responder para um servidor WEB com apache.
Aqui fica no maximo 9 usuarios conectados, mas estou configurando um servidor que vai fazer o msm serviço para outra empresa tem mais de 30 usuarios.

Minha intenção é aliviar a banda, com o squid fazendo cache de grandes arquivos, tipo imagens de distribuições linux,

To tentando montar um servidor de hospedagem.

Na Luta !!!
Encontrar todas as respostas deste usuário
Citar esta mensagem em uma resposta
20/12/2008, 14:21
Resposta: #6
 
planetati

Verifique os processos co estes comandos:

top -c

Dentro do top, pressione shift + M, para ordenar por memória.

Ou análise, faça:

ps auxf |grep -i squid
Encontrar todas as respostas deste usuário
Citar esta mensagem em uma resposta
08/01/2009, 05:15
Resposta: #7
 
Opa... desculpa demora.

saida do comando top -c

Tasks: 54 total, 2 running, 52 sleeping, 0 stopped, 0 zombie
Cpu(s): 0.0%us, 0.0%sy, 0.0%ni,100.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st
Mem: 2575144k total, 2498420k used, 76724k free, 183984k buffers
Swap: 1951856k total, 32k used, 1951824k free, 2045300k cached

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
2398 proxy 15 0 116m 105m 1644 S 0.0 4.2 10:37.06 (squid) -D -sYC
2206 bind 25 0 48728 5628 2152 S 0.0 0.2 1:02.86 /usr/sbin/named -u bind -t /var/lib/bind
10908 root 15 0 36932 2748 2168 R 0.0 0.1 0:00.01 sshd: [email protected]/0
10910 root 15 0 11540 1984 1408 S 0.0 0.1 0:00.00 -bash
2410 root 16 0 5116 1608 676 S 0.0 0.1 0:02.11 /usr/sbin/dhcpd3 -q eth3
2382 ntp 15 0 14076 1468 1056 S 0.0 0.1 0:00.30 /usr/sbin/ntpd -p /var/run/ntpd.pid -u 105:105 -g
10914 root 15 0 10596 1284 960 R 0.0 0.0 0:00.08 top -c
2350 root 15 0 25840 1236 784 S 0.0 0.0 0:13.34 /usr/sbin/sshd
2328 Debian-e 15 0 23344 1116 736 S 0.0 0.0 0:00.00 /usr/sbin/exim4 -bd -q30m
2369 statd 25 0 8072 844 684 S 0.0 0.0 0:00.00 /sbin/rpc.statd
2425 root 18 0 11500 808 620 S 0.0 0.0 0:00.00 /usr/sbin/cron
2188 root 15 0 5880 752 584 S 0.0 0.0 0:09.56 /sbin/syslogd
1178 root 19 -4 10596 700 324 S 0.0 0.0 0:00.04 udevd --daemon
2396 root 24 0 14396 676 372 S 0.0 0.0 0:00.00 /usr/sbin/squid -D -sYC
1 root 15 0 6120 640 532 S 0.0 0.0 0:01.77 init [2]
2340 root 24 0 5908 592 476 S 0.0 0.0 0:00.00 /usr/sbin/inetd
2285 root 18 0 2656 588 484 S 0.0 0.0 0:00.00 /usr/sbin/acpid -c /etc/acpi/events -s /var/run/acpid.socket
2452 root 18 0 2656 540 452 S 0.0 0.0 0:00.00 /sbin/getty 38400 tty1
2453 root 18 0 2656 540 452 S 0.0 0.0 0:00.00 /sbin/getty 38400 tty2
2455 root 18 0 2656 540 452 S 0.0 0.0 0:00.00 /sbin/getty 38400 tty4
2454 root 18 0 2652 536 452 S 0.0 0.0 0:00.00 /sbin/getty 38400 tty3
2458 root 18 0 2652 536 452 S 0.0 0.0 0:00.00 /sbin/getty 38400 tty5
2459 root 18 0 2652 536 452 S 0.0 0.0 0:00.00 /sbin/getty 38400 tty6
2418 daemon 18 0 9056 424 280 S 0.0 0.0 0:00.00 /usr/sbin/atd
2194 root 15 0 2660 396 308 S 0.0 0.0 0:00.00 /sbin/klogd -x
1961 daemon 17 0 4824 392 276 S 0.0 0.0 0:00.00 /sbin/portmap
2407 proxy 18 0 2496 332 264 S 0.0 0.0 0:01.28 (unlinkd)
2 root RT 0 0 0 0 S 0.0 0.0 0:00.00 [migration/0]
3 root 34 19 0 0 0 S 0.0 0.0 0:00.00 [ksoftirqd/0]
4 root RT 0 0 0 0 S 0.0 0.0 0:00.00 [watchdog/0]
5 root 10 -5 0 0 0 S 0.0 0.0 0:00.07 [events/0]
6 root 11 -5 0 0 0 S 0.0 0.0 0:00.00 [khelper]
7 root 15 -5 0 0 0 S 0.0 0.0 0:00.00 [kthread]
11 root 10 -5 0 0 0 S 0.0 0.0 0:00.09 [kblockd/0]
12 root 20 -5 0 0 0 S 0.0 0.0 0:00.00 [kacpid]
107 root 10 -5 0 0 0 S 0.0 0.0 0:00.00 [khubd]
109 root 10 -5 0 0 0 S 0.0 0.0 0:00.00 [kseriod]
155 root 25 0 0 0 0 S 0.0 0.0 0:00.00 [pdflush]
156 root 15 0 0 0 0 S 0.0 0.0 0:00.06 [pdflush]
157 root 10 -5 0 0 0 S 0.0 0.0 0:01.50 [kswapd0]
158 root 20 -5 0 0 0 S 0.0 0.0 0:00.00 [aio/0]
610 root 10 -5 0 0 0 S 0.0 0.0 0:00.00 [khpsbpkt]
613 root 16 -5 0 0 0 S 0.0 0.0 0:00.00 [ata/0]
615 root 20 -5 0 0 0 S 0.0 0.0 0:00.00 [ata_aux]
618 root 16 0 0 0 0 S 0.0 0.0 0:00.00 [knodemgrd_0]
638 root 20 -5 0 0 0 S 0.0 0.0 0:00.00 [scsi_eh_0]
640 root 20 -5 0 0 0 S 0.0 0.0 0:00.00 [scsi_eh_1]
801 root 10 -5 0 0 0 S 0.0 0.0 0:00.00 [scsi_eh_2]
802 root 10 -5 0 0 0 S 0.0 0.0 0:00.00 [scsi_eh_3]
986 root 10 -5 0 0 0 S 0.0 0.0 0:16.48 [kjournald]
1554 root 19 -5 0 0 0 S 0.0 0.0 0:00.00 [kpsmoused]
1566 root 20 -5 0 0 0 S 0.0 0.0 0:00.00 [kgameportd]
1828 root 14 -5 0 0 0 S 0.0 0.0 0:00.00 [kmirrord]
1867 root 10 -5 0 0 0 S 0.0 0.0 0:00.00 [kjournald]


ps auxf | grep -i squid
root 10916 0.0 0.0 4988 792 pts/0 S+ 06:12 0:00 \_ grep -i squid
root 2396 0.0 0.0 14396 676 ? Ss 2008 0:00 /usr/sbin/squid -D -sYC
proxy 2398 0.0 4.1 119352 107628 ? S 2008 10:37 \_ (squid) -D -sYC


Só entendi q o squid é q ta tomando conta de toda memoria, agora o servidor esta com 21 dias ligado, mas com 3 dias ja estava usando a mesma quantidade da SWAP.

Na Luta !!!
Encontrar todas as respostas deste usuário
Citar esta mensagem em uma resposta
08/01/2009, 07:47
Resposta: #8
 
Dê uma verificada no cache.log, é provável que contenha alguma coisa indicando o problema...
Encontrar todas as respostas deste usuário
Citar esta mensagem em uma resposta
14/01/2009, 08:07
Resposta: #9
 
Amigo no cache.log só tem isso...

2009/01/14 06:25:14| storeDirWriteCleanLogs: Starting...
2009/01/14 06:25:14| 65536 entries written so far.
2009/01/14 06:25:14| 131072 entries written so far.
2009/01/14 06:25:14| Finished. Wrote 175615 entries.
2009/01/14 06:25:14| Took 0.1 seconds (2188512.5 entries/sec).
2009/01/14 06:25:14| logfileRotate: /var/log/squid/store.log
2009/01/14 06:25:14| logfileRotate: /var/log/squid/access.log

Mas o que eu quero saber é o seguinte:

Se o squid consome toda memoria msm ?
Se por ex. eu colocar 4GB de Ram no servidor, ele tb vai usar toda a memoria ?
E se tem como limitar o que ele esta usando, tipo, tenho 2,5GB de Ram e quero q o squid use 1,5GB somente.

Tem como ????

Na Luta !!!
Encontrar todas as respostas deste usuário
Citar esta mensagem em uma resposta
14/01/2009, 19:48
Resposta: #10
 
No caso você chegou a monitoar o access.log, para verificar o que está sendo acessado?
Encontrar todas as respostas deste usuário
Citar esta mensagem em uma resposta
15/01/2009, 11:35
Resposta: #11
Re: Squid acabando com a memoria
planetati Escreveu:Olá pessoal,

Minha duvida é quanto ao uso de memoria do squid, pois usando o comando top para monitorar o uso da memoria percebi que em no maximo 2 dias meu servidor ja esta usando a swap. tem alguma coisa de errado com meu squid.conf ?

comando top:

top - 06:32:45 up 1 day, 16:26, 1 user, load average: 0.00, 0.00, 0.00
Tasks: 54 total, 3 running, 51 sleeping, 0 stopped, 0 zombie
Cpu(s): 0.3%us, 0.3%sy, 0.0%ni, 99.3%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st
Mem: 1544028k total, 1515784k used, 28244k free, 140160k buffers
Swap: 1951856k total, 0k used, 1951856k free, 1164772k cached

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
2405 proxy 15 0 108m 96m 1648 R 1.0 6.4 1:22.56 squid
1 root 15 0 6124 688 568 S 0.0 0.0 0:00.60 init
2 root RT 0 0 0 0 S 0.0 0.0 0:00.00 migration/0
3 root 34 19 0 0 0 S 0.0 0.0


squid.conf

#SQUID.CONF

http_port 3128 transparent
visible_hostname trinity

cache_mem 64 MB
maximum_object_size_in_memory 1024 KB ## -->> esta diretiva parece não funcionar.
maximum_object_size 1024 KB
minimum_object_size 0 MB
cache_swap_low 90
cache_swap_high 95
cache_dir ufs /var/spool/squid 40960 16 256
cache_access_log /var/log/squid/access.log
refresh_pattern ^ftp: 15 20% 2280
refresh_pattern ^gopher: 15 0% 2280
refresh_pattern . 15 20% 2280

acl all src 0.0.0.0/0.0.0.0
acl manager proto cache_object
acl localhost src 127.0.0.1/255.255.255.255
acl SSL_ports port 443 563
acl Safe_ports port 21 80 443 563 70 210 280 488 59 777 901 1 25-65535
acl purge method PURGE
acl CONNECT method CONNECT

acl queimados url_regex -i "/etc/squid/queimados"
http_access deny queimados

acl nomes dstdom_regex "/etc/squid/nomes"
http_access deny nomes

#acl extban url_regex -i \.exe \.mp3
#http_access deny extban

http_access allow manager localhost
http_access deny manager
http_access allow purge localhost
http_access deny purge
http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports

acl redelocal src 192.168.10.0/24
http_access allow localhost
http_access allow redelocal
http_access deny all

Da uma força ai pessoal.

Abraço.

Man estou com problema para que o proxy funcione transparente, como este script seu esta funcionando em modo transparente você poderia postar o sua configuração do iptables.
Encontrar todas as respostas deste usuário
Citar esta mensagem em uma resposta
18/01/2009, 10:10
Resposta: #12
 
Vai ai as regras que vc pediu:

#!/bin/sh

#Legenda:
# eth2 -> internet (ip fixo)
# eth3 -> rede interna

iptables -F
iptables -t nat -F


# Compartilha conexão #
echo "1" > /proc/sys/net/ipv4/ip_forward
iptables -t nat -A POSTROUTING -o eth2 -j SNAT --to 189.xx.xx.xxx

#Maq com acesso direto#
iptables -t nat -A PREROUTING -i eth3 -s 192.168.10.162 -j ACCEPT

#Redirecina para Proxy#
iptables -t nat -A PREROUTING -i eth3 -p tcp --dport 80 -j REDIRECT --to-port 3128

#Libera SSH#
iptables -A INPUT -p tcp --destination-port 22 -j ACCEPT

Na Luta !!!
Encontrar todas as respostas deste usuário
Citar esta mensagem em uma resposta
Responder 


Ir ao Fórum:


Usuários visualizando este tópico: 1 Visitantes

Entre em Contato | Fórum Debian | Voltar ao Topo | Voltar ao Conteúdo | Modo Leve (Arquivo) | Feeds RSS