※この記事は以下の記事の日本語訳です。
Troubleshooting Slowness with Traffic, Management, or Intermittent SSL Decryption
インターネットのトラフィックやデバイスの管理、あるいはPalo Alto Networksデバイスを通過するトラフィックの遅延が断続的に発生している場合、デバイス上の負荷を確認するためのコマンドがいくつかあります。それぞれについて簡易的な説明を以下に記述します。
> show system info – このコマンドはシステム情報を表示します。"uptime"を確認し、値がリセットされているように見える場合、デバイスかデータ プレーンはリセットされています。
hostname: Corp-FCS-vwire
ip-address: 10.16.3.222
netmask: 255.255.252.0
default-gateway: 10.16.0.1
mac-address: 00:30:48:61:67:b8
time: Wed Jan 28 21:04:19 2009
uptime: 1 days, 7:35:43
family: 4000
model: PA-4050
serial: 0001a100269
sw-version: 2.0.8-h1
app-version: 106-807
threat-version: 106-807
url-filtering-version: 2191
logdb-version: 2.0.5
以下のコマンドを使うことで、SSL復号化メモリの使用率を表示することができます:"sz malloc size"は監視用の値です。この値は増減すべきですが、増加しかしない場合には注意する必要があります。
> show system setting ssl-decrypt memory
> show system setting ssl-decrypt certificate-cache
proxy allocator
alloc size 516387, max 553169
fixed buf allocator, size 16767736
sz malloc size 1119232, max 1283072
ssl cert cache allocator
alloc size 269178, max 269178
fixed chunk allocator, size 8376144 chunk size 3072
malloc size 688128, max 688128
> show system resources – このコマンドは、現在のシステムのプロセッサの動作状況のスナップショットを表示します。
top - 21:55:51 up 1 day, 8:27, 1 user, load average: 0.00, 0.00, 0.00
Tasks: 77 total, 1 running, 76 sleeping, 0 stopped, 0 zombie
Cpu(s): 0.2%us, 0.1%sy, 0.0%ni 99.5%id, 0.1%wa, 0.0%hi, 0.0%si, 0.0%st
Mem: 1035916k total, 1017948k used, 17968k free, 151768k buffers
Swap: 2008084k total, 1000820k used, 1007264k free, 496848k cached
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
1 root 16 0 1648 472 452 S 0 0.0 0:01.11 init
2 root RT 0 0 0 0 S 0 0.0 0:00.00 migration/0
3 root 34 19 0 0 0 S 0 0.0 0:00.00 ksoftirqd/0
4 root RT 0 0 0 0 S 0 0.0 0:00.00 migration/1
5 root 34 19 0 0 0 S 0 0.0 0:00.00 ksoftirqd/1
6 root 10 -5 0 0 0 S 0 0.0 0:00.00 events/0
7 root 10 -5 0 0 0 S 0 0.0 0:00.00 events/1
8 root 10 -5 0 0 0 S 0 0.0 0:00.00 khelper
9 root 10 -5 0 0 0 S 0 0.0 0:00.00 kthread
12 root 10 -5 0 0 0 S 0 0.0 0:00.01 kblockd/0
13 root 10 -5 0 0 0 S 0 0.0 0:00.03 kblockd/1
14 root 13 -5 0 0 0 S 0 0.0 0:00.00 kacpid
120 root 10 -5 0 0 0 S 0 0.0 0:00.00 khubd
122 root 10 -5 0 0 0 S 0 0.0 0:00.00 kseriod
178 root 15 0 0 0 0 S 0 0.0 0:00.01 pdflush
179 root 15 0 0 0 0 S 0 0.0 0:02.23 kswapd0
> show session info – このコマンドは、セッションの統計とセッションの設定パラメーターを表示します。アクティブなセッションが増加することを確認するために、数回このコマンドを実行します。
-----------------------------------------------------------
number of sessions supported: 2097151
number of active sessions: 543
number of active TCP sessions: 378
number of active UDP sessions: 148
number of active ICMP sessions: 3
session table utilization: 0%
number of sessions created since system bootup: 912668
Packet rate: 234/s
Throughput: 1067 Kbps
-----------------------------------------------------------
session timeout
TCP default timeout: 3600 seconds
TCP session timeout before 3-way handshaking: 5 seconds
TCP session timeout after FIN/RST: 30 seconds
UDP default timeout: 30 seconds
ICMP default timeout: 6 seconds
other IP default timeout: 30 seconds
-----------------------------------------------------------
session accelerated aging: enabled
accelerated aging threshold: 80% of utilization
scaling factor: 2 X
-----------------------------------------------------------
session setup
TCP - reject non-SYN first packet: yes
hardware session offloading: yes
-----------------------------------------------------------
application trickling scan parameters:
timeout to determine application trickling: 10 seconds
resource utilization threhold to start scan: 80%
scan scaling factor over regular aging: 8
-----------------------------------------------------------
> show system statistics – このコマンドは、リアルタイムなシステムの統計を表示します:表示を切り替えるための追加キーがあり、下記に記載しています。
Device is up : 1 day 9 hours 10 mins 55 sec
Packet rate : 597/s
Throughput : 3211 Kbps
Total active sessions : 642
Active TCP sessions : 477
Active UDP sessions : 155
Active ICMP sessions : 4
You can type the following key to switch what to display
--------------------------------------------------------
'a' - Display application statistics
'h' - Display this help page
'l' - Display logging statistics
'q' - Quit this program
's' - Display system statistics
> debug dataplane pool statistics – このコマンドは、現在のプールの使用率を表示します。2つ目の数字はバッファー サイズを表し、最初の数字は利用可能なバッファーを表しています。
Hardware Pools
[ 0] Packet Buffers : 57240/57344 0x8000000410000000
[ 1] Work Queue Entries : 229290/229376 0x8000000417000000
[ 2] Output Buffers : 975/1024 0x8000000418c00000
[ 3] DFA Result : 4095/4096 0x8000000419100000
DFA Result :
[ 4] Timer Buffers : 4092/4096 0x8000000418d00000
Timer Buffers :
[ 5] Buffers with 256 bytes : 1024/1024 0x8000000419500000
[ 6] Buffers with 2048 bytes : 1023/1024 0x8000000419540000
Software Pools
[ 0] software packet buffer 0 : 65514/65536 0x8000000024d00680
[ 1] software packet buffer 1 : 32768/32768 0x8000000026d50780
[ 2] software packet buffer 2 : 32768/32768 0x8000000028d78880
[ 3] software packet buffer 3 : 32768/32768 0x800000002cda0980
[ 4] software packet buffer 4 : 256/256 0x800000004edc8a80
[ 5] Pktlog logs : 10000/10000 0x8000000020c68930
[ 6] Pktlog threats : 4999/5000 0x8000000020ebec70
[ 7] Pktlog packet : 4999/5000 0x8000000020fe9e90
[ 8] Pktlog large : 56/56 0x8000000021871cf0
[ 9] CTD Flow : 1048302/1048576 0x8000000099365498
[10] CTD AV Block : 32/32 0x80000000b9865598
[11] SML VM Fields : 130843/131072 0x80000000b986d718
[12] SML VM Vchecks : 65536/65536 0x80000000b9d0d818
[13] Detector Threats : 64710/65536 0x80000000b9e5d918
[14] Regex Results : 512/512 0x8000000021bf9090
[15] TIMER Chunk : 131072/131072 0x80000000bbbf6460
[16] FPTCP segs : 32768/32768 0x80000000bdc96588
[17] Proxy session : 16384/16384 0x80000000bdd3e688
[18] SSL Handshake State : 32768/32768 0x80000000c2892788
> debug dataplane show resource-monitor – このコマンドは、異なる時間におけるCPUの負荷を表示します。ここでは、90%か、それよりもっと高い値を探します。
PANOS 3.1.x > show running resource-monitor
Resource monitoring sampling data (per second):
CPU load (%) during last 60 seconds:
core 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
-- 以下略 --
Resource utilization (%) during last 60 seconds:
session:
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
packet buffer:
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
packet descriptor:
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
packet descriptor (on-chip):
2 1 1 1 1 1 1 1 1 1 1 2 1 1 1
1 2 2 2 2 1 2 2 2 2 2 2 2 2 1
1 1 2 1 2 2 1 2 2 1 1 1 1 1 1
1 2 2 1 1 2 1 1 1 1 1 1 2 1 2
Resource monitoring statistics (per minute):
CPU load (%) during last 60 minutes:
core 0 1 2 3 4 5 6 7
avg max avg max avg max avg max avg max avg max avg max avg max
0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0
0 0 0 0 0 0 1 1 0 0 0 0 0 0 0 1
0 0 0 0 0 0 1 2 0 1 0 1 0 1 0 1
0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 1
0 0 0 0 0 0 1 2 0 1 0 0 0 0 0 2
-- 以下略 --
> show counter global – このコマンドは、すべてのシステムのカウンタ値を表示します。"pkt recv"と"pkt sent"の値が増加していることを確認します。
Global counters:
name value description
-------------------------------------------------------------------------------
pkt_recv 128014692 Packets received
pkt_recv_err 0 Packet receive error
pkt_recv_multiple_bufs 0 Packets received with multiple buffers
pkt_recv_short_pkt 0 Packet receive short packets
pkt_recv_throttle_cos 0 Packets throttled by QoS control
pkt_sent 82097891 Packets transmitted
pkt_sent_err 13 Packet transmit error
pkt_outstanding 0 Outstanding packet to be transmitted
pkt_alloc 3236305 Packets allocated
> show counter global | match drop – このコマンドは、"drop"という文字に合致するすべてのシステム値を表示します。このコマンドを数回実行し、高い割合で増加している値を探します。
flow_rcv_err 293 Packets dropped: flow stage receive error
flow_no_interface 0 Packets dropped: invalid interface
flow_np_rcv_err 0 Packets dropped: receive error from offload processor
flow_np_rcv_ihdr_err 0 Packets dropped: invalid packet header
flow_np_rcv_tag_err 0 Packets dropped: invalid packet header content
flow_scan_drop 0 Session setup: denied by scan detection
flow_tcp_non_syn_drop 10886 Packets dropped: non-SYN TCP without session match
> show counter global | match deny - このコマンドは、"deny"という文字に合致するすべてのシステム値を表示します。このコマンドを数回実行し、高い割合で増加している値を探します。
flow_policy_deny 0 Session setup: denied by policy
flow_host_service_deny 0 Device management session denied
binahara@Corp-FCS-vwire>
> show counter global | match syn - このコマンドは、"syn"という文字に合致するすべてのシステム値を表示します。このコマンドを数回実行し、高い割合で増加している値を探します。
flow_tcp_non_syn 10896 Non-SYN TCP packets without session match
flow_tcp_non_syn_drop 10896 Packets dropped: non-SYN TCP without session match
flow_parse_l4_tcpsynurg 0 Packets dropped: invalid TCP flags (SYN+URG+*)
flow_parse_l4_tcpsynrst 0 Packets dropped: invalid TCP flags (SYN+RST+*)
flow_parse_l4_tcpsynfin 0 Packets dropped: invalid TCP flags (SYN+FIN+*)
flow_dos_red_tcp 0 Packet dropped: Zone protection protocol "tcp-syn" RED
flow_dos_syncookie 0 Packet dropped: SYN cookies maximum threshold reached
flow_dos_syncookie_cookie_sent 0 TCP SYN cookies: cookies sent
flow_dos_syncookie_ack_recv 0 TCP SYN cookies: ACKs to cookies received
flow_dos_syncookie_ack_err 0 TCP SYN cookies: Invalid ACKs received
flow_dos_syncookie_svr_ack_recv 0 TCP SYN cookies: Server ACKs received
tcp_syn_missing 10150 miss SYN packet for tcp session
> show counter global | match error - このコマンドは、"error"という文字に合致するすべてのシステム値を表示します。このコマンドを数回実行し、高い割合で増加している値を探します。
pkt_recv_err 0 Packet receive error
pkt_sent_err 13 Packet transmit error
pkt_alloc_failure 0 Packet allocation error
pkt_alloc_failure_cos 0 Packet allocation error due to QoS control
pkt_swbuf_alloc_failure 0 Software packet buffer allocation error
wqe_alloc_failure 0 Packet descriptor allocation error
session_alloc_failure 0 Session allocation error
session_install_error 0 Sessions installation error
session_state_error 0 Session state error
session_peer_not_close 0 installation flow close error
session_timer_error 0 Session aging timer error
flow_rcv_err 293 Packets dropped: flow stage receive error
> show system state - このコマンドは、すべてのシステムのスナップショットを表示します。このコマンドでは、複数行 (約1,000行) が表示されます。
<response status="success"><result>cfg.agent.buf-size: 0xf00000
cfg.agent.max-buckets: 0x8000
cfg.app.capture.disk: 0x1400000
cfg.apptracker.entries: 0x10000
cfg.capability.regex.alt: 0x0
cfg.cdfa.buf-size: 0x500000
cfg.cfg.buf-size: 0xc00000
cfg.cfg.general.max-device: 1
cfg.cfg.if-shm-size: 0x1000000
cfg.cfg.max-pool-entry: 0x200
cfg.cfg.max-ucache-entry: 0x9c40
cfg.cfg.ucache-size: 0xa00000
cfg.cfg.vsys-size-large: 0x200000
cfg.cfg.vsys-size-medium: 0x80000
cfg.cfg.vsys-size-small: 0x10000
著者:panagent