トラフィック、デバイス管理、断続的なSSL復号化の遅延に関してのトラブルシューティング

hshirai · ‎07-27-2016

※この記事は以下の記事の日本語訳です。

Troubleshooting Slowness with Traffic, Management, or Intermittent SSL Decryption

https://live.paloaltonetworks.com/t5/Management-Articles/Troubleshooting-Slowness-with-Traffic-Manag...

インターネットのトラフィックやデバイスの管理、あるいはPalo Alto Networksデバイスを通過するトラフィックの遅延が断続的に発生している場合、デバイス上の負荷を確認するためのコマンドがいくつかあります。それぞれについて簡易的な説明を以下に記述します。

> show system info – このコマンドはシステム情報を表示します。"uptime"を確認し、値がリセットされているように見える場合、デバイスかデータプレーンはリセットされています。

hostname: Corp-FCS-vwire

ip-address: 10.16.3.222

netmask: 255.255.252.0

default-gateway: 10.16.0.1

mac-address: 00:30:48:61:67:b8

time: Wed Jan 28 21:04:19 2009

uptime: 1 days, 7:35:43

family: 4000

model: PA-4050

serial: 0001a100269

sw-version: 2.0.8-h1

app-version: 106-807

threat-version: 106-807

url-filtering-version: 2191

logdb-version: 2.0.5

以下のコマンドを使うことで、SSL復号化メモリの使用率を表示することができます："sz malloc size"は監視用の値です。この値は増減すべきですが、増加しかしない場合には注意する必要があります。

> show system setting ssl-decrypt memory

> show system setting ssl-decrypt certificate-cache

proxy allocator

alloc size 516387, max 553169

fixed buf allocator, size 16767736

sz malloc size 1119232, max 1283072

ssl cert cache allocator

alloc size 269178, max 269178

fixed chunk allocator, size 8376144 chunk size 3072

malloc size 688128, max 688128

> show system resources – このコマンドは、現在のシステムのプロセッサの動作状況のスナップショットを表示します。

top - 21:55:51 up 1 day, 8:27, 1 user, load average: 0.00, 0.00, 0.00

Tasks: 77 total, 1 running, 76 sleeping, 0 stopped, 0 zombie

Cpu(s): 0.2%us, 0.1%sy, 0.0%ni 99.5%id, 0.1%wa, 0.0%hi, 0.0%si, 0.0%st

Mem: 1035916k total, 1017948k used, 17968k free, 151768k buffers

Swap: 2008084k total, 1000820k used, 1007264k free, 496848k cached

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND

1 root 16 0 1648 472 452 S 0 0.0 0:01.11 init

2 root RT 0 0 0 0 S 0 0.0 0:00.00 migration/0

3 root 34 19 0 0 0 S 0 0.0 0:00.00 ksoftirqd/0

4 root RT 0 0 0 0 S 0 0.0 0:00.00 migration/1

5 root 34 19 0 0 0 S 0 0.0 0:00.00 ksoftirqd/1

6 root 10 -5 0 0 0 S 0 0.0 0:00.00 events/0

7 root 10 -5 0 0 0 S 0 0.0 0:00.00 events/1

8 root 10 -5 0 0 0 S 0 0.0 0:00.00 khelper

9 root 10 -5 0 0 0 S 0 0.0 0:00.00 kthread

12 root 10 -5 0 0 0 S 0 0.0 0:00.01 kblockd/0

13 root 10 -5 0 0 0 S 0 0.0 0:00.03 kblockd/1

14 root 13 -5 0 0 0 S 0 0.0 0:00.00 kacpid

120 root 10 -5 0 0 0 S 0 0.0 0:00.00 khubd

122 root 10 -5 0 0 0 S 0 0.0 0:00.00 kseriod

178 root 15 0 0 0 0 S 0 0.0 0:00.01 pdflush

179 root 15 0 0 0 0 S 0 0.0 0:02.23 kswapd0

> show session info – このコマンドは、セッションの統計とセッションの設定パラメーターを表示します。アクティブなセッションが増加することを確認するために、数回このコマンドを実行します。

-----------------------------------------------------------

number of sessions supported: 2097151

number of active sessions: 543

number of active TCP sessions: 378

number of active UDP sessions: 148

number of active ICMP sessions: 3

session table utilization: 0%

number of sessions created since system bootup: 912668

Packet rate: 234/s

Throughput: 1067 Kbps

-----------------------------------------------------------

session timeout

TCP default timeout: 3600 seconds

TCP session timeout before 3-way handshaking: 5 seconds

TCP session timeout after FIN/RST: 30 seconds

UDP default timeout: 30 seconds

ICMP default timeout: 6 seconds

other IP default timeout: 30 seconds

-----------------------------------------------------------

session accelerated aging: enabled

accelerated aging threshold: 80% of utilization

scaling factor: 2 X

-----------------------------------------------------------

session setup

TCP - reject non-SYN first packet: yes

hardware session offloading: yes

-----------------------------------------------------------

application trickling scan parameters:

timeout to determine application trickling: 10 seconds

resource utilization threhold to start scan: 80%

scan scaling factor over regular aging: 8

-----------------------------------------------------------

> show system statistics – このコマンドは、リアルタイムなシステムの統計を表示します：表示を切り替えるための追加キーがあり、下記に記載しています。

Device is up : 1 day 9 hours 10 mins 55 sec

Packet rate : 597/s

Throughput : 3211 Kbps

Total active sessions : 642

Active TCP sessions : 477

Active UDP sessions : 155

Active ICMP sessions : 4

You can type the following key to switch what to display

--------------------------------------------------------

'a' - Display application statistics

'h' - Display this help page

'l' - Display logging statistics

'q' - Quit this program

's' - Display system statistics

> debug dataplane pool statistics – このコマンドは、現在のプールの使用率を表示します。2つ目の数字はバッファーサイズを表し、最初の数字は利用可能なバッファーを表しています。

Hardware Pools

[ 0] Packet Buffers : 57240/57344 0x8000000410000000

[ 1] Work Queue Entries : 229290/229376 0x8000000417000000

[ 2] Output Buffers : 975/1024 0x8000000418c00000

[ 3] DFA Result : 4095/4096 0x8000000419100000

DFA Result :

[ 4] Timer Buffers : 4092/4096 0x8000000418d00000

Timer Buffers :

[ 5] Buffers with 256 bytes : 1024/1024 0x8000000419500000

[ 6] Buffers with 2048 bytes : 1023/1024 0x8000000419540000

Software Pools

[ 0] software packet buffer 0 : 65514/65536 0x8000000024d00680

[ 1] software packet buffer 1 : 32768/32768 0x8000000026d50780

[ 2] software packet buffer 2 : 32768/32768 0x8000000028d78880

[ 3] software packet buffer 3 : 32768/32768 0x800000002cda0980

[ 4] software packet buffer 4 : 256/256 0x800000004edc8a80

[ 5] Pktlog logs : 10000/10000 0x8000000020c68930

[ 6] Pktlog threats : 4999/5000 0x8000000020ebec70

[ 7] Pktlog packet : 4999/5000 0x8000000020fe9e90

[ 8] Pktlog large : 56/56 0x8000000021871cf0

[ 9] CTD Flow : 1048302/1048576 0x8000000099365498

[10] CTD AV Block : 32/32 0x80000000b9865598

[11] SML VM Fields : 130843/131072 0x80000000b986d718

[12] SML VM Vchecks : 65536/65536 0x80000000b9d0d818

[13] Detector Threats : 64710/65536 0x80000000b9e5d918

[14] Regex Results : 512/512 0x8000000021bf9090

[15] TIMER Chunk : 131072/131072 0x80000000bbbf6460

[16] FPTCP segs : 32768/32768 0x80000000bdc96588

[17] Proxy session : 16384/16384 0x80000000bdd3e688

[18] SSL Handshake State : 32768/32768 0x80000000c2892788

> debug dataplane show resource-monitor – このコマンドは、異なる時間におけるCPUの負荷を表示します。ここでは、90%か、それよりもっと高い値を探します。

PANOS 3.1.x > show running resource-monitor

Resource monitoring sampling data (per second):

CPU load (%) during last 60 seconds:

core 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0

0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

　　　-- 以下略 --

Resource utilization (%) during last 60 seconds:

session:

0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

packet buffer:

0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

packet descriptor:

0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

packet descriptor (on-chip):

2 1 1 1 1 1 1 1 1 1 1 2 1 1 1

1 2 2 2 2 1 2 2 2 2 2 2 2 2 1

1 1 2 1 2 2 1 2 2 1 1 1 1 1 1

1 2 2 1 1 2 1 1 1 1 1 1 2 1 2

Resource monitoring statistics (per minute):

CPU load (%) during last 60 minutes:

core 0 1 2 3 4 5 6 7

avg max avg max avg max avg max avg max avg max avg max avg max

0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0

0 0 0 0 0 0 1 1 0 0 0 0 0 0 0 1

0 0 0 0 0 0 1 2 0 1 0 1 0 1 0 1

0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 1

0 0 0 0 0 0 1 2 0 1 0 0 0 0 0 2

　-- 以下略 --

> show counter global – このコマンドは、すべてのシステムのカウンタ値を表示します。"pkt recv"と"pkt sent"の値が増加していることを確認します。

Global counters:

name value description

-------------------------------------------------------------------------------

pkt_recv 128014692 Packets received

pkt_recv_err 0 Packet receive error

pkt_recv_multiple_bufs 0 Packets received with multiple buffers

pkt_recv_short_pkt 0 Packet receive short packets

pkt_recv_throttle_cos 0 Packets throttled by QoS control

pkt_sent 82097891 Packets transmitted

pkt_sent_err 13 Packet transmit error

pkt_outstanding 0 Outstanding packet to be transmitted

pkt_alloc 3236305 Packets allocated

> show counter global | match drop – このコマンドは、"drop"という文字に合致するすべてのシステム値を表示します。このコマンドを数回実行し、高い割合で増加している値を探します。

flow_rcv_err 293 Packets dropped: flow stage receive error

flow_no_interface 0 Packets dropped: invalid interface

flow_np_rcv_err 0 Packets dropped: receive error from offload processor

flow_np_rcv_ihdr_err 0 Packets dropped: invalid packet header

flow_np_rcv_tag_err 0 Packets dropped: invalid packet header content

flow_scan_drop 0 Session setup: denied by scan detection

flow_tcp_non_syn_drop 10886 Packets dropped: non-SYN TCP without session match

> show counter global | match deny - このコマンドは、"deny"という文字に合致するすべてのシステム値を表示します。このコマンドを数回実行し、高い割合で増加している値を探します。

flow_policy_deny 0 Session setup: denied by policy

flow_host_service_deny 0 Device management session denied

binahara@Corp-FCS-vwire>

> show counter global | match syn - このコマンドは、"syn"という文字に合致するすべてのシステム値を表示します。このコマンドを数回実行し、高い割合で増加している値を探します。

flow_tcp_non_syn 10896 Non-SYN TCP packets without session match

flow_tcp_non_syn_drop 10896 Packets dropped: non-SYN TCP without session match

flow_parse_l4_tcpsynurg 0 Packets dropped: invalid TCP flags (SYN+URG+*)

flow_parse_l4_tcpsynrst 0 Packets dropped: invalid TCP flags (SYN+RST+*)

flow_parse_l4_tcpsynfin 0 Packets dropped: invalid TCP flags (SYN+FIN+*)

flow_dos_red_tcp 0 Packet dropped: Zone protection protocol "tcp-syn" RED

flow_dos_syncookie 0 Packet dropped: SYN cookies maximum threshold reached

flow_dos_syncookie_cookie_sent 0 TCP SYN cookies: cookies sent

flow_dos_syncookie_ack_recv 0 TCP SYN cookies: ACKs to cookies received

flow_dos_syncookie_ack_err 0 TCP SYN cookies: Invalid ACKs received

flow_dos_syncookie_svr_ack_recv 0 TCP SYN cookies: Server ACKs received

tcp_syn_missing 10150 miss SYN packet for tcp session

> show counter global | match error - このコマンドは、"error"という文字に合致するすべてのシステム値を表示します。このコマンドを数回実行し、高い割合で増加している値を探します。

pkt_recv_err 0 Packet receive error

pkt_sent_err 13 Packet transmit error

pkt_alloc_failure 0 Packet allocation error

pkt_alloc_failure_cos 0 Packet allocation error due to QoS control

pkt_swbuf_alloc_failure 0 Software packet buffer allocation error

wqe_alloc_failure 0 Packet descriptor allocation error

session_alloc_failure 0 Session allocation error

session_install_error 0 Sessions installation error

session_state_error 0 Session state error

session_peer_not_close 0 installation flow close error

session_timer_error 0 Session aging timer error

flow_rcv_err 293 Packets dropped: flow stage receive error

> show system state - このコマンドは、すべてのシステムのスナップショットを表示します。このコマンドでは、複数行 (約1,000行) が表示されます。

<response status="success"><result>cfg.agent.buf-size: 0xf00000

cfg.agent.max-buckets: 0x8000

cfg.app.capture.disk: 0x1400000

cfg.apptracker.entries: 0x10000

cfg.capability.regex.alt: 0x0

cfg.cdfa.buf-size: 0x500000

cfg.cfg.buf-size: 0xc00000

cfg.cfg.general.max-device: 1

cfg.cfg.if-shm-size: 0x1000000

cfg.cfg.max-pool-entry: 0x200

cfg.cfg.max-ucache-entry: 0x9c40

cfg.cfg.ucache-size: 0xa00000

cfg.cfg.vsys-size-large: 0x200000

cfg.cfg.vsys-size-medium: 0x80000

cfg.cfg.vsys-size-small: 0x10000

参照

著者：panagent

Strata

Prisma

Cortex

トラフィック、デバイス管理、断続的なSSL復号化の遅延に関してのトラブルシューティング

参照