トラフィック、デバイス管理、断続的なSSL復号化の遅延に関してのトラブルシューティング

Printer Friendly Page

※この記事は以下の記事の日本語訳です。

Troubleshooting Slowness with Traffic, Management, or Intermittent SSL Decryption

https://live.paloaltonetworks.com/t5/Management-Articles/Troubleshooting-Slowness-with-Traffic-Manag...

  

インターネットのトラフィックやデバイスの管理、あるいはPalo Alto Networksデバイスを通過するトラフィックの遅延が断続的に発生している場合、デバイス上の負荷を確認するためのコマンドがいくつかあります。それぞれについて簡易的な説明を以下に記述します。

 

> show system info – このコマンドはシステム情報を表示します。"uptime"を確認し、値がリセットされているように見える場合、デバイスかデータ プレーンはリセットされています。

hostname: Corp-FCS-vwire

ip-address: 10.16.3.222

netmask: 255.255.252.0

default-gateway: 10.16.0.1

mac-address: 00:30:48:61:67:b8

time: Wed Jan 28 21:04:19 2009

uptime: 1 days, 7:35:43

family: 4000

model: PA-4050

serial: 0001a100269

sw-version: 2.0.8-h1

app-version: 106-807

threat-version: 106-807

url-filtering-version: 2191

logdb-version: 2.0.5

 

以下のコマンドを使うことで、SSL復号化メモリの使用率を表示することができます:"sz malloc size"は監視用の値です。この値は増減すべきですが、増加しかしない場合には注意する必要があります。

> show system setting ssl-decrypt memory

> show system setting ssl-decrypt certificate-cache

proxy allocator

alloc size 516387, max 553169

fixed buf allocator, size 16767736

sz malloc size 1119232, max 1283072

 

ssl cert cache allocator

alloc size 269178, max 269178

fixed chunk allocator, size 8376144 chunk size 3072

malloc size 688128, max 688128

 

> show system resources – このコマンドは、現在のシステムのプロセッサの動作状況のスナップショットを表示します。

top - 21:55:51 up 1 day, 8:27, 1 user, load average: 0.00, 0.00, 0.00

Tasks: 77 total,  1 running, 76 sleeping,  0 stopped,  0 zombie

Cpu(s): 0.2%us, 0.1%sy, 0.0%ni 99.5%id, 0.1%wa, 0.0%hi, 0.0%si, 0.0%st

Mem:  1035916k total, 1017948k used,   17968k free,  151768k buffers

Swap: 2008084k total, 1000820k used, 1007264k free,  496848k cached

PID USER  PR  NI  VIRT  RES  SHR S %CPU %MEM   TIME+  COMMAND

  1 root  16   0  1648  472  452 S    0  0.0  0:01.11 init

  2 root  RT   0     0    0    0 S    0  0.0  0:00.00 migration/0

  3 root  34  19     0    0    0 S    0  0.0  0:00.00 ksoftirqd/0

  4 root  RT   0     0    0    0 S    0  0.0  0:00.00 migration/1

  5 root  34  19     0    0    0 S    0  0.0  0:00.00 ksoftirqd/1

  6 root  10  -5     0    0    0 S    0  0.0  0:00.00 events/0

  7 root  10  -5     0    0    0 S    0  0.0  0:00.00 events/1

  8 root  10  -5     0    0    0 S    0  0.0  0:00.00 khelper

  9 root  10  -5     0    0    0 S    0  0.0  0:00.00 kthread

 12 root  10  -5     0    0    0 S    0  0.0  0:00.01 kblockd/0

 13 root  10  -5     0    0    0 S    0  0.0  0:00.03 kblockd/1

 14 root  13  -5     0    0    0 S    0  0.0  0:00.00 kacpid

120 root  10  -5     0    0    0 S    0  0.0  0:00.00 khubd

122 root  10  -5     0    0    0 S    0  0.0  0:00.00 kseriod

178 root  15   0     0    0    0 S    0  0.0  0:00.01 pdflush

179 root  15   0     0    0    0 S    0  0.0  0:02.23 kswapd0

 

> show session info – このコマンドは、セッションの統計とセッションの設定パラメーターを表示します。アクティブなセッションが増加することを確認するために、数回このコマンドを実行します。

-----------------------------------------------------------

number of sessions supported:                   2097151

number of active sessions:                      543

number of active TCP sessions:                  378

number of active UDP sessions:                  148

number of active ICMP sessions:                 3

session table utilization:                      0%

number of sessions created since system bootup: 912668

Packet rate:                                    234/s

Throughput:                                     1067 Kbps

-----------------------------------------------------------

session timeout

  TCP default timeout:                        3600 seconds

  TCP session timeout before 3-way handshaking:  5 seconds

  TCP session timeout after FIN/RST:            30 seconds

  UDP default timeout:                          30 seconds

  ICMP default timeout:                          6 seconds

  other IP default timeout:                     30 seconds

-----------------------------------------------------------

session accelerated aging:                      enabled

  accelerated aging threshold:                  80% of utilization

  scaling factor:                               2 X

-----------------------------------------------------------

session setup

  TCP - reject non-SYN first packet:            yes

  hardware session offloading:                  yes

-----------------------------------------------------------

application trickling scan parameters:

  timeout to determine application trickling:   10 seconds

  resource utilization threhold to start scan:  80%

  scan scaling factor over regular aging:       8

-----------------------------------------------------------

 

> show system statistics – このコマンドは、リアルタイムなシステムの統計を表示します:表示を切り替えるための追加キーがあり、下記に記載しています。

Device is up          : 1 day 9 hours 10 mins 55 sec

Packet rate           : 597/s

Throughput            : 3211 Kbps

Total active sessions : 642

Active TCP sessions   : 477

Active UDP sessions   : 155

Active ICMP sessions  : 4

You can type the following key to switch what to display

--------------------------------------------------------

'a' - Display application statistics

'h' - Display this help page

'l' - Display logging statistics

'q' - Quit this program

's' - Display system statistics

 

> debug dataplane pool statistics – このコマンドは、現在のプールの使用率を表示します。2つ目の数字はバッファー サイズを表し、最初の数字は利用可能なバッファーを表しています。

Hardware Pools

[ 0] Packet Buffers            :    57240/57344    0x8000000410000000

[ 1] Work Queue Entries        :   229290/229376   0x8000000417000000

[ 2] Output Buffers            :      975/1024     0x8000000418c00000

[ 3] DFA Result                :     4095/4096     0x8000000419100000

     DFA Result                :

[ 4] Timer Buffers             :     4092/4096     0x8000000418d00000

     Timer Buffers             :

[ 5] Buffers with 256 bytes    :     1024/1024     0x8000000419500000

[ 6] Buffers with 2048 bytes   :     1023/1024     0x8000000419540000

Software Pools

[ 0] software packet buffer 0  :    65514/65536    0x8000000024d00680

[ 1] software packet buffer 1  :    32768/32768    0x8000000026d50780

[ 2] software packet buffer 2  :    32768/32768    0x8000000028d78880

[ 3] software packet buffer 3  :    32768/32768    0x800000002cda0980

[ 4] software packet buffer 4  :      256/256      0x800000004edc8a80

[ 5] Pktlog logs               :    10000/10000    0x8000000020c68930

[ 6] Pktlog threats            :     4999/5000     0x8000000020ebec70

[ 7] Pktlog packet             :     4999/5000     0x8000000020fe9e90

[ 8] Pktlog large              :       56/56       0x8000000021871cf0

[ 9] CTD Flow                  :  1048302/1048576  0x8000000099365498

[10] CTD AV Block              :       32/32       0x80000000b9865598

[11] SML VM Fields             :   130843/131072   0x80000000b986d718

[12] SML VM Vchecks            :    65536/65536    0x80000000b9d0d818

[13] Detector Threats          :    64710/65536    0x80000000b9e5d918

[14] Regex Results             :      512/512      0x8000000021bf9090

[15] TIMER Chunk               :   131072/131072   0x80000000bbbf6460

[16] FPTCP segs                :    32768/32768    0x80000000bdc96588

[17] Proxy session             :    16384/16384    0x80000000bdd3e688

[18] SSL  Handshake State      :    32768/32768    0x80000000c2892788

 

> debug dataplane show resource-monitor – このコマンドは、異なる時間におけるCPUの負荷を表示します。ここでは、90%か、それよりもっと高い値を探します。

PANOS  3.1.x > show running resource-monitor

Resource monitoring sampling data (per second):

CPU load (%) during last 60 seconds:

core  0   1   2   3   4   5   6   7   8   9  10  11  12  13  14  15

      0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0

      0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0

      0   0   0   1   0   0   0   0   0   0   0   0   0   0   0   0

      0   0   0   1   0   0   0   0   0   0   0   0   0   0   0   0

      0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0

      0   0   0   0   0   0   0   0   0   0   0   0   0   0   0   0

   -- 以下略 --

 

Resource utilization (%) during last 60 seconds:

session:

 0  0  0  0  0  0  0  0  0  0  0  0  0  0  0

 0  0  0  0  0  0  0  0  0  0  0  0  0  0  0

 0  0  0  0  0  0  0  0  0  0  0  0  0  0  0

 0  0  0  0  0  0  0  0  0  0  0  0  0  0  0

packet buffer:

 0  0  0  0  0  0  0  0  0  0  0  0  0  0  0

 0  0  0  0  0  0  0  0  0  0  0  0  0  0  0

 0  0  0  0  0  0  0  0  0  0  0  0  0  0  0

 0  0  0  0  0  0  0  0  0  0  0  0  0  0  0

packet descriptor:

 0  0  0  0  0  0  0  0  0  0  0  0  0  0  0

 0  0  0  0  0  0  0  0  0  0  0  0  0  0  0

 0  0  0  0  0  0  0  0  0  0  0  0  0  0  0

 0  0  0  0  0  0  0  0  0  0  0  0  0  0  0

packet descriptor (on-chip):

 2  1  1  1  1  1  1  1  1  1  1  2  1  1  1

 1  2  2  2  2  1  2  2  2  2  2  2  2  2  1

 1  1  2  1  2  2  1  2  2  1  1  1  1  1  1

 1  2  2  1  1  2  1  1  1  1  1  1  2  1  2

 

Resource monitoring statistics (per minute):

CPU load (%) during last 60 minutes:

core  0    1    2    3    4    5    6    7

avg max avg max avg max avg max avg max avg max avg max avg max

  0   0   0   0   0   0   0   1   0   0   0   0   0   0   0   0

  0   0   0   0   0   0   1   1   0   0   0   0   0   0   0   1

  0   0   0   0   0   0   1   2   0   1   0   1   0   1   0   1

  0   0   0   0   0   0   0   1   0   0   0   0   0   0   0   1

  0   0   0   0   0   0   1   2   0   1   0   0   0   0   0   2

 -- 以下略 --

 

> show counter global – このコマンドは、すべてのシステムのカウンタ値を表示します。"pkt recv"と"pkt sent"の値が増加していることを確認します。

Global counters:

name                           value    description

-------------------------------------------------------------------------------

pkt_recv                   128014692    Packets received

pkt_recv_err                       0    Packet receive error

pkt_recv_multiple_bufs             0    Packets received with multiple buffers

pkt_recv_short_pkt                 0    Packet receive short packets

pkt_recv_throttle_cos              0    Packets throttled by QoS control

pkt_sent                    82097891    Packets transmitted

pkt_sent_err                      13    Packet transmit error

pkt_outstanding                    0    Outstanding packet to be transmitted

pkt_alloc                    3236305    Packets allocated

 

> show counter global | match drop – このコマンドは、"drop"という文字に合致するすべてのシステム値を表示します。このコマンドを数回実行し、高い割合で増加している値を探します。

flow_rcv_err                 293    Packets dropped: flow stage receive error

flow_no_interface              0    Packets dropped: invalid interface

flow_np_rcv_err                0    Packets dropped: receive error from offload processor

flow_np_rcv_ihdr_err           0    Packets dropped: invalid packet header

flow_np_rcv_tag_err            0    Packets dropped: invalid packet header content

flow_scan_drop                 0    Session setup: denied by scan detection

flow_tcp_non_syn_drop      10886    Packets dropped: non-SYN TCP without session match

 

> show counter global | match deny - このコマンドは、"deny"という文字に合致するすべてのシステム値を表示します。このコマンドを数回実行し、高い割合で増加している値を探します。

flow_policy_deny               0    Session setup: denied by policy

flow_host_service_deny         0    Device management session denied

binahara@Corp-FCS-vwire>

 

> show counter global | match syn - このコマンドは、"syn"という文字に合致するすべてのシステム値を表示します。このコマンドを数回実行し、高い割合で増加している値を探します。

flow_tcp_non_syn                     10896    Non-SYN TCP packets without session match

flow_tcp_non_syn_drop                10896    Packets dropped: non-SYN TCP without session match

flow_parse_l4_tcpsynurg                  0    Packets dropped: invalid TCP flags (SYN+URG+*)

flow_parse_l4_tcpsynrst                  0    Packets dropped: invalid TCP flags (SYN+RST+*)

flow_parse_l4_tcpsynfin                  0    Packets dropped: invalid TCP flags (SYN+FIN+*)

flow_dos_red_tcp                         0    Packet dropped: Zone protection protocol "tcp-syn" RED

flow_dos_syncookie                       0    Packet dropped: SYN cookies maximum threshold reached

flow_dos_syncookie_cookie_sent           0    TCP SYN cookies: cookies sent

flow_dos_syncookie_ack_recv              0    TCP SYN cookies: ACKs to cookies received

flow_dos_syncookie_ack_err               0    TCP SYN cookies: Invalid ACKs received

flow_dos_syncookie_svr_ack_recv          0    TCP SYN cookies: Server ACKs received

tcp_syn_missing                      10150    miss SYN packet for tcp session

 

> show counter global | match error - このコマンドは、"error"という文字に合致するすべてのシステム値を表示します。このコマンドを数回実行し、高い割合で増加している値を探します。

pkt_recv_err                   0    Packet receive error

pkt_sent_err                  13    Packet transmit error

pkt_alloc_failure              0    Packet allocation error

pkt_alloc_failure_cos          0    Packet allocation error due to QoS control

pkt_swbuf_alloc_failure        0    Software packet buffer allocation error

wqe_alloc_failure              0    Packet descriptor allocation error

session_alloc_failure          0    Session allocation error

session_install_error          0    Sessions installation error

session_state_error            0    Session state error

session_peer_not_close         0    installation flow close error

session_timer_error            0    Session aging timer error

flow_rcv_err                 293    Packets dropped: flow stage receive error

 

> show system state - このコマンドは、すべてのシステムのスナップショットを表示します。このコマンドでは、複数行 (約1,000行) が表示されます。

<response status="success"><result>cfg.agent.buf-size: 0xf00000

cfg.agent.max-buckets: 0x8000

cfg.app.capture.disk: 0x1400000

cfg.apptracker.entries: 0x10000

cfg.capability.regex.alt: 0x0

cfg.cdfa.buf-size: 0x500000

cfg.cfg.buf-size: 0xc00000

cfg.cfg.general.max-device: 1

cfg.cfg.if-shm-size: 0x1000000

cfg.cfg.max-pool-entry: 0x200

cfg.cfg.max-ucache-entry: 0x9c40

cfg.cfg.ucache-size: 0xa00000

cfg.cfg.vsys-size-large: 0x200000

cfg.cfg.vsys-size-medium: 0x80000

cfg.cfg.vsys-size-small: 0x10000

 

参照

 

 

著者:panagent