このページの目次
トラブルシューティング
ログ
トラブルシューティングでは、通常、次のログを確認すると役立ちます。
/var/log/apache/netrounds_access.log
: コントロールセンターのウェブインターフェイスに対して行われたすべてのHTTPリクエスト。/var/log/apache/netrounds_error.log
: コントロールセンターのウェブGUIに向けたHTTPリクエストに対してApacheから報告されたエラー。コントロール・センター・バックエンドからのコンソール出力もこのファイルにあります。既定では、すべてのログ記録はコンソールによって行われます。/var/log/syslog
: 一般システムログ。/var/log/mail.log
: 電子メール サーバー ログ。dmesg
: カーネルログ
また、行を変更して追加のログイン /etc/netrounds/netrounds.conf
をオンにすると役立つ場合があります
LOGGING['handlers']['console']['level'] = 'ERROR'
宛先
LOGGING['handlers']['console']['level'] = 'DEBUG'
Paragon Active Assuranceコール実行者のログを表示する別の方法は、 ユーティリティを使用すること journalctl
です。
journalctl -u netrounds-callexecuter
journalctl
詳細については、こちらをご覧ください: www.digitalocean.com/community/tutorials/how-to-use-journalctl-to-view-and-manipulate-systemd-logs.
ログの詳細なリストについては、『オペレーションガイド』の「 システムの監視」の章を参照してください。
テストエージェントのローカルコンソールのルートシェルオプション
Paragon Active Assuranceの指示の下、テストエージェントのルートシェルにログインすることで、追加のトラブルシューティングを実行できます。これは、テストエージェントのローカル管理コンソールから行います。
ローカルコンソールへのアクセス方法は、アプリ内ヘルプの「テストエージェント」の「ローカルコンソールからのテストエージェントの設定」>で説明しています。
- [ ユーティリティ ] に移動し、[ ルート シェル] を選択します。
- パスワード
onlyfordebugaccess
でログインします。
ルートシェルプロンプトが表示されます。
root パスワードは、root シェル passwd
内で コマンドを使用して変更できます。または、ローカルコンソールの [rootパスワードの変更 ]オプションを使用してこれを行うこともできます。
ルートシェルでテストエージェントに変更を加えると、テストエージェントが誤動作したり、保証が無効になったりする可能性があります。ご不明な点がございましたら、先に進む前に必ずジュニパーのスタッフにご相談ください。
以下のサブセクションでは、特定の問題を扱います。
問題: ライセンスの適用に失敗する
推奨されるアクション:
-
まず、ライセンス サービスを再起動してみてください。
sudo systemctl restart netrounds-license-daemon
-
それでも問題が解決しない場合は、『操作ガイド』の「 システムからのライセンスの削除」の章の説明に従って、すべてのライセンスをワイプして再適用できます。
問題: サービスにアクセスできない
推奨されるアクション:
-
次のコマンドでサービスの状態を確認します。
sudo systemctl status "netrounds-*" openvpn@netrounds sudo systemctl status apache2 openvpn@netrounds
-
ホスト名が正しいIPに解決されることを確認します(例
dig
:またはping
-
リスニングポートを確認する
netstat -lan
-
ネットワークトラフィックの確認
tcpdump
問題: データが収集されない
- 考えられる原因: NTP 時刻同期の問題。これにより、サーバーによって生成された結果ビューに時間オフセットが導入されるため、これらのビューに結果が表示されるまでに時間がかかる場合があります。
- 考えられる原因: 空きディスク領域がありません。
問題: データ収集が遅い、またはデータが失われる
- 考えられる原因: テストとモニターがキューに入っているため、データ収集が遅れています。
コマンドを実行します
ncc status
そして、キューの長さを示す の値 scheduled_call_latency
を確認します。詳細と推奨される対処方法については、運用ガイドの「 リンクタイトルなし」の章の「コントロールセンター」セクションを参照してください。
問題: ncc 移行コマンドが失敗する
- 考えられる原因: 飼育係がダウンしました。
コマンドが失敗し ncc migrate
、「Kafkaトピックを作成できません」というエラーメッセージが表示される場合は、コントロールセンターがZookeeperサーバープロセスを開始できないことが原因である可能性があります。Kafka は Zookeeper に依存しており、正しく動作するためには Zookeeper が実行されている必要があります。
特定の Zookeeper ファイルが破損し、Java EOF 例外が発生するという既知の問題があります。このログを確認するには、次のコマンドを実行します
sudo tail -n 100 /var/log/syslog
動物園の飼育係に関連するエントリを探します ERROR
。
2021-02-20 18:55:13,302 - ERROR [main:ZooKeeperServerMain@64] - Unexpected exception, exiting abnormally java.io.EOFException
これを修正するには、フォルダー内にあるサイズ 0 のファイルをすべて削除します /var/lib/zookeeper/version-2
。まず、次のファイルを特定します。
/var/lib/zookeeper/version-2# du -sh * 0K log.1 8.0K log.1dd 8.0K log.210 ...
次に、破損したファイルを削除します。
sudo rm /var/lib/zookeeper/version-2/log.1
最後に、動物園の飼育係を再起動します。
sudo systemctl restart zookeeper
問題: サービスが失敗する
- 考えられる原因: カフカはダウンしました。これは、Zookeeperの問題、またはシステムのメモリ不足が原因である可能性があります。
この場合、Kafka に依存しているサービスも失敗し、Kafka がオンラインに戻るまで再起動を試みます。
例えば、netrounds-ta3-compatサービスが失敗した場合、テストエージェントアプリケーションはコントロールセンターに登録できなくなります。
Kafkaが実行されているかどうかは、次のコマンドで確認できます。
sudo systemctl list-units --type=service | grep kafka
Kafkaがオフラインになった場合は、
journalctl -u netrounds-test-agent-gateway.service
次のようなエントリが返されます。
Oct 17 11:17:05 example.com test-agent-gateway-service[23009]: {"level":"info","service":"test-agent-gateway- service","host":"example.com","src":"core","time":"2020-10-17T11:17:05.429473575Z","caller":"/app/cmd/server/ Oct 17 11:17:06 example.com systemd[1]: netrounds-test-agent-gateway.service: Main process exited, code=exited, status=1/FAILURE Oct 17 11:17:06 example.com systemd[1]: netrounds-test-agent-gateway.service: Unit entered failed state. Oct 17 11:17:06 example.com systemd[1]: netrounds-test-agent-gateway.service: Failed with result 'exit-code'. Oct 17 11:17:07 example.com systemd[1]: netrounds-test-agent-gateway.service: Service hold-off time over, scheduling restart. Oct 17 11:17:07 example.com systemd[1]: Stopped Netrounds TA3 Connection Service.
問題:Kafkaエラー「開いているファイルが多すぎます」
- 詳細な説明: Kafkaは、数秒が経過すると再起動とクラッシュを繰り返しています。ジャーナルログに、Kafka はエラーを含むスタックトレースを表示します:
Too many open files
。 - 原因: Kafka が使用できるファイル記述子の数を管理するデフォルト設定が低すぎます。最初は許容数で十分ですが、しばらくすると小さくなりすぎる可能性があります。
解決するには:
-
コントロールセンターにログインして実行します
sudo systemctl edit kafka.service
-
エディターが開きます。次の行を挿入します。
[Service] LimitNOFILE=65536
ファイルを保存して終了します。
これで、Kafkaが正常に起動し、正常に動作するはずです。
問題: テスト エージェントは正常に登録されましたが、オンラインになりません (ステータス アイコンは赤のまま)
- 考えられる原因: ネットワークは、暗号化された VPN 接続を確立することを許可しません。テストエージェントとコントロールセンター間のファイアウォールの構成とログを確認してください。
詳細な説明:
登録はHTTPS経由で行われますが、登録後の接続設定は同じポートでOpenVPNを使用して行われます。これにより、ネットワークで登録が許可されても、接続の試行が許可されない場合があります。
- 考えられる原因: テストエージェントとコントロールセンターの時間が同期していません。両方の当事者が NTP を正しく設定していること、クロックが NTP サーバと同期していること、および NTP サーバのクロックも同期していることを確認してください。
詳細な説明:
この説明と以降の対処方法は、コントロールセンターの 新規インストール 中にテストエージェントがオンラインにならず、時刻の同期が正しくないことが確認されている場合にのみ適用されます。
テストエージェントのクロックが遅れている場合、テストエージェントの登録後、テストエージェントのクロックがコントロールセンターのクロックに従って署名した時間に達するまで、テストエージェントの観点からは、コントロールセンターによって署名されたテストエージェント用のTLS証明書は無効になります。それまでは、テストエージェントは証明書を受け付けず、オフラインのままになります。
TLS 証明書は、コントロールセンターのインストール時に生成されます。この時点でクロックが正しくなかった場合は、証明書を再生成する必要があります。これには、すべてのテストエージェントの再登録も必要になります。以下の手順に従います。
-
コントロールセンターのクロックが同期していることを確認します。
ntpq -np
-
古い証明書を削除します。
rm /var/lib/netrounds/openvpn/*
-
新しい証明書を生成します。
dpkg-reconfigure paa-test-agent-login
-
各テストエージェントを別の名前で再登録します。
-
コントロールセンターサービスを再起動します。
sudo ncc services restart
問題:TimescaleDBデータの増分バックアップが原因でディスクが不足しています
詳細な説明:
ファイルが継続的に作成されているため、ディスク容量が不足しています
/var/lib/netrounds/rrd/timescaledb/pgbackrest/repo/archive/paa-metrics/
これは、TimescaleDB の増分バックアップがデフォルトでオンになっているためです。
解決するには:
-
ファイルで
/var/lib/netrounds/rrd/timescaledb/data/postgresql.conf
、 を設定しますarchive_mode = off
をクリックして、これらのバックアップをオフにします。
-
サービスを再起動します
netrounds-timescaledb
。sudo ncc services restart netrounds-timescaledb
問題: Apache 2 サービスログから Rest API URL と TypeError にアクセスする際のエラー
REST API URL にアクセスできない場合:
apache2.log ファイルにアクセスします。
sudo journalctl -b -u apache2 > apache2.log
apache2.logファイルに トレースバックに関する次の例外があるかどうかを確認します。
Traceback (most recent call last): File "/usr/lib/python3.10/dist-packages/restol/netrounds_restol.wsgi", line 9, in <module> application = create_app(load_config()) File "/usr/lib/python3.10/dist-packages/restol/restol app.py", line 158, in create app Limiter( TypeError: Limiter.__init__() got multiple values for argument 'key_func'
- 次のいずれかの操作を行います。
apache2.logファイルにトレースバックが見つからない場合は、support.juniper.net/support/requesting-support でチケットを提出してください。apache2.log ファイルを添付する必要があります。
トレースバックがapache2.logファイルで見つかった場合」
/usr/lib/python3.10/dist-packages/restol/restol_app.py を開きます。
以下を置き換えます。
Limiter( app, default_limits=config['rate_limit_default'], headers_enabled=True, key_func=get_remote_address, )
と
Limiter( get_remote_address, app=app, default_limits=config['rate_limit_default'], headers_enabled=True )
Save /usr/lib/python3.10/dist-packages/restol/restol_app.py
Ubuntuをダウンロード–パッケージダウンロードの選択-python3-limits_2.8.0-1_all.deb。
sudo apt-get install /path/to/python3-limits_2.8.0-1_all.deb コマンドを使用して、ダウンロードしたファイルをインストールします。
メモ:/path を /prefix に変更し、 python3-limits deb パッケージ がコピーされたパスと一緒に変更してください。
sudo ncc services restart コマンドを実行して、コントロール・センター・サービスを再起動します。
問題: OpenVPN ログに BF-CBC 暗号に関連するエラーが記録されます
この問題は、古いテストエージェントがコントロールセンターリリース4.2に接続できない場合に発生します。この場合、 openvpn ログにBF-CBC暗号のサポートを追加する必要があります。
BF-CBC 暗号のサポートを追加するには:
/etc/openvpn/netrounds.confにアクセスします。
BF-CBC 暗号を /etc/openvpn/netrounds.conf に追加
data-ciphers AES-256-GCM:AES-128-GCM:BF-CBC data-ciphers-fallback BF-CBC
ジュニパーテクニカルサポートへのお問い合わせ
ジュニパーテクニカルサポートにお問い合わせいただくには、 support.juniper.net/support/requesting-support でチケットを提出してください。チケットに、コマンドを実行して生成されたファイルをアップロードしてください
ncc generate-troubleshooting-report
ファイルはユーザーのホームディレクトリ(/home/<username>
)にあります。