PMM(Percona Monitoring and Management )で既存の設定が邪魔してclientの設定が失敗するとき

事象：以下の通り、pmm-serverに対して設定ができなくなった

# pmm-admin config --server 192.168.12.4
Another client with the same name 'mrn2' detected, its address is 192.168.12.5.
It has the active services so this name is not available.
Specify the other one using --client-name flag.

事象発生に至るまでの流れ

  • Slave で pmm-server の設定
  • Slave を clone するために rsync で original から copy
  • original の config で overwrite
  • server と client の config に差異が発生

おそらく、こんな流れ

Anti pattern

  • pmm-admin config --client-name <host name> --server <server_ip_address>
  • client の pmm.yaml を delete
  • server の docker image を delete
  • server の docker image を restart
  • docker image に login して設定ファイルを探す

The succeeded case

  • Original の config を slave へ copy
  • pmm.yamlの設定内容をSlave用に書き換え
  • pmm-admin repair
  • pmm-admin --password <password> add <service>

以上にて、Grafana上に表示されるようになった はじめは、蓄積した metrics を捨てなければいけないのかと心配したけど、そうならなくて良かった