Eki

Kubernetes Kibana çalışmama sorunu

Enes Pekkaya Kategori

Genel

elasticsearch, kibana, kubernetes

Bu yazımda size karşılaştığım bir sorun hakkında bahsetmek istedim.

Kubernetes’ de ölçeklendirebilmek için elastic search’ u ayağa kaldırdım. Herhangi bir sorun ile karşılaşmadım ama kibanayı ayağa kaldırırken gari bir şekilde içerde hata verdi.

kubectl logs -f kibana-kibana-696f869668-29zbn

Loglarına baktığımda 2 farklı hata vardı.

{"type":"log","@timestamp":"2020-10-13T20:07:27Z","tags":["info","savedobjects-service"],"pid":7,"message":"Creating index .kibana_task_manager_1."}
{"type":"log","@timestamp":"2020-10-13T20:07:27Z","tags":["info","savedobjects-service"],"pid":7,"message":"Creating index .kibana_1."}
{"type":"log","@timestamp":"2020-10-13T20:07:57Z","tags":["warning","savedobjects-service"],"pid":7,"message":"Unable to connect to Elasticsearch. Error: Request Timeout after 30000ms"}
{"type":"log","@timestamp":"2020-10-13T20:08:14Z","tags":["warning","savedobjects-service"],"pid":7,"message":"Unable to connect to Elasticsearch. Error: [resource_already_exists_exception] index [.kibana_task_manager_1/Hsv7i0z5QhCww27yIz_bvQ] already exists, with { index_uuid=\"Hsv7i0z5QhCww27yIz_bvQ\" & index=\".kibana_task_manager_1\" }"}
{"type":"log","@timestamp":"2020-10-13T20:08:14Z","tags":["warning","savedobjects-service"],"pid":7,"message":"Another Kibana instance appears to be migrating the index. Waiting for that migration to complete. If no other Kibana instance is attempting migrations, you can get past this message by deleting index .kibana_task_manager_1 and restarting Kibana."}
{"type":"log","@timestamp":"2020-10-13T20:08:14Z","tags":["warning","savedobjects-service"],"pid":7,"message":"Unable to connect to Elasticsearch. Error: [resource_already_exists_exception] index [.kibana_1/JzRq8qygTIaUG1hpd4mRhw] already exists, with { index_uuid=\"JzRq8qygTIaUG1hpd4mRhw\" & index=\".kibana_1\" }"}
{"type":"log","@timestamp":"2020-10-13T20:08:14Z","tags":["warning","savedobjects-service"],"pid":7,"message":"Another Kibana instance appears to be migrating the index. Waiting for that migration to complete. If no other Kibana instance is attempting migrations, you can get past this message by deleting index .kibana_1 and restarting Kibana."}
^C

İlgili hatayı araştırdığımda ilgili index leri silip sonra kibanayı yeniden başlattığınızda sorunun çözüleceği yönündeydi. Ben ilk olarak kibana ile alakalı bütün herşeyi silmeye kadar verdim.

lk olarak bash komutu ile container’ın içine girdikten sonra bir sonraki komutu çalıştırdım.

kubectl exec -it kibana-kibana-696f869668-29zbn /bin/bash

curl -XDELETE http://kubernetes-master:9200/.kibana

Herşeyi sildikten sonra podu da sildikte sonra otomatik yeni pod oluşturuldu fakat sorun halen devam etmekte idi.

Bu sefer bütün index’i silmektense uyarı mesajında verilen indexleri silmeye karar verdim.

curl -X DELETE "http://elasticsearch-master:9200/.kibana_task_manager_1"
curl -X DELETE "http://elasticsearch-master:9200/.kibana_1"

Podu silip tekraradan yeni pod oluştuğunda kibana başarılı şekilde ayağa kalktığını gördüm.

Eğer sadece _kibana_1 için hata veriyor ise bu sefer aşağıda alias vererek sorunu çözebilirsiniz.

curl -X POST "kubernetes-master:9200/_aliases" -H 'Content-Type: application/json' -d' { "actions" : [ { "add" : { "index" : ".kibana_1", "alias" : ".kibana" } } ] }'

Umarım sizin de sorununuz bu şekilde çözülmüştür.

Kullanılan Helm Chart :

https://github.com/elastic/helm-charts/tree/master/kibana

Referans :

https://github.com/elastic/kibana/issues/25806#issuecomment-440368831

Kubernetes Kibana çalışmama sorunu

Yorum Yapın

Etiketler

Son Yazılar

Son Yorumlar

Bağlantılar

Arşivler