Uszkodzony plik flows.json

Node-RED
1

Cześć, od kilku miesięcy mam problem z NR. Do najważniejszych problemów zaliczam cos takiego. Acha, NodeRed jest postawiony na proxmoxie, a home assistant mam na drugim kontenerze. (I taki zestaw na proxmoxie mam od kilku lat). Wszystko chodzi dobrze (prawie, jak sobie nie poradzę to pozwolę sobie na następne pytania) .Wracając do NodeRed. Co kilka dni na końcu pliku flows.json dopisują się cyferki
]1686038563313
1686038563381
W 2 wersach, pierwsza liczba dopisuje się za ostatnim nawiasem natomiast duga liczba w nowym wierszu. Przez to nie wczytuje się plik i nie mam żadnych flow. Wystarczy usnąć te liczby i uruchomić od nowa NodeRed (albo wczytać poprawiony flows.json) i wszystko wraca do normy. Robi mi się to co 2-3 dni ale kilka tygodni zeszło mi żebym to odkrył. Wcześniej miałem NodeRed zainstalowany jako dodatek do HA ale miałem to samo. NR i HA używam od kilku lat bezproblemowo ale od momentu (styczeń 2023) kiedy chciałem “sprzątnąć” (instalacja od nowa na tym samym sprzęcie) NR zaczęło się psuć. Kilka dni temu zrobiłem flow które zapisuje co 10sekund do pliku, PING kilku rzeczy w mojej sieci:
środa, 7 czerwca 2023 02:27:16 >> --HA:0.148–NodeRed:0.016–NASMIS:0.163–TPLINK:0.518
środa, 7 czerwca 2023 02:27:26 >> --HA:0.125–NodeRed:0.017–NASMIS:0.216–TPLINK:0.363
środa, 7 czerwca 2023 02:27:36 >> --HA:0.139–NodeRed:0.022–NASMIS:0.164–TPLINK:0.403
środa, 7 czerwca 2023 09:56:20 >> --HA:0.237–NodeRed:0.021–NASMIS:0.185–TPLINK:0.441
środa, 7 czerwca 2023 09:56:30 >> --HA:0.117–NodeRed:0.021–NASMIS:0.143–TPLINK:0.246
Nie wiem czy to ważne, ale w proxmoxie mam mniej więcej o koło godziny 2:30 zrestartowały się po kolej wszystkie kontenery. Nie wiem dlaczego, bo kopia wszystkich kontenerów robi się około 9 godziny. Kontenery są ustawione na automatyczny rozruch.

Jest też jeszcze inny problem z NodeRed. Powiązany z powyższym. Bardzo często rano NodeRed po prostu się zawiesza i nie działa. Wystarczy tylko wcisnąć DEPLOY i zaczyna wszystko działać, Choć wtedy powyższy plik z pingami innych serwerów nie ma przerwy.

i tak:
dziś: NodeRed nie chodzi np pilot włączający światło, nocne oświetlenie na czujkę ruchu.

  1. Otwieram NodeRed - widzę brak wszystkich flow.
  2. Otwieram flows.json - usuwam 2 liczby, nagrywam plik
  3. Przerwa w zapisie co 10 sekund o 2:30 w pliku z Pingami z serwerów
  4. Uruchamiam w proxmox od nowa kontener z NodeRed.
  5. W NodeRed widać wszystkie flow. Kliknięcie jakiegoś Inject - działa
  6. Zapis Pingów do pliku samoistnie się wznowił (inject co 10 sekund) od pkt 4.
  7. Dalej nie działają wszystkie inne flow np naciśnięcie pilota i włączenie światła, mówienie godziny co 30 minut itd.
  8. Pilot w HA działa tzn. w zigbe2mqtt jest odzew na naciśniecie pilota.
  9. Robię deploy w NR - wszystko wraca do normy - pilot działa, zegary gadają…

wczoraj:
NodeRed nie chodzi np pilot włączający światło, nocne oświetlenie na czujkę ruchu.

  1. Otwieram NodeRed - widzę wszystkie flow.
  3. Brak przerwy w zapisie co 10 sekund z Pingami z serwerów. CAŁY PLIK BEZ ZAKŁÓCEŃ.
  5. W NodeRed widać wszystkie flow. Kliknięcie jakiegoś Inject - działa
  7. Nie działają wszystkie inne flow np. naciśnięcie pilota i włączenie światła, mówienie godziny co 30 minut itd.
  8. Pilot w HA działa tzn. w zigbe2mqtt jest odzew na naciśniecie pilota.
  9. Robię deploy w NR - wszystko wraca do normy - pilot działa, zegary gadają…
  • Nie było restartu proxmoxa tak jak dziś o 2:30

i tak prawie zawsze rano mam niedziałający NodeRed (bez względu czy osobno czy jako dodatek do HA). Albo dopisane liczby do flows.json albo zawieszone flows - i pomaga Deploy. Od czasu do czasu oba błędy połączone jak dziś powyżej opisałem.

Co jest? co mam uszkodzone? pomożecie? Z góry dziękuję.

Pozdrawiam Robert

2

Jeśli chodzi o cyferki to wygląda to na czas w formacie Unix epoch:
1686038563313 - wtorek, 6 czerwca 2023 10:02:43.313
1686038563381 - wtorek, 6 czerwca 2023 10:02:43.381
Obstawiam jakieś problemy z zasobami i to bym sprawdził na początek.
Nie znam Proxmoxa - może jakieś logi ma co i kiedy restartował?

1 polubienie
3

NR instalowany jako dodatek zarządzany z HA ?

Jak się wszystkie restartują to raczej globalny problem, zasoby jak napisał @mietekm dysk/ssd .

4

Fajnie wiedzieć że to daty. Dzięki bardzo. Bardziej mnie interesuje co je dopisuje, czy nodered czy proxmox czy jeszcze inna cholera. Będę dalej analizował. Dzięki Tobie (oraz artpc artur) zacząłem przyglądać się zasobom… Dyski są na poziomie 20-30% natomiast pamięć na 90%. Co prawda nie wydaje mi się, że to jest przyczyna ale musze to obniżyć. Dzięki za pomoc.

@artpc NR jest na osobnym kontenerze. HA na drugim i Motion eye na trzecim. Jest jeszcze czwarty kontener na “stary zaśmiecony Home Assitant”, ale on jest włączany tylko w razie potrzeb jak chce coś podejrzeć i dodać do nowego. Tak jak pisałem wyżej, mam trop zasoby… i tam pogrzebie. Dzięki.

6

Można kombinować z lsof albo strace jeśli to jest powtarzalne.
Na początek trzeba sprawdzić czy system plików nie jest posypany i czy inne pliki nie mają podobnych wpisów.

7

Takie rzeczy (]1686038563313) nie są dopisywane do pliku przez NR czy cokolwiek innego, są to typowe błędy zapisu, teraz można zgadywać czy to przez problemy z zasobami czy sypie się twój
HDD / SSD

9

Przy ustawieniu na kontenerze HA 4GB RAM miałem wykorzystanie 3,75 GB. Jak zwiększyłem do 6 GB to wykorzystanie weszło na 4,1 GB. Czyli wcześniej pracował na “wymuszonej granicy” a przy 6GB pracuje już z niewykorzystanym zapasem. Teraz sprzątnąłem kontenery, kopie zapasowe (NodeRed przesunąłem do HA - wcześniej był osobnym kontenerem) i mam wykorzystanie działającego RAMU na poziome 2 GB przy 6 dostępnych. Miałem też błędy przy zapisie na dysku z kopiami zapasowymi - tam tez zrobiłem porządki. Dzięki za rady, coś chyba jest w tych zasobach… A teraz poobserwuję HA dalej. Jeszcze raz dziękuję, powrócę jak dalej poobserwuję :slight_smile:

Po niespełna 2 tygodniach obserwacji, zakładania pułapek, odkryłem co następuje:

  1. dopisywanie do pliku daty a co za tym idzie niszczenie wszystkich flow w Node Red było spowodowane przez “przeładowany” proxmox. Dodałem pamięci oczyściłem dyski i ograniczyłem robienie kopi bezpieczeństwa. NodeRed przeniosłem do HA jako dodatek - zrezygnowałem z dodatkowego kontenera na proxmoxie.
  2. Codzienne “zawieszanie się” NodeRed było spowodowane przez ruter Archer AX73. Kiedyś uruchomiłem w nim funkcję automatycznego resetu o 4:00. Co prawda nie rozumiem związku z resetem routera (“mój główny i jedyny dostawca internetu z kablówki”) a blokowaniem się NodeRed. Co śmieszniejsze reset routera nie powoduje braku internetu (filmy i muzyka online nie są przerywane. buforowanie?) W każdym bądź razie po wyłączeniu resetu wszystko działa bez przerwy. A wymuszony reset rutera powoduje “zamrożenie” NodeRed.
    Dziękuję wszystkim za pomoc. Problem rozwiązany !! huraaaa!
    Pozdrawiam Robert