HA na Proxmox i problemy z wydajnością

Cześć,

Jestem nowym użytkownikiem forum i dopiero zaczynam swoją przygodę z HA. W ciągu ostatnich kilku tygodni testuję swoją niewielką instancję HA w różnych scenariuszach. Początkowo była to maszyna wirtualna w VirtualBoxie na Windowsie 10 w oparciu o terminal HP T620 Plus. Jako, że trafił mi się dość okazyjnie NUC z procesorem i3 to przeniosłem się na niego. Niemniej jednak z racji tego, że oba rozwiązania oparte były o VirtualBoxa na Windows 10, nie działało to idealnie. Zdecydowana większość problemów dotyczyła współpracy z Conbee II, gubieniem połączenia z sensorami, itp. Po którejś z ostatnich aktualizacji pojawiły się spowolnienia czy wręcz HA zaczynało się całkowicie wieszać. Z racji tego, że wspomniany wcześniej terminal HP zbierał jedynie kurz od czasu przesiadki na NUCa, postanowiłem poeksperymentować i postawić na nim Proxmoxa. Na Proxmoxie postawiłem następnie VMke z dedykowanego obrazu i przwyróciłem backup mojej wcześniejszej instancji HA. O ile możliwościami jakie daje Proxmox jestem w pełni usatysfakcjonowany, to niestety nie pozbyłem się problemów z wydajnością. Mam wrażenie, że HA pożera u mnie dziwnie dużo zasobów. W chwli obecnej ma przydzielone wszystkie 4 rdzenie procesora i 4GB RAM a użycie osiąga przez większość czasu wartości jak na screenie.

HA też często wydaje się mocno lagować, połączenie z poziomu aplikacji zajmuje często ok. 10-15s by innym razem zając jedynie chwile, to samo dotyczy ładowania historii stanów sensorów, nawigacji po dashboardzie itp.
Dzisiaj w konsoli VMki widzę dodatkowo takie błędy:

Ewidentnie widać, że brakowało już pamięci stąd zapewne objawiało się to lagami o których wspominałem. Niby mógłbym dodać RAMu bo mam z czego (terminal ma w sumie 12GB RAM) ale na prostą jak mi się wydaje instancję HA z kilkoma sensorami zigbee i gniazdami wi-fi/zigbee + w zasadzie jedną działająca obecnie automatyzacją, to te 4GB RAM wydaje mi się, że powinno wystarczyć.
Czy HA naprawdę jest tak zasobożerne?. Gdzie szukać przyczyny takiego stanu rzeczy?.

Nie możesz oddać wszystkich zasobów sprzętu maszynie wirtualnej (proxmox potrzebuje też coś dla siebie), a skoro tak robisz to chyba błędem jest instalacja VM w proxmoxie jest niewłaściwym kierunkiem - czemu nie spróbujesz instalacji HAOS bare-metal?

Moim zdaniem daleko w mojej sytuacji do tego by zabrakło RAMu dla Proxmoxa. HA ma obecnie przydzielone 4GB z 12GB dostępnych zatem RAMu jest aż nadto by Proxmox miał się dobrze. Problemem jest jednak to ile RAMu pochłania sam HA. I jak widać po zrzutach nie o samo użycie RAMu chodzi ale i o użycie CPU. Jeśli w mojej konfiguracji to nie działa to nie wiem jak spora część społeczności używa HA w konfiguracji z RPi4. Gdzieś musi być tego przyczyna.
Poniżej zrzut przedstawiający sytuację po restarcie - jak widać użycie RAMu i CPU stale rośnie i tak będzie przez kolejne godziny pomimo tego, że nic na HA w tym czasie nie robie:

Odpowiadając też przy okazji na pytanie o instalacje bare-metal - dla mnie to marnowanie zasobów sprzętu. Na takim Proxmoxie można przeciez odpalić coś więcej jak np. PiHole lub inne małe kontenery i nadal nie powinno to istotnie zagrozić HA gdyby tylko ten nie miał takiego apetytu na zasoby hosta.

To musisz znaleźć przyczynę w swojej konfiguracji, sam HA nie jest przyczyną (dlatego wiele osób używa go na sporo słabszym sprzęcie).

No tak, to już wiem :slight_smile:. Moje pytanie jednak dotyczyło bardziej praktycznych rzeczy, tj. co, gdzie i jak sprawdzić niż samego stwierdzenia, że musze znaleźć przyczynę. Zatem jeżeli ktoś ma jakieś doświadczenie w takiej konfiguracji HA na Proxmoxie to zapraszam do dyskusji przy czym zaznaczam, że problemy z wydajnością pojawiły się już wcześniej. Obecnie gdy HA mam na Proxmoxie po prostu lepiej widać w czym jest problem, co niekoniecznie było tak oczywiste w poprzednich scenariuszach na VitualBoxie pod Windows 10.

Masz jakieś addony? W integracji Supervisora możesz włączyć monitorowanie używanych przez nie zasobów.

Wątki do przejrzenia
https://forum.arturhome.pl/tag/system-monitor
i
https://forum.arturhome.pl/tag/systemmonitor

Co do kwestii samej sytuacji - masz tzw. wyciek pamięci, ale bez diagnostyki tego się nie da stwierdzić w jakim komponencie on występuje (czytając w szklanej kuli - masz prawdopodobnie problemy w Node Red).

Mam kilka, m.in.: Mosquitto broker, Node-RED, Zigbee2MQTT, HA Google Drive Backup. Przy czym sytuacja wygląda tak, że zatrzymałem obecnie Node-RED’a i Mosquito broker a mimo to w Proxmox użycie RAMu dalej rośnie. Okazuje się jednak, że w samym HA użycie RAMu to raptem kilkaset MB obecnie, dokładnie nieco ponad 300MB przez Core. I teraz ciekawostka - to co pokazuje Proxmox to wg. zagranicznych forów: “(…)Proxmox will often report how much RAM the VM has claimed, not necessarily what’s utilized.”. Zatem to ile przydzielimy VMce zostanie w istocie zaalokowane na jej potrzeby, nie oznacza to jednak, że maszyna wirtualna faktycznie zajmuje cały ten RAM.

Tylko, że znowu z drugiej strony obecnie faktycznie to co pokazuje mi HA, czyli te 314MB przez Core + 64MB przez Supervisora ma się nijak do tego co już widziałem w ostatnich dniach. Niestety nie mam z tego zrzutu ale sytuacje będe monitorował bo na pewno tak optyistycznie jak teraz to nie wyglądało. Skądś te błędy w konsoli VMki o przepełnieniu pamięci się jednak wzięły…

Podepnę się pod temat, wprawdzie nie mam żadnych problemów z wydajnością, ale zaczęły mnie zastanawiać rozbieżności w statystykach zużycia pamięci RAM.
Po roku bezproblemowej pracy HA na proxmoxie, zajrzałem na webui proxmoxa i zainteresowało mnie zużycie pamięci RAM na poziomie 85-95%. Stwierdziłem, że może 4GB to za mało na maszynę wirtualną i zwiększyłem ilość pamięci RAM dla HA do 6GB.
Ku mojemu zdziwieniu VM zamiast 3,7GB zaczął zużywać 5,7GB.
Zerknąłem w takim przypadku na HA jakie tam pokazuje zużycie RAM i jest stabilne 1,8GB
Skąd może wynikać taka rozbieżność wyników?
Wykorzystanie z poziomu HA


Pozdrawiam Marcin

Bo pewnie HA nie odczytuje zużycia zasobów Proxmox.

Do odczytu danych z proxmox wykorzystałem

Mowisz, ze cos moze byc zle ustawione w proxmoxie?

Mówię o tym że zasoby jakie zużywa HA i VM Proxmox to dwie różne rzeczy .

Dla integracji Proxmox VM są dostępne 2 usługi:



Wiesz może jak je interpretować?

Zainstaluj sobie w HAOS Dodatek Glances (z podniesionymi uprawnieniami) to zobaczysz z wewnątrz VM jak się sprawy mają, wprawdzie sam Glances w trybie interaktywnym jest dość zasobożerny (ale możesz go nie oglądać).

przykładowa sytuacja podczas kompilacji w ESPHome

oraz gdy “nic się nie dzieje”


to z pewnością ułatwi CI interpretację tych sensorów, które masz

PS help po wciśnięciu “h” (miałem posortowane po obciążeniu procka, ale można też po zajętości pamięci)