Proxmox Home Assistant ESPHome - zatrzymanie VM

[Romek_Z]

Taki kłopot, mam Home Assistant na HP t630 z proxmoxem.
Proxmox 8.3.2 świeżo uaktualniony.
HA Core 2024.12.5 na HOS 13.2
ESPHome 2024.12.2

Wszystko działało do tej pory bez zarzuty. Kłopot się pojawił, gdy zacząłem robić sobie próby z panelem LCD na ESP32S3. Plik configuracyjny yaml - ok. 1500 wierszy. Próba instalacji poprzez panel ESPHome w HA - kończy się zatrzymaniem maszyny HOS w proxmox. Można ją potem po prostu uruchomić i działa. Konfiguracja poniżej.

Nie jest to jakiś duży kłopot, bo ze względu na szybkość i tak piszę, kompiluje i instaluje wykorzystując VSC na moim MacBooku. Jednak, po zakończeniu testów chciałem końcowy plik yaml mieć na serwerze HA aby robić normalne update. Może dodam, że problem istniał również na poprzednich wersjach HA i ESPHome.

[artpc (artur)]

@Romek_Z

configuracyjny yaml

Mówisz o pliku configuration.yaml HA?

[Romek_Z]

Nie, mówię o pliku yaml urządzenia ESPHome, który próbuje kompilować.

[artpc (artur)]

@Romek_Z

1500 wierszy

Czyli masz jeden plik *.yaml w nim 1500 wierszy i go kompilujesz?

[szopen]

@Romek_Z

Plik configuracyjny yaml - ok. 1500 wierszy. Próba instalacji poprzez panel ESPHome w HA - kończy się zatrzymaniem maszyny HOS w proxmox.

Typowy objaw braku RAMu - ile masz fizycznie RAMu na hoście proxmoxa? Możesz przydzielić więcej niż te 6GB?

w YAMLu urządzenia możesz przetestować takie ustawienie

[…]
esphome:
[…]
  compile_process_limit: 1
[…]

tą jedynkę - ilość równoległych procesów możesz zmieniać wg liczby dostępnych rdzeni (jeśli się okaże, że pomaga to zwiększ o 1 i przetestuj, bo kompilacja w jednym procesie strasznie się ślimaczy, przy 4 będziesz miał efekt taki sam jak masz bez tego ustawienia).

---

Jest jeszcze jedna potencjalna przyczyna brak miejsca na dysku na pliki tymczasowe.

[Romek_Z]

OK, wieczorem to przetestuje.
Co do długości pliku do kompilacji to problem jest jeszcze inny. Poznaje ESPHome przez “rozpoznanie bojem” , nie znalazłem w necie jakiegoś wprowadzenia do tej platformy. Nie bardzo czuje “politykę” pisania plików konfiguracyjnych. Niby wszystko działa, ale myślę, że to co pisze to chaos.
Dam znać, co pomaga a co nie.

[Romek_Z]

Nie mogę zwiększyć pamięci RAM powyżej 6GB, zapewne Proxmox też musi z czegoś korzystać, Przy próbie zwiększenia dostaje komunikat:

kvm: cannot set up guest memory ‘pc.ram’: Cannot allocate memory
TASK ERROR: start failed: QEMU exited with code 1

Zmniejszenie liczby procesów dostępnych przy kompilacji, nie pomaga.
Przyjmuje więc, że mam za mało pamięci i na razie nic z tym nie zrobię, bo nie znalazłem w szufladach i szafkach pasujących do HP modułów.
Skupiam się raczej na nauce ESPHome, bo to ciekawa platforma.
Dzięki.

[szopen]

@Romek_Z

Nie mogę zwiększyć pamięci RAM powyżej 6GB,

Pytałem ile masz fizycznie, zgaduję że 8GB co nie jest szałem jak na wirtualizację…

Natomiast powinieneś jeszcze sprawdzić jak tam przydział dysku.
np. z poziomu HAOS
df -h

a nawet można ocenić po pałce w
Ustawienia → System → Pamięć masowa

@Romek_Z

Zmniejszenie liczby procesów dostępnych przy kompilacji, nie pomaga.

no cóż nie wiem, znajomy ma taką biedniutką instalację na malinie z 2GB RAMu (oczywiście HAOS bare-metal, a nie żadna wirtualizacja), i tam wystarcza limitowanie procesów do 2 przy kompilacji tak skomplikowanych komponentów jak bluetooth

Wrzuć tego YAMLa w całości gdzieś (może być załącznik zip, szczególnie jeśli ma jakieś include’y), to przetestuję czy skompiluje się u mnie.

[macek]

@Romek_Z

Przy próbie zwiększenia dostaje komunikat

A zwiększenie pamięci robisz przy wyłączonej wirtualnej maszynie?

[Romek_Z]

Zwiększenie przy włączonej - a potem reboot. Działa jak robię w dół.
Pamięć masowa:

ilesystem                Size      Used Available Use% Mounted on
overlay                  30.8G     18.8G     10.7G  64% /
/dev/sda8                30.8G     18.8G     10.7G  64% /backup
/dev/sda8                30.8G     18.8G     10.7G  64% /addons
/dev/sda8                30.8G     18.8G     10.7G  64% /media
devtmpfs                  2.9G         0      2.9G   0% /dev
tmpfs                     2.9G         0      2.9G   0% /dev/shm
/dev/sda8                30.8G     18.8G     10.7G  64% /share
/dev/sda8                30.8G     18.8G     10.7G  64% /addon_configs
/dev/sda8                30.8G     18.8G     10.7G  64% /ssl
/dev/sda8                30.8G     18.8G     10.7G  64% /data
/dev/sda8                30.8G     18.8G     10.7G  64% /homeassistant
tmpfs                     1.2G      1.5M      1.2G   0% /run/docker.sock
tmpfs                     2.9G         0      2.9G   0% /dev/shm
/dev/sda8                30.8G     18.8G     10.7G  64% /etc/asound.conf
/dev/sda8                30.8G     18.8G     10.7G  64% /run/audio
tmpfs                     1.2G      1.5M      1.2G   0% /run/dbus
/dev/sda8                30.8G     18.8G     10.7G  64% /etc/resolv.conf
/dev/sda8                30.8G     18.8G     10.7G  64% /etc/hostname
/dev/sda8                30.8G     18.8G     10.7G  64% /etc/hosts
/dev/sda8                30.8G     18.8G     10.7G  64% /etc/pulse/client.conf
tmpfs                     1.2G      1.5M      1.2G   0% /run/log/journal
/dev/sda8                30.8G     18.8G     10.7G  64% /var/log/journal
tmpfs                     2.9G         0      2.9G   0% /proc/asound
tmpfs                     2.9G         0      2.9G   0% /proc/acpi
devtmpfs                  2.9G         0      2.9G   0% /proc/kcore
devtmpfs                  2.9G         0      2.9G   0% /proc/keys
devtmpfs                  2.9G         0      2.9G   0% /proc/timer_list
tmpfs                     2.9G         0      2.9G   0% /proc/scsi
tmpfs                     2.9G         0      2.9G   0% /sys/firmware

testy-lcd-vsc.yaml (39,8 KB)

[macek]

@Romek_Z

Zwiększenie przy włączonej - a potem reboot.

Reboot (inaczej restart = power off i automatyczny power on) czego? Chyba nie Proxmoxa bo to niepotrzebne a wirtualnej maszyny nie można zrestartować jeżeli jest wyłączona.

[szopen]

@Romek_Z

testy-lcd-vsc.yaml (39,8 KB)

Mówiłem, żebyś wrzucił zipa jak cokolwiek include’ujesz w tym YAMLu

    Could not find file '/config/esphome/images/back7.png'. Please make sure it exists (full path: /config/esphome/images/back7.png).
    file: images/back7.png
    id: back7
    type: RGB565
  - file: images/back1.png
    id: back1
    type: RGB565
  - file: images/ha_logo2.png
    id: boot_logo
    type: RGB565
  - file: images/ha_logo2.png
    id: qrimage
    type: RGB565

[Romek_Z]

@szopen - Proszę.
Archiwum.zip (3,0 MB)

@macek - To bez różnicy, próbowałem wszystkiego wraz z restartem proxmoxa (choć mi też wydawało się to bez znaczenia). Teraz przyszło mi do głowy, że nie wiem ile pamięci mam na płycie.
Za to w Proxmox widzę to co poniżej, więc ja po prostu nie mam 8GB RAM

root@proxmox:~# cat /proc/meminfo
MemTotal:        7060784 kB
MemFree:         1161628 kB
MemAvailable:    2188248 kB
Buffers:         1246672 kB
Cached:            94472 kB
SwapCached:            0 kB
Active:          3456888 kB
Inactive:        1368960 kB
Active(anon):    3395332 kB
Inactive(anon):   125640 kB
Active(file):      61556 kB
Inactive(file):  1243320 kB
Unevictable:           0 kB
Mlocked:               0 kB
SwapTotal:             0 kB
SwapFree:              0 kB
Zswap:                 0 kB
Zswapped:              0 kB
Dirty:                12 kB
Writeback:             0 kB

[szopen]

Jak nie masz jak masz

@Romek_Z

MemTotal:        7060784 kB

Masz 8GB (no wiadomo cześć jest zjedzona przez zintegrowaną grafikę - wizyta w BIOSie i zabierz karcie graficznej wszystko co jest ponad minimum)
ALE no hmm nie ma z czego rozdawać, proxmox na swoje potrzeby - żre jakieś 2GB

a inne maszyny wirtualne? przecież tego w ogóle nie uwzględniasz w tym co napisałeś wyżej - zatrzymaj wszystkie inne VM (oprócz HAOS) i kontenery (jeśli używasz jakieś oprócz VM).

Jakkolwiek kompilacja tego wsadu zajmuje u mnie 2GB RAMu więc minimalnie tyle musisz mieć wolnego RAMu w HAOS oraz swap powinien nie być wykorzystywany jeśli jesteś blisko tej ilości.

[Romek_Z]

Nie ma innych maszyn. Z tego co mi pokazała rozpiska mam 1GB wolnego, więc za mało.
Szukam pamięci. Dziękuje wszystkim.

[szopen]

@Romek_Z

Z tego co mi pokazała rozpiska mam 1GB wolnego, więc za mało.
Szukam pamięci.

To w sumie nie jest konieczne - szukaj co zżera Ci RAM w HA/HAOS, bo to nie jest normalna sytuacja gdy jest zajęte ponad 5GB RAMu (z 6GB dostępnego).
Przy takim wykorzystaniu pamięci masz zapewne już zajęty cały swap.
Korzystasz z tego system-monitor ?

@Romek_Z

Nie ma innych maszyn.

To dla mnie jest totalnie niezrozumiała sytuacja wykorzystania proxmoxa, nie da się na tym sprzęcie zainstalować HAOS-generic? - aha i to nie jest pytanie retoryczne, po prostu nie wiem
(wtedy HAOS dostaje we władanie 100% dostępnego sprzętu, a nie jakiś kawałek dostępny dla VM, szczególnie że to nie jest jakaś maszyna marzeń, tylko starawy thin-client)

edit

teraz sprawdziłem

@Romek_Z

Z tego co mi pokazała rozpiska mam 1GB wolnego, więc za mało

masz 1GB wolnego ale teoretycznie 2GB do użytku (1GB zostanie zwolnione) i swap masz niewykorzystany w ogóle (co jest jak dla mnie dziwne, bo przy zajętości RAMu w okolicach 70% powinien zacząć być wykorzystywany).

Tylko to była sytuacja z określonego momentu, a tu należy analizować wykresy.

[Romek_Z]

Miałem na tym kompie tylko HAOS - wszystko ładnie działało to pewnej aktualizacji, spowodowało duże kłopoty, pisałem o tym też na tym forum. Proxmox rozwiązuje problem, bo robię backupy całem maszyny wirtualnej i w takich przypadkach po prostu ją odtwarzam. Nie muszę mieć dostępu do komputera. Szybko i sprawnie, to moim zdaniem wartość dodana, która rekompensuje mniejszą wydajność.
W czasie normalnej pracy nie mam takiego zużycia RAM, ale rzeczywiście jak kompiluje to użycie wzrasta do 100%.

[opensource4life]

Duze zuzycie ramu raportowane przez proxmoxa jest w pelni normalne (kazdy linux wykorzystuje ram do cacheowania czego sie da i proxmox sie w tym lubuje bo zwieksza to responsywnosc vmki i jej opoznienia).

PVE showing high memory usage but VM is not | Proxmox Support Forum

Jaki system plikow masz na proxmoxie? Jesli to ZFS arc cache to sam system plikow zezre niemalo pamieci jesli go nie zlimitujesz, na hoscie z 8GB ram zlimituj do 1GB.

nano /etc/modprobe.d/zfs.conf
options zfs zfs_arc_max=1073741824
zapisz i zrestartuj proxmoxa

Tu przyklad hosta z proxmoxa raportujacego zuzycie ram na poziomie ponad 90%

a tu faktyczne zuzycie ramu przez sama wirtualke (polecenie top wywolane wewnatrz vmki home assistanta)

co do Twojego problemu kompilacji to zlimitowanie kompilatora do 1 watku moze nic nie dac jesli kompilator ma duzo modulow do zaladowania do pamieci. Dla testu sprobuj skompilowac mniejszy kawalek kodu, z mniejsza liczba komponentow i sensorow i pomin lambdy ktore zwiekszaja zuzycie pamieci- zapewne sie uda. Jesli kompilacja przejdzie to oznacza ze po prostu masz za malo ramu aby skompilowac swoj firmware.

Powodzenia

[Romek_Z]

Kolejne próby, limit pamięci na proxmoxie był ustalony na ok. 700kB.
Mniejsze pliki kompilowały się bez problemu, dopiero przy moim panelu LCD wyszedł kłopot i musiałem się nauczyć jak to robić za pomocą VSC.
Dzisiaj zrobiłem dwa okna i obserwowałem.
Generalnie przy kompilacji zawsze zatrzymuje się w tym miejscu:

Tool Manager: Installing espressif/toolchain-riscv32-esp @ 12.2.0+20230208
INFO Installing espressif/toolchain-riscv32-esp @ 12.2.0+20230208
Unpacking  [####################################]  100%          

Obciążenie w tym momencie wygląda tak:

W sumie, to panel od wczoraj na ścianie i działa, więc problem nie bardzo boli. Pytanie czy taka kompilacja poza HA na coś jeszcze nie wpływa.

[angler (Cezary.K)]

@Romek_Z

Pytanie czy taka kompilacja poza HA na coś jeszcze nie wpływa.

Środowisko kompilacji nie ma żadnego znaczenia dla finalnego pliku bin. Od zawsze korzystam z ESPHome jako osobnego kontenera Docker. Tym samym jest AddOn w HA.