Myślę, że @Krzysztof_M może w tym temacie coś powiedzieć, jak to aktualnie może wyglądać.
Tani asystent głosowy na bazie Voice Assistant PE od HA - Urządzenia / ESPHome - ArturHome
Dodam od siebie, że jeszcze na początku roku 2024 były ambitne plany stworzenia lokalnego, polskiego asystenta w firmie Sviete - projekt AI-Speaker bazującym na Home Assistant (początki 2020r). Już wtedy można było korzystać z poleceń głosowych (lokalnie) i działa/ło to tak jak sobie wyobraża @Romek_Z.
Tu można zobaczyć jak to wyglądało już 5 lat temu (zanim świat usłyszał o AI):
ai-speaker - YouTube
Niestety projekt upadł, nie ma już oficjalnej dokumentacji na ich stronie. Są jeszcze repozytoria na GitHub:
sviete repositories · GitHub
EDIT:
I tak jak piszą koledzy, uruchomienie własnych (lokalnych) modeli AI wymaga sporych zasobów sprzętowych, które potrzebują stosunkowo dużej ilości energii, bo muszą działać 24/7 jako usługa serwerowa. W związku z tym sensu ekonomicznego raczej to nie będzie nigdy miało, przy tym zastosowaniu.