Bardzo ciekawy projekt Pipecat zaadaptowany przez naszego rodaka do Home Assistant jako aplikacja (dodatek) + custom component:
Co oferuje Pipecat Assist
-
rozmowy z asystentami speech-to-speech realtime, np. Gemini Live, OpenAI Realtime, AWS Nova Sonic,
-
własne pipeline’y głosowe składane z różnych usług cloud: STT + LLM + TTS,
-
integracje z Gemini, OpenAI, Soniox, Deepgram, Speechmatics, Cartesia, Gradium, ElevenLabs, Google Cloud TTS, AWS Bedrock, Ollama i endpointami OpenAI-compatible,
-
możliwość dodawania lokalnych narzędzi AI,
-
obsługę wielu serwerów MCP, w tym natywnego Home Assistant MCP,
-
web search jako krok pipeline,
-
pamięć sesji,
-
debug audio input/output,
-
edytor pipeline’ów i wizualny edytor Pipecat Flow,
-
dedykowaną kartę Lovelace z WebRTC, live transkrypcją i animacją audio,
-
integrację z klasycznym HA Assist jako Conversation / STT / TTS,
-
wsparcie dla AI Tasks / AI Actions tam, gdzie dana wersja HA je udostępnia.
Najważniejsza idea jest taka: Pipecat Assist nie jest kolejnym wrapperem na jednego dostawcę AI. To warstwa, która pozwala zbudować własnego asystenta z różnych klocków.
Możecie mieć prosty pipeline typu:
Gemini Live → Home Assistant MCP
albo bardziej składany:
Speechmatics STT → OpenAI Cloud LLM → ElevenLabs TTS → Home Assistant MCP
albo dodać do tego:
Session Memory → Web Search → Pipecat Flow → kilka serwerów MCP