Pewnie większość z Was słyszała o projekcie openai.
Postanowiłem się pobawić.
Zadawałem masę pytań aż w końcu zapytałem czy mogę dodać cię do HA?
A on na to:
Aby dodać mnie jako asystenta sztucznej inteligencji do home assistant, możesz skorzystać z następujących kroków:
Upewnij się, że posiadasz home assistant i że jest on poprawnie skonfigurowany i działający.
Otwórz aplikację home assistant i przejdź do ustawień.
W sekcji “Integracje” wybierz opcję “Dodaj nową integrację”.
Wyszukaj i wybierz opcję “OpenAI Assistant” lub “Sztuczna inteligencja OpenAI”.
Postępuj zgodnie z instrukcjami, aby zainstalować i skonfigurować integrację.
Po zakończeniu instalacji będziesz mógł skorzystać ze mnie jako asystenta sztucznej inteligencji za pomocą home assistant.
Tak. ChatGPT od OpenAI jest ostatnio bardzo popularny i dużo osób się nim bawiło ale pewnie nie w połączeniu z HA. Gdzieś w backlogu mam projekt spinający openai z Amazon Polly i Transcribe Google STT i TTS (Polly obsługuje PL, ale Transcribe nie). Być może do wieczora zepnę to razem to podrzucę tutorial.
Tak jak najbardziej posiadanie asystenta głosowego z OpenAI + TTS/STT będzie płatne.
To czy potrzebujesz asystenta, który odpowie Ci na najbardziej zawiłe pytanie, czy tylko wykona zadane akcje to już osobna sprawa. Dodatkowo warto też przekalkulować sens używania dedykowanego rozwiązania (np. AI-Speaker - za którym nie przepadam) vs rozwiązania SaaS gdzie rozwój nie będzie wymagał od nas dodatkowej inwestycji w hardware. W prawdziwym użyciu taki asystent wszystkowiedzący z OpenAI + TTS/STT będzie nas kosztował kilka dolarów miesięcznie a odpada nam dość spora kwestia maintenance sprzętu bądź opierania się o kulawe biblioteki.
Z plusów jakie widzę:
prostota utrzymania
AI przebije zawsze tych predefiniowanych asystentów
Kwestia ogarnięcia języka PL? Nie wiem jak to wygląda w tym systemie w praktyce, dlatego się pytam. Z drugiej strony, jeden z najlepszych tłumaczy (deepL), który tak poza tematem jest tworzony częściowo w Polsce, korzysta właśnie z AI, choć pewnie z zupełnie innego systemu. I z PL nie ma problemu.
Tu za bardzo nie ma co ogarniać z językiem - problem jaki występuje to bezpośrednia integracja. Przy użyciu Node Red możesz bez problemu zrobić swojego asystenta. Flow jest mniej więcej taki:
Trigger przez buzzword i odebranie tego co mówisz przez mikrofon
Google Cloud STT bardzo dobrze konwertuje mowę na tekst
Podanie tekstu na OpenAI w wybranej formie - tu można bardzo dużo skonfigurować bo API ma kilka funkcji, m. in.: uzupełnianie tekstu, jego poprawianie czy generowanie obrazków
Zwrot odpowiedzi na google TTS i wysłanie streamu audio na głośnik.
Można, dziś chwilę z tym powalczyłem i bez problemu w nodered masz node openai i działa OK. do tego jeszcze masz osobny node dla TTS/STT z google i już kawałek spięty Niestety dalej zacząłem wnikać w rozwiązania hardwarowe i tak się skończyło na stawianiu rhasspy z podpięciem w nim TTS/STT z google, obmyślaniu jak zbudować satelity na ESP32 i dnia mi zbrakło by to wszystko potestować.
@marcinwojciesz takiego czegoś nie ma - nie ma natywnej integracji z OpenAI - tylko przez NodeRed. @pihauser w NodeRed jak dodasz Node to po prostu działa. Ja kombinuję jak tu system satelit pod rhasspy zrobić
Niestety dalej zacząłem wnikać w rozwiązania hardwarowe i tak się skończyło na stawianiu rhasspy z podpięciem w nim TTS/STT z google, obmyślaniu jak zbudować satelity na ESP32 i dnia mi zbrakło by to wszystko potestować.