Sprachassistent auf Spanisch mit Home Assistant + Integration mit OpenAI + VoIP

Wie Home Assistant bereits angekündigt hat, es ist 2023 Es wird das Jahr der Stimme sein, Das Jahr, in dem wir unser Zuhause sicher per Sprache steuern können. Aber nicht nur das, Wenn nicht, können wir unseren Assistenten in OpenAI integrieren, um zu fragen, was wir wollen! und hoffe, das ist noch nicht alles, Wir werden auch sehen, wie wir mit unserem Assistenten telefonieren können!!!

wie du es verstehst, Es ist bereits möglich, in Home Assistant einen Assistenten zu erstellen, der sich um unsere Anfragen kümmert, gut im Schreiben, gut mit der Stimme gesprochen. Dieser native Assistent wird in unendlich vielen Sprachen verfügbar sein, darunter, in Castellano oder Spanisch, gehen. Wir können Ihnen grundlegende Anweisungen zum Ein- und Ausschalten des Lichts geben, etc… Wir können aber auch unsere eigenen privaten Phrasen erstellen, um die Staubsauger herauszunehmen, der Mäher… Und wie heißt es im Titel?, Wir können der KI auch Fragen stellen, die sie beantworten soll. (schon so in Mode), So können wir es in OpenAI integrieren und es fragen, was wir wollen, und wissen immer die Antwort 😉

Am Ende des Beitrags werden wir auch sehen, wie wir VoIP in Home Assistant aktivieren können, um diese Assistenten per Telefon anrufen und auf unsere Anfragen eingehen zu können. Wir werden es mit einem herkömmlichen Telefon und einigen Softphones tun, eine für den PC und eine für Ihr Handy… die Bombe!!!

Assistenteneinstellungen,

wir begonnen! Als erstes müssen Sie Whisper installieren, Dieses Plugin wandelt Audio in Text um, das heißt, Rede zu Text, Um es zu installieren, werden wir es tun „Einstellungen“ > „Ergänzungen“ > „Add-On Store“ und wir suchen ‚Flüstern‘,

klicken Sie auf „Installieren“ installieren,

einmal installiert, in seiner Konfiguration haben wir die Transkriptionsmodelle, Standardmäßig wird tyni-int8 am häufigsten verwendet, wenn wir einen Raspberry Pi haben 4 o ähnlich, Wir werden in der Lage sein, vollständigere Modelle auszuwählen, aber wir werden mehr Berechnungen benötigen. Hier müssen wir unsere Sprache angeben, in der Sprache, die wir auswählen ‚dies ist‘. klicken Sie auf „sparen“.

Wir starten es mit einem Klick auf „Anfang“

Wenn wir zu „Einstellungen“ > „Geräte und Dienste“, Wir werden sehen, dass er es für uns entdeckt hat, klicken Sie in „Konfigurieren“ del Whisper.

„senden“,

Jetzt werden wir ein weiteres Plugin installieren, In diesem Fall wird es von Home Assistant verwendet, um den Text in Sprache umzuwandeln (Text zu Sprache), Wir werden Piper verwenden. So lass uns gehen „Einstellungen“ > „Ergänzungen“ > „Add-On Store“ und wir suchen ‚Pfeifer‘,

Wir installieren es, indem wir auf klicken „Installieren“,

Sobald Piper installiert ist, In seiner Konfiguration wählen wir die Stimme aus, die es verwenden soll, In diesem Fall werden wir verwenden ‚es-carlfm-x-low‘, männliche Stimme auf Spanisch, Wir haben hier die restlichen Stimmen für den Fall, dass wir ihnen zuhören möchten, um diejenige auszuwählen, die uns am besten gefällt: https://rhasspy.github.io/piper-samples/

Wir speichern die Änderungen ab „speichern“,

klicken Sie auf „Beginnen Sie beim Booten“ Zusätzlich zum sofortigen Starten „Start“,

Piper wird uns entdeckt haben, Wir haben es überprüft „Einstellungen“ > „Geräte und Dienste“, und klicken Sie in „Konfigurieren“ Pipers.

„senden“,

Assistent zum Erstellen,

gut, Tue es, Lassen Sie uns unseren ersten Assistenten erstellen, Dies hilft uns, den Status jedes Home Assistant-Geräts oder jeder Home Assistant-Entität zu verwalten und zu ermitteln. Um es zu schaffen, werden wir es tun „Einstellungen“ > „Sprachassistenten“ und klicken Sie auf „Assistent hinzufügen“,

wir geben einen Namen, in meinem Fall heißt der Butler Sebastian, Wir weisen eine Sprache zu, in diesem Fall ‚español‘. Als Gesprächsagent geben wir an ‚Start-Assistent‘ und die Sprache ‚Español‘. Um Voice to Text zu verwenden, verwenden wir ‚schneller-flüstern‘ mit der Sprache drin ‚español‘. Und für die Verwendung von Text to Speech, Wir verwenden ‚Pfeifer‘, wählen ‚español‘ und wir wählen die Stimme, die wir zuvor angegeben haben.

klicken Sie auf „versuch es mal mit der Stimme“ zu versuchen und zuzuhören. Zum Schluss klicken wir auf „schaffen“,

Zum Testen oben rechts in der Home Assistant-GUI mit einem Browser oder dem mobilen Client, Wir werden ein Symbol haben, um mit dem Assistenten zu sprechen.

Wir wählen den neu erstellten Assistenten aus und können ihm bereits Anweisungen geben, Wir können versuchen, etwas Licht ein-/auszuschalten, Gerät, eine Jalousie heben/senken, Tor… Im Moment verfügt es über eine Grundfunktionalität und wenn wir wachsen wollen, Nun, ich verstehe das, oder wir warten auf neue Updates, oder wir müssen unsere eigenen Phrasen/Sätze erarbeiten; aber das werden wir ein andermal sehen 😉

sicher, wenn wir das Mikrofon unseres Geräts zum Sprechen verwenden möchten, statt zu schreiben. Wir müssen sicherstellen, dass wir Home Assistant über HTTPS und nicht über HTTP aufrufen. Wenn Sie HTTPS nicht aktiviert haben, Ich empfehle Ihnen, sich damit abzufinden ‚NGINX Home Assistant SSL-Proxy‘ und gleich aktivieren Sie die sichere Verbindung. Von dort aus kann das Mikrofon mit dem Assistenten genutzt werden!!!

Integration mit OpenAI,

gut, Dieser Teil ist optional, Also nur, wenn Sie daran interessiert sind, dass Ihr Home Assistant Fragen beantworten kann, die die KI kennt (Künstliche Intelligenz). Die Integration erfolgt in diesem Fall mit OpenAI und ein Zahlungskonto ist erforderlich, Aber machen Sie sich keine Sorgen, dass dies fast nichts kostet, (Die Abfrage mit gpt-3.5-turbo gibt an $0.002), aber es ist notwendig, dass das Konto vorhanden ist ‚zahlen‘.

Gesamt, in https://platform.openai.com/account, lassen Sie uns „Abrechnung“ und wir haben es drin „Bezahltes Konto einrichten“.

einmal fertig, Wir können jetzt unseren API-Schlüssel erhalten, lassen Sie uns „Benutzer“ > „API-Schlüssel“ und klicken Sie auf „Erstellen Sie einen geheimen Nachrichtenschlüssel“.

wir beschriften, API für ‚Start-Assistent‘ & „Geheimen Schlüssel erstellen“. Und es wird der Schlüssel generiert, der uns auf dem Bildschirm angezeigt wird, Wir kopieren den API-Schlüssel an einen sicheren Ort.

So installieren Sie die Chat-Integration mit OpenAI, wir gehen „Einstellungen “ > „Geräte und Dienste“ > „Integration hinzufügen“ > und wir suchen „OpenAI-Gespräch“

Und so einfach ist das Einfügen des API-Schlüssels, „senden“,

Lassen Sie uns OpenAI konfigurieren, für sie aus „Einstellungen“ > „Geräte und Dienste“. klicken Sie in „Konfigurieren“ del OpenAI-Gespräch.

wählen, In meinem Fall mit gpt-3.5-turbo funktioniert es für mich und „senden“,

Erstellen Sie einen Assistenten mit OpenAI,

Um OpenAI in Home Assistant verwenden zu können, müssen wir schließlich einen Assistenten in Home Assistant erstellen und ihn verknüpfen.

dies zu tun, lassen Sie uns „Einstellungen“ > „Sprachassistenten“ und erstellen Sie einen Assistenten daraus „Assistent hinzufügen“. wir geben einen Namen, In meinem Fall sehen Sie, dass es Erundino heißen wird, Es gibt nur wenige, die schlauer sind als er… Wir assoziieren eine Sprache, in diesem Fall ‚español‘. Als Gesprächsagent geben wir an „OpenAI-Gespräch“ und die Sprache in „español“. Wie Voice to Text wir wählen „schneller-flüstern“ und die Sprache in „español“. im Text-to-Speech-Format, wir gebrauchen „Pfeifer“, die Sprache in „español“ und die Stimme, die wir zuvor ausgewählt haben. klicken Sie auf „schaffen“,

und bereit, zu testen, Das wissen wir bereits in der Home Assistant-GUI, oben rechts haben wir es, Wir wählen den Assistenten mit OpenAI aus, den wir gerade erstellt haben, und fragen ihn nach unseren Wünschen! Er weiß fast alles

VoIP mit Home Assistant,

Und zum Abschluss dieses Artikels werden wir sehen, wie es möglich ist, ein herkömmliches Telefon zu verwenden, eines mit RJ11-Anschluss, Das Leben; Oder Junge, haben wir ein VoIP-Telefon?, oder noch besser, ein Softphone, das auf unserem PC oder unserem Mobiltelefon installiert ist.

ja, Wie gut verstehst du?, Sie können Ihre Hausautomation per VoIP von Ihrem Handy aus steuern, das Unternehmen… Sie können direkt auf das Mobiltelefon zugreifen, Wenn Sie darauf drücken, wird ein Anruf getätigt und Ihr Assistent wird Ihnen sofort antworten 🙂

So aktivieren Sie VoIP im Home Assistant, Wir werden die Integration installieren, die dies ermöglicht, lassen Sie uns „Einstellungen“ > „Geräte und Dienste“ > „Integration hinzufügen“ > und wir suchen ‚Voip‘.

senden,

Ende,

bereit, So einfach ist es, eine VoIP-Telefonzentrale einzurichten, die auf Anrufe wartet!

Telefonieren mit einem klassischen Telefon,

gut, wenn wir ein Telefon mit einem RJ11-Anschluss haben, ein lebenslanges Telefon, oder ein Retro-Modell, das wir im Büro aufstellen möchten, oder in der Küche, um mit der Assistentin zu sprechen…

Die beste Option ist das Grandstream HT801-Gerät, Dieses Gerät verwandelt jedes Telefon mit RJ11-Anschluss in ein VoIP-Telefon, so einfach. Für den Fall, dass wir ein zusätzliches Telefon wünschen, gibt es ein Modell mit mehreren RJ11-Anschlüssen… Die Bedienung ist sehr einfach:

• Wir verbinden den RJ45 mit dem Netzwerk.
• Wir verbinden den RJ11 mit dem Telefon.
• Wir verbinden den Micro-USB mit dem Ladegerät, um es einzuschalten.

Wenn es eingeschaltet ist, erhält es eine IP-Adresse per DHCP, wenn wir es wissen wollen, Wir greifen zum Telefon und drücken *** und wählen Sie die Option 02, Das Telefon teilt uns die IP mit.

Wir greifen mit einem Browser auf Ihre IP zu, Wir bestätigen die, Standardadministrator / Administrator

Und wir führen eine minimale optionale Konfiguration durch, beispielsweise eine statische IP-Adresse, Änder das Passwort, Richten Sie das NTP unseres Netzwerks ein…

Wenn wir also den Hörer abheben, wählen wir Home Assistant, Wir gehen auf die Registerkarte „FXS-PORT“, im Abschnitt von „Automatisches Wählen bei abgehobenem Hörer“ Wir geben die IP-Adresse von Home Assistant im folgenden Format an: *47192*168*1*116*5060 und drücken Sie „Sich bewerben“

Wenn wir jetzt zum Telefon greifen, Der Anruf wird automatisch getätigt und wir können über den Ohrhörer hören, wie er uns mitteilt, dass wir dieses Telefon im Home Assistant konfigurieren müssen, bevor wir es verwenden können.

Wenn wir zu Home Assistant gehen, in der Konfiguration ‚Voice-over-IP‘ Wir werden sehen, dass unser erstes Gerät bereits erkannt wurde! Klicken Sie auf das Gerät,

Und hier müssen wir ihm zunächst das Tätigen von Anrufen erlauben und es mit einem zuvor erstellten Sprachassistenten verknüpfen,

Dieses Telefon ist fertig, Wir können mit dem Assistenten über ein herkömmliches Telefon sprechen!

Telefonieren mit einem PC-Softphone,

Wenn Sie von Ihrem Team dasselbe wollen, Sie können ganz einfach Home Assistant anrufen, um mit einem Ihrer Assistenten zu sprechen, Das sind die Schritte.

Ich verwende MicroSIP, Aber ich verstehe, dass im Prinzip jedes Softphone ausreichen würde. Sobald MicroSIP installiert ist, oder Wasauchimmer, Wir müssen berücksichtigen, dass wir die Opus-Codecs aktiviert haben. Wenn wir bereits ein Konto in MicroSIP für ein anderes VoIP konfiguriert haben, Wir müssen die Option hier markieren ‚Lokales Konto aktivieren‘,

und zwar direkt, ohne viel mehr zu tun, Wir können unsere Home Assistant-Zentrale anrufen, indem wir im folgenden Format wählen: ADDRESS_IP_HOME_ASSISTANT:PUERTO

Wir werden auch sehen, dass eine nette Stimme anzeigt, dass das Telefon gut verbunden ist, muss aber vor der Verwendung konfiguriert werden.

dies zu tun, gleichermaßen, Bei der Integration von Voice over IP wurde ein neues Telefon erkannt, das wir aktivieren müssen, Dafür werden wir markieren ‚Anrufe zulassen‘ und wir weisen Ihnen den Assistenten zu, den wir betreuen möchten.

Telefonieren mit einem Softphone auf dem Handy,

gut, In diesem letzten Beispiel sehen wir, wie man eine App konfiguriert, um IP-Sprachanrufe auf einem Android-Mobiltelefon wie Mizudroid zu tätigen.

Sobald die App installiert ist, müssen wir sie konfigurieren, Wir geben den Server und den Benutzer an, Gibt das Gleiche dem Benutzer, darf vorher nicht vorhanden sein, wir müssen nichts erschaffen. Wir können versuchen, Home Assistant anzurufen, Wir markieren mit dem Format: Schluck:ha@IP_ADDRESS:PUERTO

wenn es gut gelaufen ist, Wir werden wieder die süße kleine Stimme hören, die uns sagt, dass die Verbindung gut gelaufen ist, und dass wir es wie immer über die Integration von VoIP in Home Assistant aktivieren müssen, (Erlauben Sie Anrufe und weisen Sie Ihnen einen Assistenten zu).

auch, wenn wir diesen Anruf zu den Kontakten hinzufügen, Anschließend können wir eine Verknüpfung auf dem mobilen Bildschirm erstellen, Sie müssen also nur darauf drücken und unseren Assistenten anrufen, einfach und unkompliziert!

gut, In diesem Beitrag haben wir viele Dinge gesehen, die wir mit Home Assistant und Stimme machen können, Wir können Assistenten erstellen, die mit unserem Zuhause interagieren, um mit OpenAI zu sprechen, Sprechen Sie mit den Teilnehmern über Ihren eigenen Browser oder Ihre native mobile App, sowie über VoIP, verrückt! Aber damit ist es noch nicht getan, In zukünftigen Dokumenten werden wir weiterhin die Tabarra geben, wir haben viel zu sehen!

Ich hoffe wie immer, dass es jemandem geholfen hat, Vielen Dank fürs Lesen, wenn Sie bis hierher gekommen sind, und natürlich für die kleinen Herzen und Likes und so weiter in den sozialen Netzwerken, Danke!

Umarmungen!