Assistente de voz em espanhol com o Home Assistant + Integração OpenAI + VoIP

Como o Home Assistant já anunciou, este 2023 Será o ano da voz, o ano em que podemos controlar nossa casa com segurança por meio da voz. Mas não só isso, mas podemos integrar nosso assistente com OpenAI para perguntar o que quisermos! E espero que isso não seja tudo, também veremos como podemos falar ao telefone com nosso Assistente!!!

Assim como você está entendendo, agora é possível criar um Assistente em Home Assistant para atender às solicitações, ou por escrito, Bem falado pela voz. Este Assistente nativo estará disponível em uma infinidade de idiomas, entre eles, em espanhol ou espanhol, ir. Poderemos dar-lhe instruções básicas para ligar/desligar luzes, etc… mas também podemos criar as nossas próprias frases particulares, para tirar os aspiradores, O cortador de relva… E como dizemos no título, também podemos fazer perguntas para a IA responder (tão na moda já), para que possamos integrá-lo com OpenAI e perguntar-lhe o que quisermos que sempre saberá a resposta 😉

No final do post também veremos como podemos habilitar o VoIP no Home Assistant para poder ligar para esses Assistentes por telefone e atender às nossas solicitações. Vamos fazê-lo com um telefone tradicional e com um par de softphones, um para PC e um para o seu telemóvel… A bomba!!!

Configuração do Assistente,

Começou! a primeira coisa será instalar o Whisper, Este plugin irá converter áudio em texto, Isto é, Conversão de fala em texto, para instalá-lo vamos “Configurações” > “Acessórios” > “Loja de complementos” e procuramos por 'Whisper',

Clique em “Instalar” para instalá-lo,

Uma vez instalado, Na sua configuração temos os modelos de transcrição, por padrão tyni-int8 será o mais comum se tivermos um Raspberry Pi 4 ou similar, Poderemos escolher modelos mais completos, mas precisaremos de mais computação. Aqui devemos indicar a nossa língua, no idioma selecionamos 'es'. Clique em “Salvar”.

Começamos clicando em “Começar”

Se vamos “Configurações” > “Dispositivos e serviços”, veremos que ele o descobriu por nós, Clique em “Configurar” do Sussurro.

“Enviar”,

Agora vamos instalar outro plugin, neste caso, ele usará o Home Assistant para converter o texto em fala (conversão de texto em fala), Vamos usar Piper. Então, vamos “Configurações” > “Acessórios” > “Loja de complementos” e nós procuramos 'Piper',

Nós o instalamos clicando em “Instalar”,

Uma vez instalado o Piper, Na sua configuração, selecionamos a voz que queremos que ela use, Neste caso, usaremos 'es-carlfm-x-low', Voz masculina espanhola, Temos o resto das vozes aqui, caso queiramos ouvi-las para escolher a que mais gostamos: https://rhasspy.github.io/piper-samples/

Guardamos as alterações de “Salvar”,

Clique em “Iniciar no arranque” além de iniciá-lo imediatamente a partir de “Iniciar”,

Piper deve ter nos descoberto, Verificamos a partir de “Configurações” > “Dispositivos e serviços”, e clique em “Configurar” De Piper.

“Enviar”,

Criar o Assistente,

Poço, Vamos a isso, Vamos criar o nosso primeiro Assistente, que nos ajudará a gerir e saber o estado de qualquer dispositivo ou entidade Home Assistant. Para criá-lo, vamos “Configurações” > “Assistentes de voz” e clique em “Adicionar Assistente”,

Nós damos-lhe um nome, no meu caso, o mordomo se chamará Sebastian, Atribuímos-lhe uma língua, neste caso, «espanhol». Como Agente de Conversação, indicaremos 'Home Assistant’ e a língua "espanhola". Para o uso de Speech to Text usaremos 'faster-whisper’ com a língua em 'espanhol'. E para o uso de Text to Speech, vamos usar 'Piper', Selecionamos 'Inglês'’ e escolhemos a voz que indicamos acima.

Clique em “Teste a voz” para testar e ouvir. Finalmente, clicamos em “Criar”,

Para testar no canto superior direito da GUI do Home Assistant com um navegador ou o cliente móvel, Teremos um ícone para falar com o assistente.

Selecionamos o assistente recém-criado e já podemos dar-lhe algumas instruções, Podemos tentar desligar/acender alguma luz, dispositivo, levantar/baixar um obturador, portão… Para já tem uma funcionalidade básica e que se queremos crescer, Bem, eu entendo que não esperamos por novas atualizações, ou teremos que trabalhar em nossas próprias frases/frases; Mas veremos isso outro dia 😉

A propósito, se quisermos usar o microfone do nosso dispositivo para falar, em vez de escrito. Teremos que nos certificar de que estamos entrando no Home Assistant com HTTPS e não com HTTP. Se você não tiver HTTPS habilitado, Eu recomendo que você instale 'NGINX Home Assistant SSL proxy’ e em um momento você ativa a conexão segura. A partir daí, o microfone pode ser usado com o assistente!!!

Integração OpenAI,

Nada mau, Esta parte é opcional, portanto, apenas se você estiver interessado em que seu Home Assistant seja capaz de responder a perguntas que a IA sabe (Inteligência artificial). A integração, neste caso, é com OpenAI e uma conta paga será necessária, Mas não se preocupe, isso não custa quase nada, (Consulta com saídas GPT-3.5-Turbo $0.002), mas é necessário que a conta seja 'paga'.

Total, que em https://platform.openai.com/account, Nós vamos “Faturação” e nós temos isso em “Configurar conta paga”.

Quando estiver pronto, agora poderemos obter a nossa chave API, Nós vamos “Usuários” > “Chaves de API” e clique em “Criar chave secreta de notícias”.

Nós damos-lhe um nome, API para 'Home Assistant'’ & “Criar chave secreta”. E vai gerar a chave que vai nos mostrar na tela, copiamos a chave da API para um local seguro.

Para instalar a integração de conversação com o OpenAI, Vamos para “Configurações ” > “Dispositivos e serviços” > “Adicionar integração” > e buscamos “Conversa OpenAI”

E tão simples quanto colar a chave da API, “Enviar”,

Vamos configurar o OpenAI, Para o efeito, a partir de “Configurações” > “Dispositivos e serviços”. Clique em “Configurar” da Conversa OpenAI.

Selecionar, No meu caso com GPT-3.5-TURBO é o suficiente para mim e “Enviar”,

Criar um assistente com OpenAI,

A fim de usar OpenAI em Home Assistant vamos finalmente precisar criar um Assistente em Home Assistant e vinculá-lo.

Para fazer isso,, Nós vamos “Configurações” > “Assistentes de voz” e crie um Assistente a partir de “Adicionar Assistente”. Nós damos-lhe um nome, no meu caso, você vê que se chamará Erundino, Há poucos mais inteligentes do que ele… Associamos uma língua, neste caso, «espanhol». Como Agente de Conversação indicaremos “Conversa OpenAI” e a língua em “Espanhol”. Como a fala para o texto que escolhemos “sussurro mais rápido” e a língua em “Espanhol”. Em conversão de texto em fala, Utilização “Flautista”, A língua em “Espanhol” e a voz que selecionamos acima. Clique em “Criar”,

E é isso, Para testar, já sabemos que na GUI do Home Assistant, canto superior direito nós temos isso, selecionamos o assistente OpenAI que acabamos de criar e pedimos-lhe o que nos apetecer! Ele sabe quase tudo 😉

VoIP com Assistente Doméstico,

E para terminar este artigo vamos ver como é possível usar um telefone tradicional, um que tem um conector RJ11, os de uma vida; ou temos um telefone VoIP, ou melhor ainda, um softphone instalado no nosso PC ou telemóvel.

Sim, Como você está entendendo bem, você será capaz de controlar sua automação residencial por VoIP a partir do seu telefone celular, ou empresa… Poderá ter um acesso direto no seu telemóvel, que quando você pressioná-lo fará uma chamada e seu assistente irá atendê-lo instantaneamente 🙂

Para ativar o VoIP no Home Assistant, Vamos instalar a integração que o permite, Nós vamos “Configurações” > “Dispositivos e serviços” > “Adicionar integração” > e procuramos por 'voip'.

Enviar,

Acabar,

Pronto, é assim que é fácil para nós ter uma central VoIP à espera de chamadas!

Fazer chamadas com um telefone clássico,

Nada mau, se temos um telefone com um conector RJ11, Um telefone tradicional, ou um retro que queremos colocar no escritório, ou na cozinha para falar com o assistente…

A melhor opção é através do dispositivo Grandstream HT801, este dispositivo transforma qualquer telefone com um conector RJ11 em um telefone VoIP, Simples assim. Há um modelo com vários conectores RJ11 no caso de querermos um telefone adicional… A operação é muito simples:

  • Ligamos o RJ45 à rede.
  • Nós conectamos o RJ11 ao telefone.
  • Conecte o micro USB com o carregador para ligá-lo.

Quando você ativá-lo, ele terá um endereço IP por DHCP, Se queremos saber, Pegamos no telefone e pressionamos *** e nós escolhemos o 02, o IP nos dirá o telefone.

Acedemos ao seu IP com um browser, Nós nos validamos, Administrador padrão / Admin

E executamos uma configuração opcional mínima, como um endereço IP estático, Altere a sua palavra-passe, definir o NTP da nossa rede…

De modo que, à medida que pegamos o telefone, ele disca Home Assistant, Vamos para a guia “PORTA FXS”, No “Discagem automática offhook” vamos inserir o endereço IP do Home Assistant no seguinte formato: *47192*168*1*116*5060 e nós pressionamos “Aplicar”

Se pegarmos no telemóvel, ele fará a chamada automaticamente e seremos capazes de ouvir como o aparelho nos diz que temos que configurar este telefone no Home Assistant antes de podermos usá-lo.

Se formos para Home Assistant, nas definições de 'Voz sobre IP'’ Veremos que já detetou o nosso primeiro dispositivo! Toque no dispositivo,

E aqui primeiro teremos que permitir que ele faça chamadas e associá-lo a um Assistente de Voz que criamos anteriormente,

Este telefone está pronto, Podemos falar com o assistente com um telefone tradicional!

Fazer chamadas com um softphone para PC,

Se você quer o mesmo da sua equipe, Faça chamadas facilmente para o Home Assistant para falar com um dos seus assistentes, Aqui estão os passos.

Estou usando o MicroSIP, mas eu entendo que, em princípio, qualquer softphone seria bom. Uma vez instalado o MicroSIP, ou o que quer que seja, devemos ter em conta que temos os codecs Opus ativados. Se tivermos uma conta já configurada no MicroSIP contra outro VoIP, devemos marcar aqui a opção 'Ativar conta local',

E diretamente, Sem fazer muito mais, podemos ligar para a nossa central telefónica Home Assistant marcando no seguinte formato: DIRECCION_IP_HOME_ASSISTANT:PORTO

Também veremos que uma voz doce nos diz que o telefone foi bem conectado, mas deve ser configurado antes de ser usado.

Para fazer isso,, O mesmo, na integração de Voz sobre IP terá detetado um novo telefone que devemos ativar, para isso, marcaremos "Permitir chamadas"’ e designar o Assistente que queremos atender a você.

Fazer chamadas com um softphone no seu telemóvel,

Oh, bem, este último exemplo onde vemos como configurar um aplicativo em um telefone celular Android para fazer chamadas de voz IP, como Mizudroid.

Uma vez que o aplicativo é instalado, devemos configurá-lo, indicamos o Servidor e o Utilizador, Não importa o usuário, não deve existir anteriormente, Nem sequer temos de criar nada. Podemos tentar fazer a chamada para o Home Assistant, Marcamos com o formato: Sim:ha@DIRECCION_IP:PORTO

Se correu bem, Ouviremos novamente a vozinha doce que nos diz que se conectou bem, e que, como sempre, teremos que ativá-lo a partir da integração VoIP no Home Assistant, (permitir-lhe fazer chamadas e atribuir-lhe um Assistente).

Além disso, se adicionarmos esta chamada aos Contactos, Podemos então criar um atalho na tela do celular, para que você apenas pressione e faça a chamada para o nosso Assistente, Fácil e simples!

Poço, Neste post vimos muitas coisas que podemos fazer com Home Assistant e voz, podemos criar assistentes para interagir com a nossa casa, para falar com a OpenAI, Fale com os participantes a partir do seu browser ou aplicação móvel nativa, bem como via VoIP, Louco! Mas não acaba aqui, Em documentos futuros, continuaremos a dar o, Temos muito para ver!

Espero, como sempre, que tenha sido benéfico para alguém, Muito obrigado pela leitura se você chegou até aqui e, claro, pelos coraçõezinhos e curtidas e coisas nas redes sociais, É apreciado!

Abraços!

Postagens recomendadas

Autor

nheobug@bujarra.com
Autor del blog Bujarra.com Cualquier necesidad que tengas, Não hesite em contactar-me, Vou tentar ajudá-lo sempre que puder, Compartilhar é viver ;) . Desfrute de documentos!!!

Arpwatch

30 de Maio de 2023