Groq Cloud é um provedor de modelos de linguagem open source conhecido por sua velocidade. Assim, pode ser uma boa opção de integração com aplicativos que permitem a escolha de diversos LLMs. Um bom exemplo de aplicativo que permite a integração com o Groq é o Elephas.
Honestamente, não tenho condição de fazer um review aprofundado do ponto de vista da tecnologia. Mas, do ponto de vista da experiência do usuário, posso atestar que é provedor muito eficiente. E, mais do que isso, como não tenho ambição de oferecer uma opinião técnica, meu review tem o propósito de alertar que, se você optar por um LLM open source, ainda precisa de ter alguém que hospede ele para você. Enfim, alguém precisa prestar o serviço de hospedagem e é aí que entra o Groq Cloud.
O provedor oferece suporte a vários LLMs, incluindo Llama 3, Mixtral, Gemma e Whisper. A velocidade de processamento varia conforme o modelo, com o Llama 3 8B alcançando até 870 tokens por segundo e o Mixtral 8x7B atingindo 480 tokens por segundo. Ou seja, é muito rápido.
Os preços da Groq Cloud são competitivos, especialmente quando comparados a outros provedores de inferência de IA. Por exemplo, o custo para o modelo Llama 3 8B é de USD 0,05 por milhão de tokens de entrada e USD 0,10 por milhão de tokens de saída. Já o Mixtral 8x7B custa USD 0,24 por 1 milhão de tokens tanto para entrada quanto para saída.
Ou seja, se você tiver um aplicativo que permita a conexão com o Groq, é uma alternativa que você deve considerar. Se o aplicativo que você assinou não falar nada e for muito rápido, existe a chance de que ele mesmo esteja utilizando o Groq sem publicar isso, pois se trata de uma solução mais voltada ao público de desenvolvedores, não ao consumidor final.
