A Databricks é uma empresa de software que se estabeleceu em uma variedade de setores, com data warehouse e soluções baseadas em IA sendo seu foco principal.
Nos últimos tempos, vimos a ascensão meteórica do ChatGPT, resultando em esforços semelhantes de empresas como Meta, Google e até Mozilla.
E agora, a Databricks está tentando, à sua maneira, abrir o sourcing de seu modelo de linguagem grande (LLM) 'Dolly'.
Vamos dar uma olhada nisso.
O que está acontecendo?: Em um anúncio recente, a Databricks introduziu o que eles chamam de "um LLM barato de construir"** que funciona usando um modelo de parâmetro de código aberto existente da EleutherAI.
O modelo foi ligeiramente ajustado para dar instruções a Dolly seguindo recursos como brainstorming e geração de texto.
Quando você compara os 175 bilhões de parâmetros no GPT-3, os 6 bilhões de parâmetros do Dolly podem parecer insignificantes em comparação.
Mas, o pessoal da Databricks ficou surpreso quando viu que, mesmo com tantos dados, Dolly era capaz de exibir muitos dos mesmos recursos que o ChatGPT.
Abaixo está um dos exemplos que eles mostraram:
O modelo original usou dados de Alpaca, o modelo construído por Stanford usando o LLaMA LLM da Meta como base.
Mas, como você pode ver, o modelo original produziu um resultado muito aleatório, enquanto Dolly, com seu modelo diferente e ajustes, foi capaz de produzir uma resposta muito utilizável.
Curiosidade: O nome foi tirado do primeiro mamífero clonado, Dolly, a ovelha.
Por que agora?: De acordo com a Databricks, eles acham que muitas empresas prefeririam construir seu próprio modelo em vez de enviar dados para algum provedor centralizado que bloqueia seu modelo atrás de uma API.
Muitas empresas podem não se sentir à vontade para entregar seus dados mais confidenciais a terceiros e, em seguida, há as várias compensações em termos de qualidade do modelo, custo e comportamento desejado.
Quer conferir?
Claro, mas há um porém.
Você terá que usar sua plataforma para usar Dolly, eles abriram um Databricks notebook que o ajudará a compilá-lo no Databricks.
Além disso, se você quiser ter acesso aos pesos treinados, você terá que contatá-los. No entanto, não temos a certeza se lhe facultarão o acesso gratuito.
Em poucas palavras, essa mudança para o modelo de código aberto deve ser boa para as empresas ajudarem a proteger seus dados, economizar em custos operacionais e muito mais, permitindo que elas criem seu próprio modelo.
Você pode conferir o anúncio no blog para saber mais sobre os detalhes técnicos e outros planos para isso.
