Graças ao advento de soluções baseadas em IA, gerenciar dados de forma adequada e segura para tais implementações em escala tornou-se um desafio significativo. Muitos novos planos de carreira se abriram devido a isso, e até mesmo organizações que foram criadas para atender a tais requisitos.
Databricks é uma dessas organizações que foi fundada em 2013 pelos criadores do Apache Spark, Delta Lake e MLflow, que afirma ser a "primeira e única plataforma de lakehouse do mundo na nuvem".
Em um evento recente, eles anunciaram seu mais recente movimento em direção à adoção do código aberto que os verá abrindo uma ferramenta muito popular deles.
Um grande anúncio: o que esperar?
Durante seu evento anual Data + AI Summit, Ali Ghodsi, CEO da Databricks anunciou (16:00 timestamp) que Unity Catalog, sua solução para governança de dados e IA, estava se tornando open source sob o nome "Unity Catalog OSS".
Infelizmente, ele não mencionou em qual licença ele iria open-source abaixo, mas, eles mencionaram que inclui um servidor de código aberto licenciado Apache 2.0. Parece ser o único.
Após seu lançamento, o Unity Catalog OSS está configurado para atuar como uma "interface universal" com suporte para qualquer formato de dados e mecanismo de computação.
Os desenvolvedores observam que ele tem suporte para ler tabelas com clientes Delta Lake, Apache Iceberg e Apache Hudi via Delta Lake UniForm. Também há suporte para os padrões de interface Iceberg REST Catalog e Hive Metastore (HMS).
Em reação a esse movimento, muitos dos clientes da Databricks, como AWS, AT&T, Google, Rivian, NVIDIA e muito mais, adicionaram suas opiniões sobre isso.
Uma dessas visões foi a de Jessica Hawk, CVP, Data, AI, Digital Applications da Microsoft, que disse que:
Microsoft está comprometida com a comunidade de código aberto e capacitando os clientes com escolha. A Databricks tem sido um parceiro estratégico há anos e é ótimo vê-los abrindo o Catálogo Unity. Acreditamos que padrões verdadeiramente abertos com ampla participação da indústria são do melhor interesse dos clientes.
Para aqueles que não estão familiarizados, o Unity Catalog é uma solução de governança usada para gerenciar dados, estruturados e não estruturados em qualquer formato, modelos de aprendizado de máquina, blocos de anotações e muito mais.
Ele também fornece aos usuários painéis úteis para gerenciar melhor sua pilha, monitoramento alimentado por IA, com muitos usuários aproveitando seu "modelo de permissão única" para gerenciamento de acesso direto.
Quer conferir?
Bem, no momento em que este artigo foi escrito, o código para o Unity Catalog OSS ainda não estava ativo no repositório Databricks GitHub.
No entanto, a empresa esclareceu que será disponibilizado como parte da palestra de Matei Zaharia durante uma próxima sessão na cúpula na quinta-feira, onde devemos ser capazes de explorar mais sobre isso.
Fique de olho no repositório para dar uma olhada nele quando estiver disponível em seu repositório.
Se você está ansioso para saber mais sobre este movimento, então você pode consultar o anúncio no blog oficial, e a documentação.
