Exportar para o Fabric Lakehouse usando o Data Factory
Visão geral
A integração do Compartilhamento Delta com o Microsoft Fabric Data Factory permite o acesso e o processamento contínuos de tabelas Delta compartilhadas para seus fluxos de trabalho de análise com o Procore Analytics 2.0. O Delta Sharing, um protocolo aberto para colaboração segura de dados, garante que as organizações possam compartilhar dados sem duplicação.
Pré-requisitos
- Procore Analytics 2.0 SKU
- Credenciais de compartilhamento Delta:
- Obtenha o arquivo share.json (ou equivalente) Delta Sharing credenciais do seu provedor de dados.
- Esse arquivo deve incluir:
- Ponto de extremidade URL: O Delta Sharing Server URL.
- Token ao portador: Usado para acesso seguro a dados.
- Instalação do Microsoft Fabric:
- Uma conta de locatário do Microsoft Fabric com uma assinatura ativa.
- Acesso a um espaço de trabalho habilitado para Microsoft Fabric.
Passos
- Alternar para a experiência do Data Factory
- Configurar o fluxo de dados
- Realizar transformações de dados
- Validação e Monitoramento
Alternar para a experiência do Data Factory
- Navegue até o Espaço de Trabalho do Microsoft Fabric.
- Selecione Novo e, em seguida, escolha Dataflow Gen2.
Configurar o fluxo de dados
- Vá para o editor de fluxo de dados.
- Clique em Obter dados e selecione Mais.
- Em Nova fonte, selecione Delta Sharing Other como a fonte de dados.
- Insira os seguintes detalhes:
- URL: Do arquivo de configuração do Compartilhamento Delta.
- Token ao portador: encontrado no arquivo config.share.
- Clique em Avançar e selecione as tabelas desejadas.
- Clique em Criar para concluir o configuração.
Realizar transformações de dados
Depois de configurar o fluxo de dados, agora você pode aplicar transformações aos dados Delta compartilhados. Escolha sua opção Delta Sharing Data na lista abaixo:
- Adicionar destino de dados
- Criar/Abrir Lakehouse
Adicionar destino de dados
- Vá para Data Factory.
- Clique em Adicionar destino de dados.
- Selecione Lakehouse como destino e clique em Avançar.
- Escolha seu destino e confirme clicando em Avançar.
Criar-Open Lakehouse
- Crie/abra sua Lakehouse e clique em Obter dados.
- Selecione Novo Dataflow Gen2.
- Clique em Obter Dados, depois em Mais e localize Compartilhamento Delta.
- Insira o token de portador de URL do arquivo config.share e selecione Next.
- Escolha seus dados/tabela/s para baixar e clique em Avançar.
- Após essas manipulações, você deve ter todos os dados selecionados em seu Fabric Lakehouse.
Validação e Monitoramento
Teste seus pipelines e fluxos de dados para garantir uma execução suave. Usar ferramentas de monitoramento nos dados
Fábrica para acompanhar o progresso e os registros de cada atividade.