Pular para o conteúdo principal
Procore

Exportar para o Fabric Lakehouse usando blocos de anotações de tecido

  1. Última atualização
  2. Salvar como PDF

Visão geral

O uso do Data Factory no Microsoft Fabric com o Compartilhamento Delta permite a integração e o processamento contínuos de tabelas Delta compartilhadas como parte de seus fluxos de trabalho de análise com o Procore Analytics 2.0. O Compartilhamento Delta é um protocolo aberto para compartilhamento seguro de dados, permitindo a colaboração entre organizações sem duplicar dados.

Este guia orienta você pelas etapas para configurar e usar o Data Factory em malha com o Compartilhamento Delta, utilizando Notebooks para processar e exportar dados para uma Lakehouse.

Pré-requisitos

  • Procore Analytics 2.0 SKU
  • Credenciais de compartilhamento Delta:
    • O acesso ao Delta Sharing credenciais fornecido por um provedor de dados.
    • Um arquivo de perfil de compartilhamento (config.share) Contendo:
      • Ponto de extremidade URL (Delta Sharing Server URL ).
      • Access Token (Token ao portador para acesso seguro a dados).
  • Crie seu arquivo config.yaml com credenciais específicos.
  • Ambiente do Microsoft Fabric:
    • Uma conta de locatário do Microsoft Fabric com uma assinatura ativa.
    • Um espaço de trabalho habilitado para malha.
  • Pacotes e Scripts:
    • Faça o download do pacote fabric-lakehouse. O diretório deve incluir:
      • ds_to_lakehouse.py: Código do bloco de anotações.
      • readme.md: Instruções.

Passos

Definir configuração

  1. Crie o config.yaml e defina a configuração na seguinte estrutura
    source_config:
        config_path: caminho/para/seu/delta-sharing-credentials-file.share
    tabelas: # Opcional - Deixar em branco para processar todas as tabelas
        - table_name1
        - table_name2
    target_config:
        lakehouse_path: caminho/para/seu/tecido/lakehouse/Mesas/ # Caminho para o Fabric Lakehouse

Configure sua Lakehouse

  1. Abra seu espaço de trabalho do Microsoft Fabric.
  2. Navegue até o Lakehouse e clique em Abrir Bloco de Anotações e, em seguida, em Novo Bloco de Anotações.
  3. Se você não souber o valor em config.yaml#lakehouse_path, você pode copiá-lo da tela.
  4. Clique nas reticências em Arquivos e selecione Copiar caminho ABFS:
    clipboard_e5dd266d8c6a622cceb30dd893a9106d7.png
    clipboard_e08827dbe6aeae6ac8f2bec7f5c758325.png
    clipboard_e390331535300f7f89fd0a91c9a3adebe.png

3. Copie o código do ds_to_lakehouse.py e cole na janela do notebook (Pyspark Python):

clipboard_e5b5d27813f9bebdfbe7dae73291cb3ae.png

A próxima etapa é carregar seu próprio config.yaml e config.share na pasta Recursos do Lakehouse. Você pode criar seu próprio diretório ou usar um diretório interno (já criado para recursos pela Lakehouse):


clipboard_eb5765c4bbf3ac93bd7c51ba6373f8049.png
clipboard_e86d913b62d37d237524537676680e4f3.png

O exemplo abaixo mostra um diretório interno padrão para um arquivo config.yaml.
Nota: Certifique-se de carregar ambos os arquivos no mesmo nível e para a propriedade config_path:

clipboard_e8ca378a5a0937b4b675d00adc2ec965f.png

4. Verifique o código do caderno, linhas 170-175.
O exemplo abaixo mostra as alterações de linha necessárias:

config_path = "./env/config.yaml"

Para 

config_path = "./builtin/config.yaml"

Como os arquivos estão em uma pasta interna e não em um env personalizado, certifique-se de monitorar sua própria estrutura dos arquivos. Você pode carregá-los em pastas diferentes, mas nesses casos, atualize o código do bloco de anotações para encontrar o arquivo config.yaml corretamente.
 

clipboard_e44e5ad3be4a06929aba88716b0fdaa23.png

5. Clique em Executar célula:


clipboard_e381c59ce2e4e9471efc0e9e4cc663b6d.png

Validação

  • Quando o trabalho for concluído, verifique se os dados foram copiados com sucesso para o seu Lakehouse.
  • Verifique as tabelas especificadas e verifique se os dados correspondem às tabelas Delta compartilhadas.
  • Aguarde até que o trabalho seja concluído, ele deve copiar todos os dados.