Introdução ao Procore Analytics 2.0

Configuração Inicial

• Execute o utilitário de configuração:
  user_exp.py Python

Isso ajudará você a configurar o seguinte:

• Configuração de origem do compartilhamento delta
• Configuração de destino do MS SQL Server
• Preferências de agendamento

Sincronização de dados

Após a configuração, você tem duas opções para executar a sincronização de dados:

1. python de execução direta
   delta_share_to_azure_panda.py
   OU
2. Execução Programada
   Se configurado durante configuração, o trabalho será executado automaticamente de acordo com sua programação cron.

Configuração de compartilhamento delta

1. Crie um novo arquivo chamado config.share com seu Delta Share credenciais no formato JSON.

2. Obtenha os campos obrigatórios:
   Nota: Esses detalhes podem ser obtidos no aplicativo Web Procore Analytics.
   • ShareCredentialsVersion: Número da versão (atualmente 1).
   • BearerToken: Seu token de acesso Delta Share.
   • Ponto de extremidade: seu endpoint de compartilhamento Delta URL.
   • Salve o arquivo em um local seguro.
3. Ao configurar a fonte de dados, você será solicitado a fornecer:
   • Lista de tabelas (separadas por vírgula).
   • Deixe em branco para sincronizar todas as tabelas.
   • Exemplo: 'table1, t able2,  table3'.
   • Caminho para o seu 'config.share' arquivo.

Configuração do MS SQL Server

Você precisará fornecer os seguintes detalhes do MS SQL Server:

• base de dados
• anfitrião
• senha
• esquema
• nome de usuário

Configuração do SSIS

1. Usando a linha de comando, navegue até a pasta <path to the folder> digitando'cd'.
2. Instale os pacotes necessários usando 'pip install -r requirements.txt' ou 'python -m pip install -r requirements.txt'.
3. Abra o SSIS e crie um novo projeto.
4. Na Caixa de Ferramentas do SSIS, arrastar e soltar atividade "Executar tarefa de processo".
   
   
5. Clique duas vezes em 'Executar tarefa do processo' e navegue até a guia Processo.
6. Em 'Executável', digite o caminho para python.exe na pasta de instalação do python.
7. Em 'WorkingDirectory', insira um caminho para a pasta que contém o script que você deseja executar (sem o nome do arquivo de script).
8. Em 'Argumentos', digite o nome do script 'delta_share_to_azure_panda.py' você deseja executar com o .py extensão e salvar.
   
   
    
9. Clique no botão 'Iniciar' no painel superior:
   
10. Durante a execução da tarefa, a saída do console Python é exibida na janela do console externo.
11. Quando a tarefa estiver concluída, ele exibirá um tick verde:
    
    

Preparar o Pacote

1. Crie um novo arquivo chamado config.share com seu Delta Share credenciais no formato JSON.

2. Obtenha os campos obrigatórios.
   Nota: Esses detalhes podem ser obtidos no aplicativo Web Procore Analytics.
   • ShareCredentialsVersion: Número da versão (atualmente 1).
   • BearerToken: Seu token de acesso Delta Share.
   • Ponto de extremidade: seu endpoint de compartilhamento Delta URL.
3. Baixe e extraia o pacote.
4. Descompacte o pacote em um diretório de sua escolha.
5. Copie o arquivo de perfil *.share Delta Sharing para o diretório do pacote para facilitar o acesso.
   

Instalar dependências

1. Abra um terminal no diretório do pacote.
2. Execute o seguinte comando para instalar as dependências:
3. pip install -r requirements.txt
   

Gerar configuração

1. Gere o arquivo config.yaml executando python user_exp.py:
   Esse script ajuda a gerar o arquivo config.yaml que contém credenciais e configurações necessárias.
2. Ao configurar a fonte de dados, você será solicitado a fornecer:
   • Lista de tabelas (separadas por vírgula).
   • Deixe em branco para sincronizar todas as tabelas.
     Exemplo: 'tabela1, tabela2, tabela3'.
   • Caminho para o seu 'config.share' arquivo.
3. Pela primeira vez, você fornecerá seus credenciais como local de configuração de origem do Delta Share, tabelas, banco de dados, host e etc.
   Nota: Depois, você pode reutilizar ou atualizar a configuração manualmente ou pelo user_exp.py python em execução novamente.

Configurar trabalhos cron e execução imediata (opcional)

1. Decida se deseja configurar um trabalho cron para execução automática.
2. Forneça um cronograma cron:
   • Formato: * * * * * ( minuto, hora, dia-do-mês, mês, dia-da-semana).
   • Exemplo para execução diária às 2 da manhã: 0 2 * * *
   • Para verificar os registros de agendamento, o arquivo 'procore_scheduling.log' será criado assim que o agendamento for configurado.

Você também pode verificar o agendamento executando o comando no terminal:

Para Linux e MacOs:    

Para editar/excluir - edite o cron de agendamento usando:

• Depois de executar o comando acima, você verá algo semelhante a:
• 2 * * * * /Users/your_user/snowflake/venv/bin/python /Users/your_user/snowflake/sql_server_python/connection_config.py 2>&1 | durante a linha de leitura; fazer echo "$(date) - $line"; feito >> /Users/your_user/snowflake/sql_server_python/procore_scheduling.log #procore-data-import
• Você também pode ajustar o cron do cronograma ou excluir toda a linha para interrompê-lo em execução por agendamento.

Para Windows:

• Verifique se a tarefa do cronograma foi criada:
  '''powershell
  schtasks /query /tn "ProcoreDeltaShareScheduling" /fo LIST /v
  ```
• Para editar/excluir - agendando tarefa:
  Abra o Agendador de Tarefas:
  • Pressione Win + R, digite taskschd.msc, e pressione Enter.
  • Navegue até as tarefas agendadas.
  • No painel esquerdo, expanda a Biblioteca do Agendador de Tarefas.
  • Procure a pasta onde sua tarefa foi salva (por exemplo, Biblioteca do Agendador de Tarefas ou uma pasta personalizada).
• Encontre sua tarefa:
  • Procure o nome da tarefa ProcoreDeltaShareScheduling.
  • Clique nele para visualizar seus detalhes no painel inferior.
• Confira sua programação:
  • Verifique a guia Gatilhos para ver quando a tarefa está definida para ser executada.
  • Verifique a guia Histórico para confirmar as execuções recentes.
• Para excluir tarefa:
  • Exclua a tarefa da GUI.

Questão de Execução Imediata:

• Opção para executar script para copiar dados imediatamente após a configuração.
• Depois de gerar o config.yaml, a CLI está pronta para ser executada a qualquer momento de forma independente, executando script para copiar dados, dependendo do seu pacote. Veja exemplos abaixo:
  delta_share_to_azure_panda.py Python
  OU
  Python delta_share_to_sql_spark.py
  OU
  Python delta_share_to_azure_dfs_spark.py

Execução e Manutenção

Problemas e soluções comuns

1. Configuração do trabalho Cron:
   • Verifique se as permissões do sistema estão configuradas corretamente.
   • Verifique os logs do sistema se o trabalho não for executado.
   •  Verifique se o script delta_share_to_azure_panda.py tem permissões de execução.
2. Arquivo de configuração:
   • Verifique se o arquivo config.yaml está no mesmo diretório que o script.
   • Faça backup do arquivo antes de fazer alterações.

Suporte

Para obter ajuda adicional:

1. Revise os logs de script para obter mensagens de erro detalhadas.
2. Verifique se há configurações incorretas no arquivo config.yaml .
3. Entre em contato com o administrador do sistema para problemas relacionados à permissão.
4. Entre em contato com suporte do Procore para problemas relacionados ao acesso ao Delta Share.
5. Revise o log de tabelas com falha: failed_tables.log.

Obs.

1. Sempre faça backup de seus arquivos de configuração antes de fazer alterações.
2. Teste novas configurações em um ambiente que não seja de produção para evitar interrupções.

Preparar o Pacote

1. Crie um novo arquivo chamado config.share com seu Delta Share credenciais no formato JSON.

2. Obtenha os campos obrigatórios.
   Nota: Esses detalhes podem ser obtidos no aplicativo Web Procore Analytics.
   • ShareCredentialsVersion: Número da versão (atualmente 1).
   • BearerToken: Seu token de acesso Delta Share.
   • Ponto de extremidade: seu endpoint de compartilhamento Delta URL.
3. Baixe e extraia o pacote.
4. Descompacte o pacote em um diretório de sua escolha.
5. Copie o arquivo de perfil *.share Delta Sharing para o diretório do pacote para facilitar o acesso.
   

Instalar dependências

1. Abra um terminal no diretório do pacote.
2. Execute o seguinte comando para instalar as dependências:
3. pip install -r requirements.txt
   

Gerar configuração

1. Gere o arquivo config.yaml executando python user_exp.py:
   Esse script ajuda a gerar o arquivo config.yaml que contém credenciais e configurações necessárias.
2. Ao configurar a fonte de dados, você será solicitado a fornecer:
   • Lista de tabelas (separadas por vírgula).
   • Deixe em branco para sincronizar todas as tabelas.
     Exemplo: 'tabela1, tabela2, tabela3'.
   • Caminho para o seu 'config.share' arquivo.
3. Pela primeira vez, você fornecerá seus credenciais como local de configuração de origem do Delta Share, tabelas, banco de dados, host e etc.
   Nota: Depois, você pode reutilizar ou atualizar a configuração manualmente ou pelo user_exp.py python em execução novamente.

Configurar trabalhos cron e execução imediata (opcional)

1. Decida se deseja configurar um trabalho cron para execução automática.
2. Forneça um cronograma cron:
   • Formato: * * * * * ( minuto, hora, dia-do-mês, mês, dia-da-semana).
   • Exemplo para execução diária às 2 da manhã: 0 2 * * *
   • Para verificar os registros de agendamento, o arquivo 'procore_scheduling.log' será criado assim que o agendamento for configurado.

Você também pode verificar o agendamento executando o comando no terminal:

Para Linux e MacOs:    

Para editar/excluir - edite o cron de agendamento usando:

• Depois de executar o comando acima, você verá algo semelhante a:
• 2 * * * * /Users/your_user/snowflake/venv/bin/python /Users/your_user/snowflake/sql_server_python/connection_config.py 2>&1 | durante a linha de leitura; fazer echo "$(date) - $line"; feito >> /Users/your_user/snowflake/sql_server_python/procore_scheduling.log #procore-data-import
• Você também pode ajustar o cron do cronograma ou excluir toda a linha para interrompê-lo em execução por agendamento.

Para Windows:

• Verifique se a tarefa do cronograma foi criada:
  '''powershell
  schtasks /query /tn "ProcoreDeltaShareScheduling" /fo LIST /v
  ```
• Para editar/excluir - agendando tarefa:
  Abra o Agendador de Tarefas:
  • Pressione Win + R, digite taskschd.msc, e pressione Enter.
  • Navegue até as tarefas agendadas.
  • No painel esquerdo, expanda a Biblioteca do Agendador de Tarefas.
  • Procure a pasta onde sua tarefa foi salva (por exemplo, Biblioteca do Agendador de Tarefas ou uma pasta personalizada).
• Encontre sua tarefa:
  • Procure o nome da tarefa ProcoreDeltaShareScheduling.
  • Clique nele para visualizar seus detalhes no painel inferior.
• Confira sua programação:
  • Verifique a guia Gatilhos para ver quando a tarefa está definida para ser executada.
  • Verifique a guia Histórico para confirmar as execuções recentes.
• Para excluir tarefa:
  • Exclua a tarefa da GUI.

Questão de Execução Imediata:

• Opção para executar script para copiar dados imediatamente após a configuração.
• Depois de gerar o config.yaml, a CLI está pronta para ser executada a qualquer momento de forma independente, executando script para copiar dados, dependendo do seu pacote. Veja exemplos abaixo:
  delta_share_to_azure_panda.py Python
  OU
  Python delta_share_to_sql_spark.py
  OU
  Python delta_share_to_azure_dfs_spark.py

Execução e Manutenção

Problemas e soluções comuns

1. Configuração do trabalho Cron:
   • Verifique se as permissões do sistema estão configuradas corretamente.
   • Verifique os logs do sistema se o trabalho não for executado.
   •  Verifique se o script delta_share_to_azure_panda.py tem permissões de execução.
2. Arquivo de configuração:
   • Verifique se o arquivo config.yaml está no mesmo diretório que o script.
   • Faça backup do arquivo antes de fazer alterações.

Suporte

Para obter ajuda adicional:

1. Revise os logs de script para obter mensagens de erro detalhadas.
2. Verifique se há configurações incorretas no arquivo config.yaml .
3. Entre em contato com o administrador do sistema para problemas relacionados à permissão.
4. Entre em contato com o suporte do Procore para problemas relacionados ao acesso ao Delta Share.
5. Revise o log de tabelas com falha: failed_tables.log.

Obs.

1. Sempre faça backup de seus arquivos de configuração antes de fazer alterações.
2. Teste novas configurações em um ambiente que não seja de produção para evitar interrupções.

Alternar para a experiência do Data Factory

1. Navegue até o Espaço de Trabalho do Microsoft Fabric.
   
    
2. Selecione Novo e, em seguida, escolha Dataflow Gen2.
   

Configurar o fluxo de dados

1. Vá para o editor de fluxo de dados.
2. Clique em Obter dados e selecione Mais.
3. Em Nova fonte, selecione Delta Sharing Other como a fonte de dados.
   
4. Insira os seguintes detalhes:
   • URL: Do arquivo de configuração do Compartilhamento Delta.
   • Token ao portador: encontrado no arquivo config.share.
     
5. Clique em Avançar e selecione as tabelas desejadas.
6. Clique em Criar para concluir o configuração.

Realizar transformações de dados

Depois de configurar o fluxo de dados, agora você pode aplicar transformações aos dados Delta compartilhados. Escolha sua opção Delta Sharing Data na lista abaixo:

• Adicionar destino de dados
• Criar/Abrir Lakehouse

Adicionar destino de dados

1. Vá para Data Factory.
2. Clique em Adicionar destino de dados.
3. Selecione Lakehouse como destino e clique em Avançar.
4. Escolha seu destino e confirme clicando em Avançar.

Criar-Open Lakehouse

1. Crie/abra sua Lakehouse e clique em Obter dados.
2. Selecione Novo Dataflow Gen2.
3. Clique em Obter Dados, depois em Mais e localize Compartilhamento Delta.
4. Insira o token de portador de URL do arquivo config.share e selecione Next.
5. Escolha seus dados/tabela/s para baixar e clique em Avançar.
6. Após essas manipulações, você deve ter todos os dados selecionados em seu Fabric Lakehouse.

Validação e Monitoramento

Teste seus pipelines e fluxos de dados para garantir uma execução suave. Usar ferramentas de monitoramento nos dados
Fábrica para acompanhar o progresso e os registros de cada atividade.

Definir configuração

1. Crie o config.yaml e defina a configuração na seguinte estrutura
   source_config:
       config_path: caminho/para/seu/delta-sharing-credentials-file.share
   tabelas: # Opcional - Deixar em branco para processar todas as tabelas
       - table_name1
       - table_name2
   target_config:
       lakehouse_path: caminho/para/seu/tecido/lakehouse/Mesas/ # Caminho para o Fabric Lakehouse

Configure sua Lakehouse

1. Abra seu espaço de trabalho do Microsoft Fabric.
2. Navegue até o Lakehouse e clique em Abrir Bloco de Anotações e, em seguida, em Novo Bloco de Anotações.
3. Se você não souber o valor em config.yaml#lakehouse_path, você pode copiá-lo da tela.
4. Clique nas reticências em Arquivos e selecione Copiar caminho ABFS:
   
   
   

3. Copie o código do ds_to_lakehouse.py e cole na janela do notebook (Pyspark Python):

A próxima etapa é carregar seu próprio config.yaml e config.share na pasta Recursos do Lakehouse. Você pode criar seu próprio diretório ou usar um diretório interno (já criado para recursos pela Lakehouse):

O exemplo abaixo mostra um diretório interno padrão para um arquivo config.yaml.
Nota: Certifique-se de carregar ambos os arquivos no mesmo nível e para a propriedade config_path:

4. Verifique o código do caderno, linhas 170-175.
O exemplo abaixo mostra as alterações de linha necessárias:

config_path = "./env/config.yaml"

Para 

config_path = "./builtin/config.yaml"

Como os arquivos estão em uma pasta interna e não em um env personalizado, certifique-se de monitorar sua própria estrutura dos arquivos. Você pode carregá-los em pastas diferentes, mas nesses casos, atualize o código do bloco de anotações para encontrar o arquivo config.yaml corretamente.
 

5. Clique em Executar célula:

Validação

• Quando o trabalho for concluído, verifique se os dados foram copiados com sucesso para o seu Lakehouse.
• Verifique as tabelas especificadas e verifique se os dados correspondem às tabelas Delta compartilhadas.
• Aguarde até que o trabalho seja concluído, ele deve copiar todos os dados.

Preparar o Pacote

1. Faça o download do pacote necessário (adls_azure_function ou sql_server_azure_function).
2. Extraia os arquivos de pacote para um diretório local.
3. Coloque o arquivo de compartilhamento Delta:
   • Copie seu arquivo de perfil *.share Delta Sharing para o diretório extraído.

 Instalar dependências

1. Abra um terminal no diretório do pacote.
2. Execute o seguinte comando para instalar as dependências necessárias do Python:
   • pip install -r requirements.txt

Gerar configuração

1. Gere o arquivo config.yaml executando:
   • user_exp.py Python
2. O script solicitará que você insira credenciais como:
   • Tabelas
   • Nome do banco de dados
   • Anfitrião
   • credenciais adicionais.
3. A configuração pode ser reutilizada ou atualizada manualmente ou executando novamente o user_exp.py python.

 Configuração da CLI do Azure

1. Faça logon no Azure.
2. Execute o seguinte comando para fazer login:
   az login
3. Verifique a conta do Azure:
   • az account show
   • Se o comando az não estiver disponível, instale a CLI do Azure seguindo as instruções encontradas aqui: Microsoft Learn.

Instalar o Azure Functions ferramentas principais

Ir para

Preparar a função do Azure

1. Use o botão
   Azure Portal guide
   Para criar o seguinte:
   • Um aplicativo de função
   • Um grupo de recursos
   • Plano de consumo
   • Conta de armazenamento
2. Definir agendamento Cron personalizado (opcional).
   • Abra function_app.py em um editor.
   • Localize a linha: @app.timer_trigger(schedule="0 0 */8 * * *",
3. Substitua o agendamento por sua expressão Cron personalizada e salve o arquivo.

Implantação

1. Abra um terminal no diretório de pacotes (adls_azure_function).
2. Execute o seguinte comando de implantação:
   • func azure functionapp publish <FunctionAppName> --build remote --python --clean
3. Substitua<FunctionAppName> pelo nome do seu aplicativo de função do Azure em sua assinatura do Azure.

Validação

• Certifique-se de que a implantação seja bem-sucedida verificando o status do aplicativo de função no Portal do Azure.
• Monitore os logs para verificar se a função está sendo executada conforme o esperado.

Acessar o fluxo de dados Gen2

1. Faça logon na sua conta do Microsoft Fabric.
2. Navegue até a área de trabalho.
3. Selecione 'Data Flow Gen2' nas opções disponíveis.

Configurar fonte de dados

1. Clique em 'Dados de outra fonte' para iniciar a configuração.
2. Na tela Obter dados, faça o seguinte:
   • Localize a barra de pesquisa rotulada como "Escolher fonte de dados".
   • Digite "compartilhamento delta" no campo de pesquisa.
   • Selecione Compartilhamento Delta nos resultados.
     
     

Configurar a conexão de compartilhamento delta

1. Insira seu credenciais de compartilhamento Delta quando solicitado.
   • Certifique-se de que todos os campos obrigatórios sejam preenchidos corretamente.
   • Se possível, valide a conexão.
2. Clique em "Avançar" para continuar.
3. Revise a lista de tabelas disponíveis:
   • Todas as tabelas às quais você tem acesso serão exibidas.
   • Selecione as tabelas desejadas para transferência.
     

Configurar destino de dados

1. Clique em 'Adicionar destino de dados'.
2. Selecione 'SQL warehouse' como seu destino.
   
3. Digite SQL credenciais:
   • Detalhes do servidor.
   • Informações de autenticação.
   • Especificações de banco de dados.
   • Verifique as configurações de conexão.

Finalizar e implantar

1. Revise todas as configurações.
2. Clique em "Publicar" para implantar o fluxo de dados.
3. Aguarde a mensagem de confirmação.

Verificação

1. Acesse seu SQL warehouse.
2. Verifique se os dados estão disponíveis e estruturados adequadamente.
3. Execute consultas de teste para garantir a integridade dos dados.

Solucionando problemas

Problemas e soluções comuns:

• Falhas de conexão: verifique credenciais e conectividade de rede.
• Tabelas ausentes: verifique as permissões de compartilhamento Delta.
• Problemas de desempenho: revise as configurações de alocação e otimização de recursos.

Configuração Inicial

Execute o utilitário de configuração usando python user_exp.py.

Sincronização de dados

Após a configuração, você tem duas opções para executar a sincronização de dados: 

• Execução Direta:
  • ds_to_snowflake.py Python
• Execução Programada
  • Se configurado durante configuração, o trabalho será executado automaticamente de acordo com sua programação Cron.
  • Para verificar os registros de agendamento, o arquivo 'procore_scheduling.log' será criado assim que o agendamento for configurado.
  • Além disso, você pode verificar o agendamento executando o comando terminal:

Para Linux e MacOS:

• Para editar/excluir - edite o cron de agendamento usando:

  ''Bash
  
  EDITOR=nano crontab -e
  
  ```

• Depois de executar o comando acima, você verá algo semelhante a:

  2 * * * *
  /Usuários/your_user/floco de neve/venv/bin/python
  
   /Usuários/your_user/Flocos de neve/sql_server_python/connection_config.py
  2>&1 | durante a linha de leitura; fazer echo "$(date) - $line"; feito>>
  
   /Usuários/your_user/floco de neve/sql_server_python/procore_scheduling.log #procore-data-import 

   
• Você também pode ajustar o cron do cronograma ou excluir toda a linha para interrompê-lo em execução por agendamento.

Para Windows:

• Verifique se a tarefa do cronograma foi criada: 

  ```
      powershell 
  
      schtasks /query /tn "ProcoreDeltaShareScheduling" /fo LIST /v 
  
  ``` 

• Para editar/excluir tarefa de agendamento, abra o Agendador de Tarefas.
• Pressione Win + R, digite taskschd.msc, e pressione enter. 
• Navegue até as tarefas agendadas. 
• No painel esquerdo, expanda a Biblioteca do Agendador de Tarefas. 
• Procure a pasta onde sua tarefa foi salva:
  Exemplo: Biblioteca do Agendador de Tarefas ou uma pasta personalizada.
• Encontre sua tarefa.
• Procure o nome da tarefa: ProcoreDeltaShareScheduling. 
• Clique nele para visualizar os detalhes no painel inferior. 
• Confira sua programação: 
  • Verifique a guia Gatilhos para ver quando a tarefa está definida para ser executada. 
  • Verifique a guia Histórico para confirmar as execuções recentes. 
• Para excluir tarefa: 
  • Exclua a tarefa da GUI.

Configuração de compartilhamento delta

• Criando o arquivo config.share 
• Antes de executar o utilitário de configuração, você precisa criar um arquivo config.share com seu Delta Share credenciais. O arquivo deve estar no formato JSON: 

  { 

  "shareCredentialsVersion": 1, 
  "bearerToken": "xxxxxxxxxxxxx", 
  "ponto de extremidade": "https://nvirginia.nuvem. databricks.c... alojas/xxxxxx"
  
  } 

   

• Campos obrigatórios: 
  • ShareCredentialsVersion: Número da versão (atualmente 1). 
  • BearerToken: Seu token de acesso Delta Share.
  • Ponto de extremidade: seu endpoint de compartilhamento Delta URL.
  • Esses detalhes podem ser obtidos na interface do usuário da Web do Procore.
• Etapas para criar config.share: 
  • Crie um novo arquivo chamado config.share.
  • Copie o modelo JSON acima. 
  • Substitua os valores de espaço reservado pelo seu credenciais real. 
  • Salve o arquivo em um local seguro. 
  • Você precisará fornecer o caminho para esse arquivo durante a configuração. Ao configurar a fonte de dados, você será solicitado a fornecer:
    • Lista de tabelas (separadas por vírgula).
    • Deixe em branco para sincronizar todas as tabelas.
    • Exemplo: tabela1, tabela2, tabela3.
• Caminho para o arquivo config.share .

Configuração do Flocos de Neve

Você precisará fornecer os seguintes detalhes do Flocos de Neve:

• Autenticação (escolha uma): 
  • Autenticação do usuário 
    • Nome de usuário 
    • Senha (digitada com segurança) 
• Autenticação de par de chaves
  • Nome de usuário 
  • Caminho do arquivo de chave privada
  • Senha do arquivo de chave privada 
• Detalhes da conexão: 
  • Identificador da conta 
  • Nome do armazém 
  • Nome do banco de dados 
  • Nome do esquema 
  • Número de threads simultâneos 

Opções de agendamento

A ferramenta oferece a capacidade de agendar a sincronização automática de dados.

• Configuração do trabalho Cron 
  • Escolher se deseja configurar um trabalho diário 
  • Se sim, forneça um cronograma cron 
  • Formato: * * * * * (minuto hora dia-do-mês mês, dia-da-semana)
  • Exemplo para diariamente às 2 da manhã: 0 2 * * * 
• Execução Imediata 
  • Opção para executar o ds_to_snowflake.py imediatamente após a configuração  
• Estrutura de arquivos

  Unset 
  ├── requirements.txt                    # Dependências 
  ├── user_exp.py                                # Utilitário de configuração
  ├── ds_to_snowflake.py                # Script de sincronização de dados
  ├── config.yaml                                  # Configuração gerada
  ├── config.share                               # Arquivo de configuração do Delta Share
  ├── procore_scheduling.log       # Log de execuções de agendamento 

  
  Exemplo de uso 
  • Etapa 1: Instalar dependências 
    $ pip instalar -r requirements.txt
  • Etapa 2: Executar o utilitário de configuração 
    $ python user_exp.py 
  • Acesso ao Procore Analytics Cloud Connect 
    • Essa CLI ajudará você a escolher seu armazenamento de origem e destino para acessar/gravar dados do Procore no Snowflake. 
    • Pressione Enter para continuar.
    • Insira a lista de tabelas (separadas por vírgula), deixe-a em branco para todas as tabelas: projetos,usuários,tarefas.
    • Digite o caminho para config.share: /caminho/para/config.share.
    • Digite o nome de usuário: snowflake_user.
    • Qual tipo de autenticação você deseja usar? (usuário/key_pair): Digite.
    • 1 para o usuário,
    • 2 para o par de chaves:
    • 1 
    • Digite a senha: ******** 
    • Digite a conta: my_account 
    • Entre no armazém: my_warehouse 
    • Digite o nome do banco de dados: procore_db
    • Digite o nome do esquema: procore_schema 
    • Digite o número de tópicos: 4 
    • Você quer configurar isso como um trabalho diário no cron? (Sim/Não): Sim 
    • Insira o cronograma no formato cron (por exemplo, * * * * * ): 0 2 * * * 
    • Quer executar o trabalho agora? (Sim/Não): Sim 
  • Etapa 3: Execução manual (se necessário)
    $ python ds_to_snowflake.py 
• Reutilização de configuração
  A ferramenta salva sua configuração no arquivo config.yaml e oferece a reutilização de configurações armazenadas anteriormente: 
  • A configuração de origem pode ser reutilizada.
  • A configuração de destino (floco de neve) pode ser reutilizada. 
  • Você pode optar por atualizar qualquer configuração independentemente.

Práticas recomendadas 

• Autenticação
  • Use a autenticação de par de chaves quando possível.
  • Gire regularmente credenciais. 
  • Use as permissões mínimas necessárias.
• Desempenho 
  • Ajuste a contagem de threads com base nos recursos do sistema. 
  • Comece com um subconjunto menor de tabelas para teste.

Solucionando problemas 

• Problemas e soluções comuns: 
  • Tipo de autenticação inválido 
    • Certifique-se de selecionar '1' (usuário) ou '2' (key_pair) quando solicitado.
• Configuração do trabalho Cron  
  • Verifique se você tem as permissões de sistema adequadas.
  • Verifique os logs do sistema se o trabalho não for executado.
  • Verifique se o ds_to_snowflake.py tem permissões corretas. 
  • Verifique o configuração do trabalho cron verificando os logs do sistema:
    Consulte o arquivo "procore_scheduling.log ".
• Arquivo de configuração
  • Localizado no mesmo diretório que o script,
  • Chamado config.yaml.
  • Faça backup antes de fazer qualquer alteração.
• Suporte
  • Verifique a saída de log do script. 
  • Revise seu arquivo config.yaml . 
  • Entre em contato com o administrador do sistema para problemas relacionados à permissão.
  • Entre em contato com suporte do Procore para problemas de acesso ao Delta Share.

Nota: Lembre-se de sempre fazer backup de sua configuração antes de fazer alterações e testar novas configurações em um ambiente que não seja de produção primeiro.
 

Configuração Inicial

Execute o utilitário de configuração usando python user_exp.py.

Isso ajudará você a configurar o seguinte:

• Configuração de compartilhamento delta
• Configuração de destino do S3
• Preferências de Agendamento 

Configuração de compartilhamento delta

• Criando o arquivo config.share 
• Antes de executar o utilitário de configuração, você precisa criar um arquivo config.share com seu Delta Share credenciais. O arquivo deve estar no formato JSON: 

  { 

  "shareCredentialsVersion": 1, 
  "bearerToken": "xxxxxxxxxxxxx", 
  "Ponto de extremidade": "xxxxxx"
  
  } 

• Campos obrigatórios: 
  • ShareCredentialsVersion: Número da versão (atualmente 1). 
  • BearerToken: Seu token de acesso Delta Share.
  • Ponto de extremidade: seu endpoint de compartilhamento Delta URL.
  • Esses detalhes podem ser obtidos na interface do usuário da Web do Procore.
• Etapas para criar config.share: 
  • Crie um novo arquivo chamado config.share.
  • Copie o modelo JSON acima. 
  • Substitua os valores de espaço reservado pelo seu credenciais real. 
  • Salve o arquivo em um local seguro. 
  • Você precisará fornecer o caminho para esse arquivo durante a configuração. Ao configurar a fonte de dados, você será solicitado a fornecer:
    • Lista de tabelas (separadas por vírgula).
    • Deixe em branco para sincronizar todas as tabelas.
    • Exemplo: tabela1, tabela2, tabela3.
• Caminho para o arquivo config.share .

Configuração do S3

Você precisará fornecer os seguintes detalhes do S3:

• Autenticação:
  • Chave de acesso
  • Chave Secreta
  • Nome do bucket sem s3://
  • Key - Diretório 

Opções de agendamento

A ferramenta oferece a capacidade de agendar a sincronização automática de dados.

• Configuração do trabalho Cron 
  • Escolha se deseja configurar um trabalho diário. 
  • Se sim, forneça um cronograma cron. 
  • Formato: * * * * * (minuto hora dia-do-mês mês, dia-da-semana).
  • Exemplo para diariamente às 2 da manhã: 0 2 * * * 
  • Para verificar os registros de agendamento, o arquivo 'procore_scheduling.log' será criado assim que o agendamento for configurado.

Você também pode verificar o agendamento executando o comando do terminal

Para Linux e MacOs:    

Para editar/excluir - edite o cron de agendamento usando:

• Depois de executar o comando acima, você verá algo semelhante a:
• 2 * * * * /Users/your_user/snowflake/venv/bin/python /Users/your_user/snowflake/sql_server_python/connection_config.py 2>&1 | durante a linha de leitura; fazer echo "$(date) - $line"; feito >> /Users/your_user/snowflake/sql_server_python/procore_scheduling.log #procore-data-import
• Você também pode ajustar o cron do cronograma ou excluir toda a linha para interrompê-lo em execução por agendamento.

Para Windows:

• Verifique se a tarefa do cronograma foi criada:
  '''powershell
  schtasks /query /tn "ProcoreDeltaShareScheduling" /fo LIST /v
  ```
• Para editar/excluir - agendando tarefa:
  Abra o Agendador de Tarefas:
  • Pressione Win + R, digite taskschd.msc, e pressione Enter.
  • Navegue até as tarefas agendadas.
  • No painel esquerdo, expanda a Biblioteca do Agendador de Tarefas.
  • Procure a pasta onde sua tarefa foi salva (por exemplo, Biblioteca do Agendador de Tarefas ou uma pasta personalizada).
• Encontre sua tarefa:
  • Procure o nome da tarefa ProcoreDeltaShareScheduling.
  • Clique nele para visualizar seus detalhes no painel inferior.
• Confira sua programação:
  • Verifique a guia Gatilhos para ver quando a tarefa está definida para ser executada.
  • Verifique a guia Histórico para confirmar as execuções recentes.
• Para excluir tarefa:
  • Exclua a tarefa da GUI.

• Execução Imediata 
  • Opção para executar o delta_share_to_s3_.py Estrutura de arquivos

• Unset 
  
  ├── requirements.txt                    # Dependências 
  ├── user_exp.py                                # Utilitário de configuração
  ├── delta_share_to_s3.py            # Script de sincronização de dados
  ├── config.yaml                                  # Configuração gerada
  ├── config.share                               # Arquivo de configuração do Delta Share
  ├── procore_scheduling.log       # Log de execuções de agendamento 

  
  Exemplo de uso 
  • Etapa 1: Instalar dependências 
    $ pip instalar -r requirements.txt
  • Etapa 2: Executar o utilitário de configuração 
    $ python user_exp.py 
  • Acesso ao Procore Analytics Cloud Connect 
    • Essa CLI ajudará você a escolher seu armazenamento de origem e de destino para acessar/gravar dados do Procore no S3. 
    • Pressione Enter para continuar.
    • Insira a lista de tabelas (separadas por vírgula), deixe-a em branco para todas as tabelas: projetos,usuários,tarefas.
    • Digite o caminho para config.share: /caminho/para/config.share.
    • Digite a chave de acesso: chave s3.
    • Digite segredo: segredo.
    • Digite bucket: nome do bucket.
    • Você quer configurar isso como um trabalho diário no cron? (Sim/Não): Sim 
    • Insira o cronograma no formato cron (por exemplo, * * * * * ): 0 2 * * * 
    • Quer executar o trabalho agora? (Sim/Não): Sim 
  • Etapa 3: Execução manual (se necessário)
    $ python delta_share_to_s3.py 
• Reutilização de configuração
  A ferramenta salva sua configuração no arquivo config.yaml e oferece a reutilização de configurações armazenadas anteriormente: 
  • A configuração de origem pode ser reutilizada.
  • A configuração de destino (S3) pode ser reutilizada. 
  • Você pode optar por atualizar qualquer configuração independentemente.

Solucionando problemas 

Problemas e soluções comuns: 

• Configuração do trabalho Cron  
  • Verifique se as permissões do sistema estão configuradas corretamente.
  • Verifique os logs do sistema se o trabalho não for executado.
  • Verifique o script (delta_share_to_s3.py) permissões de execução.
• Arquivo de configuração
  • Confirme se o arquivo config.yaml está no mesmo diretório que o script.
  • Faça backup antes de fazer qualquer alteração.
• Suporte
  • Revise os logs de script para obter mensagens de erro detalhadas.
  • Revise seu arquivo config.yaml em busca de configurações incorretas.
  • Entre em contato com o administrador do sistema para problemas relacionados à permissão.
  • Entre em contato com suporte do Procore para problemas de acesso ao Delta Share.
  • Verifique a configuração do trabalho cron verificando os logs do sistema: Consulte o arquivo 'procore_scheduling_log'.

Obs.:

1. Lembre-se de sempre fazer backup de sua configuração antes de fazer alterações.
2. Teste primeiro novas configurações em um ambiente que não seja de produção.

Conector Python

O Delta Sharing Python Connector é uma biblioteca Python que implementa o Delta Sharing Protocol para ler tabelas de um servidor de Compartilhamento Delta. Você pode carregar tabelas compartilhadas como um DataFrame pandas ou como um DataFrame do Apache Spark se estiver executando no PySpark com o Apache Spark Connector instalado.

Conector Apache Spark

O Apache Spark Connector implementa o Protocolo de Compartilhamento Delta para ler tabelas compartilhadas de um Servidor de Compartilhamento Delta. Pode ser utilizado em SQL, Python, Java, Scala e R.

Configurando o Apache Spark

Você pode configurar o Apache Spark para carregar o conector de compartilhamento Delta nos dois seguintes
Maneiras:

• Executar interativamente: inicie o shell do Spark (Scala ou Python) com o conector de compartilhamento Delta e execute os trechos de código interativamente no shell.
• Executar como um projeto: configure um projeto Maven ou SBT (Scala ou Java) com o conector de Compartilhamento Delta, copie os trechos de código em um arquivo de origem e execute o projeto.

Se você estiver usando o Databricks Runtime, poderá ignorar esta seção e seguir o documento Databricks Libraries para instalar o conector em seus clusters.

Configurar um shell interativo

Para usar o conector de Compartilhamento Delta interativamente no shell Scala/Python do Spark, você pode iniciar os shells da seguinte maneira.

Concha PySpark

Unset
pyspark --pacotes io.delta:delta-sharing-spark_2.12:3.1.0

Concha Scala

Unset
bin/spark-shell --pacotes
io.delta:delta-compartilhamento-spark_2.12:3.1.0

Configurar um projeto autônomo

Se você quiser construir um projeto Java/Scala usando o conector Delta Sharing do Maven Central Repository, você pode usar as seguintes coordenadas do Maven.