Pular para o conteúdo principal
Procore

Conectar seus dados do Procore fazendo download de modelos de análise (Beta)

Objetivo

Conectar seus dados do Procore a um sistema BI fazendo download programático dos modelos de Analytics. 

Coisas a considerar

  • Requisitos:
    • Python 3.6 ou superior instalado em seu sistema.
    • Arquivo "config.share" recebido do Procore.
    • Os pacotes python necessários instalados em seu sistema.
    • O roteiro é compatível com PyS terminologia e Python.
    • Se estiver usando o PySşba, verifique se você instalou a Spark 3.5.1 ou posterior, Java e configure a variável SPARK_HOME ambiente.
    • Se você estiver usando o Python e o local de destino for MSSQL DB, instale o motorista ODBC 17 para o SQL Server em seu sistema.

Passos

Fazer download de arquivo de credenciais

  1. Crie um arquivo chamado "config.share".
  2. Adicione os campos abaixo:
    {
    "shareCredentialsVersion": 1,
    "bearerToken": "",
    "endpoint": "",
    "expiração em tempo": ""
    }
  3. Adicione ao arquivo config.compartilhamento os valores de bearerToken, endpoint, shareCredentialsVersion e expiraçãoTime recebidos do Procore.

Executar user_exp.py roteiro

Você pode usar os seguintes roteiros para criar um arquivo config.yaml com as configurações necessárias. 

  • Para armazenamento do Azure:
    cron_job: #true/falso
    run_as: #pyspark/python
    source_config:
      config_path: #path no arquivo config.share
      Tabelas:
      - "" Nome da tabela n.º se quiser fazer download de uma tabela específica. Deixe-o vazio se quiser fazer download de todas as tabelas
    source_type: delta_share
    target_config:
      auth_type: service_principal
      client_id: #client_id
      secret_id: #secret_id
      storage_account: nome #storage conta
      storage_path: #<container>@<storage-account>.dfs.core.windows.net/<directory>
      tenant_id: #tenant_id
    target_type: azure_storage
  • Para MSSQL DB:
    cron_job: #true/falso
    run_as: #pyspark/python
    source_config:
      config_path: #path no arquivo config.share
      Tabelas:
        - "" Nome da tabela n.º se quiser fazer download de uma tabela específica. Deixe-o vazio se quiser fazer download de todas as tabelas
    source_type: delta_share
    target_config:
      banco de dados: #target banco de dados
      host: #target nome de host:port
      senha: #password
      esquema: esquema #target (padrão a procore_analytics)
      nome de usuário: #username
    target_type: sql_server

Correr como PyS terminologia

Se o seu ambiente já estiver configurado com o Spark, escolha a opção "pys terminologia" quando solicitado ou depois que o "config.yaml" for gerado, você poderá executar os seguintes comandos para fazer download dos relatórios para o Diretório de dados.

  • Para escrever no armazenamento ADLS Gen2:
    spark-submit --pacotes io.delta:delta-sharing-spark_2.12:3.1.0, org.apache.hadoop:hadoop-azure:3.4.0,com.microsoft.azure:azure-storage:8.6.6,org.apache.hadoop:hadoop-common:3.4.0 --excludente-pacote com.sun.xml.bind:şb-impl delta_share_to_sql_spark.py
  • Para escrever no MSSQL DB:
    spark-submit --pacotes io.delta:delta-compartilhamento-spark_2.12:3.1.0 - potes <Calação do pote mssql-jdbc> delta_share_to_sql_spark.py

Executar como Python

  1. Na linha de comando, acesse a pasta inserindo o comando "cd <path to the folder>" .
  2. Instalar pacotes obrigatórios usando a "instalação de pip-r requirements.txt" ou "python-m pip instalar -r requirements.txt".
  3. Abra o SSIS e crie um novo projeto.
  4. Na caixa de ferramentas SSIS arrastar e soltar Executar tarefa de processo.
  5. Clique duas vezes em Executar tarefa de processo.
  6. Acesse a guia Processo.
  7. Ao lado de Executável, insira o caminho para python.exe na pasta de instalação python.
  8. Em Teoria dos trabalhos, insira o caminho para a pasta que contém o script que deseja executar (sem o nome do arquivo de roteiro).
  9. Em Argumentos, insira o nome do roteiro delta_share_to_azure_panda.py deseja executar com a .py e clique em Salvar.
  10. Clique em Começar no menu de fita superior.
  11. Durante a execução da tarefa, a saída do console Python é exibida na janela externa do console.
  12. Após o final da tarefa, ela exibirá um marca de verificação.

Escolher seu próprio método

O compartilhamento da Delta é um protocolo aberto para um compartilhamento seguro de dados. Você encontrará o repositório público gitş para compartilhamento delta em https://github.com/delta-io/delta-sharing. O repositório inclui exemplos e documentação para acessar dados compartilhados usando vários idiomas, como Python e Spark Connector (SQL, Python, Scala, Java, R).

 Obs.
Certifique-se de ter permissões e direitos de acesso adequados para fazer download dos arquivos necessários e executar contêineres Docker em seu sistema. Sempre siga as práticas recomendadas de segurança e diretrizes fornecidas pelo Procore ao lidar com dados e credenciais sigilosos.