Conecte seus dados do Procore fazendo download de modelos de análise

Criar arquivo de credenciais

Primeiro, você precisa gerar um token de dados no aplicativo Web do Procore.  Consulte Gerar token de acesso. 

1. Crie um arquivo chamado config.share.
2. Adicione os campos abaixo:
   {
   "shareCredentialsVersion": 1,
   "bearerToken": "",
   "endpoint": "",
   "expiração em tempo": ""
   }
3. Adicione os valores de Token ao portador, Ponto de extremidade, Versão de credenciais de compartilhamento e Tempo de expiração recebidos do Procore ao arquivo config.share.

Executar user_exp.py roteiro

Você pode usar os seguintes roteiros para criar um arquivo config.yaml com as configurações necessárias. 

• For Azure Storage:
  cron_job: #true/false
  run_as: #pyspark/python
  source_config:
  config_path: #path to the config.share file
  tables:
  - '' # table name if you want to download a specific table. Leave it empty if you want to download all tables
  source_type: delta_share
  target_config:
  auth_type: service_principal
  client_id: #client_id
  secret_id: #secret_id
  storage_account: #storage-account name
  storage_path: #<container>@<storage-account>.dfs.core.windows.net/<directory>
  enant_id: #tenant_id
  target_type: azure_storage
   

• Para MSSQL DB:
  cron_job: #true/falso
  run_as: #pyspark/python
  source_config:
    config_path: #path no arquivo config.share
    Tabelas:
      - "" Nome da tabela n.º se quiser fazer download de uma tabela específica. Deixe-o vazio se quiser fazer download de todas as tabelas
  source_type: delta_share
  target_config:
    banco de dados: #target banco de dados
    host: #target nome de host:port
    senha: #password
    esquema: esquema #target (padrão a procore_analytics)
    nome de usuário: #username
  target_type: sql_server

Correr como PyS terminologia

Se o seu ambiente já estiver configurado com o Spark, escolha a opção "pys terminologia" quando solicitado ou depois que o "config.yaml" for gerado, você poderá executar os seguintes comandos para fazer download dos relatórios para o Diretório de dados.

• Para escrever no armazenamento ADLS Gen2:
  spark-submit --pacotes io.delta:delta-sharing-spark_2.12:3.1.0, org.apache.hadoop:hadoop-azure:3.4.0,com.microsoft.azure:azure-storage:8.6.6,org.apache.hadoop:hadoop-common:3.4.0 --excludente-pacote com.sun.xml.bind:şb-impl delta_share_to_sql_spark.py
• Para escrever no MSSQL DB:
  spark-submit --pacotes io.delta:delta-compartilhamento-spark_2.12:3.1.0 - potes <Calação do pote mssql-jdbc> delta_share_to_sql_spark.py

Executar como Python

1. Na linha de comando, navegue até a pasta digitando o comando "cd <path to the folder> ".
2. Instalar pacotes obrigatórios usando a "instalação de pip-r requirements.txt" ou "python-m pip instalar -r requirements.txt".
3. Execute o comando python delta_share_to_azure_pandy.py.

Usando o SSIS

1. Abra o SSIS e crie um novo projeto.
2. Na caixa de ferramentas SSIS arrastar e soltar Executar tarefa de processo.
3. Clique duas vezes em Executar tarefa de processo.
4. Acesse a guia Processo.
5. Ao lado de Executável, insira o caminho para python.exe na pasta de instalação python.
6. Em Teoria dos trabalhos, insira o caminho para a pasta que contém o script que deseja executar (sem o nome do arquivo de roteiro).
7. Em Argumentos, insira o nome do roteiro delta_share_to_azure_panda.py deseja executar com a .py e clique em Salvar.
8. Clique em Começar no menu de fita superior.
9. Durante a execução da tarefa, a saída do console Python é exibida na janela externa do console.
10. Após o final da tarefa, ela exibirá um marca de verificação.

Escolher seu próprio método

O compartilhamento da Delta é um protocolo aberto para um compartilhamento seguro de dados. Você encontrará o repositório público gitş para compartilhamento delta em https://github.com/delta-io/delta-sharing. O repositório inclui exemplos e documentação para acessar dados compartilhados usando vários idiomas, como Python e Spark Connector (SQL, Python, Scala, Java, R).