Conectar seus dados do Procore fazendo download de modelos de análise (Beta)
Objetivo
Conectar seus dados do Procore a um sistema BI fazendo download programático dos modelos de Analytics.
Coisas a considerar
- Requisitos:
- Python 3.6 ou superior instalado em seu sistema.
- Arquivo "config.share" recebido do Procore.
- Os pacotes python necessários instalados em seu sistema.
- O roteiro é compatível com PyS terminologia e Python.
- Se estiver usando o PySşba, verifique se você instalou a Spark 3.5.1 ou posterior, Java e configure a variável SPARK_HOME ambiente.
- Se você estiver usando o Python e o local de destino for MSSQL DB, instale o motorista ODBC 17 para o SQL Server em seu sistema.
Passos
- Fazer download de arquivo de credenciais
- Executar user_exp.py roteiro
- Correr como PyS terminologia
- Executar como Python
- Escolher seu próprio método
Fazer download de arquivo de credenciais
- Crie um arquivo chamado "config.share".
- Adicione os campos abaixo:
{
"shareCredentialsVersion": 1,
"bearerToken": "",
"endpoint": "",
"expiração em tempo": ""
} - Adicione ao arquivo config.compartilhamento os valores de bearerToken, endpoint, shareCredentialsVersion e expiraçãoTime recebidos do Procore.
Executar user_exp.py roteiro
Você pode usar os seguintes roteiros para criar um arquivo config.yaml com as configurações necessárias.
- Para armazenamento do Azure:
cron_job: #true/falso
run_as: #pyspark/python
source_config:
config_path: #path no arquivo config.share
Tabelas:
- "" Nome da tabela n.º se quiser fazer download de uma tabela específica. Deixe-o vazio se quiser fazer download de todas as tabelas
source_type: delta_share
target_config:
auth_type: service_principal
client_id: #client_id
secret_id: #secret_id
storage_account: nome #storage conta
storage_path: #<container>@<storage-account>.dfs.core.windows.net/<directory>
tenant_id: #tenant_id
target_type: azure_storage
- Para MSSQL DB:
cron_job: #true/falso
run_as: #pyspark/python
source_config:
config_path: #path no arquivo config.share
Tabelas:
- "" Nome da tabela n.º se quiser fazer download de uma tabela específica. Deixe-o vazio se quiser fazer download de todas as tabelas
source_type: delta_share
target_config:
banco de dados: #target banco de dados
host: #target nome de host:port
senha: #password
esquema: esquema #target (padrão a procore_analytics)
nome de usuário: #username
target_type: sql_server
Correr como PyS terminologia
Se o seu ambiente já estiver configurado com o Spark, escolha a opção "pys terminologia" quando solicitado ou depois que o "config.yaml" for gerado, você poderá executar os seguintes comandos para fazer download dos relatórios para o Diretório de dados.
- Para escrever no armazenamento ADLS Gen2:
spark-submit --pacotes io.delta:delta-sharing-spark_2.12:3.1.0, org.apache.hadoop:hadoop-azure:3.4.0,com.microsoft.azure:azure-storage:8.6.6,org.apache.hadoop:hadoop-common:3.4.0 --excludente-pacote com.sun.xml.bind:şb-impl delta_share_to_sql_spark.py - Para escrever no MSSQL DB:
spark-submit --pacotes io.delta:delta-compartilhamento-spark_2.12:3.1.0 - potes <Calação do pote mssql-jdbc> delta_share_to_sql_spark.py
Executar como Python
- Na linha de comando, acesse a pasta inserindo o comando "cd <path to the folder>" .
- Instalar pacotes obrigatórios usando a "instalação de pip-r requirements.txt" ou "python-m pip instalar -r requirements.txt".
- Abra o SSIS e crie um novo projeto.
- Na caixa de ferramentas SSIS arrastar e soltar Executar tarefa de processo.
- Clique duas vezes em Executar tarefa de processo.
- Acesse a guia Processo.
- Ao lado de Executável, insira o caminho para python.exe na pasta de instalação python.
- Em Teoria dos trabalhos, insira o caminho para a pasta que contém o script que deseja executar (sem o nome do arquivo de roteiro).
- Em Argumentos, insira o nome do roteiro delta_share_to_azure_panda.py deseja executar com a .py e clique em Salvar.
- Clique em Começar no menu de fita superior.
- Durante a execução da tarefa, a saída do console Python é exibida na janela externa do console.
- Após o final da tarefa, ela exibirá um marca de verificação.
Escolher seu próprio método
O compartilhamento da Delta é um protocolo aberto para um compartilhamento seguro de dados. Você encontrará o repositório público gitş para compartilhamento delta em https://github.com/delta-io/delta-sharing. O repositório inclui exemplos e documentação para acessar dados compartilhados usando vários idiomas, como Python e Spark Connector (SQL, Python, Scala, Java, R).