Pular para o conteúdo principal
Procore

Conectar-se ao BigQuery

  1. Última atualização
  2. Salvar como PDF

Objetivo

A ferramenta Analytics Cloud Connect Access é um bloco de anotações que ajuda você a configurar e gerenciar transferências de dados do Procore para o BigQuery com o Analytics 2.0. 

Pré-requisitos

  • Analytics 2.0 SKU
  • Acesso ao Google Cloud Platform (GCP)
  • Permissões necessárias no Delta Share e no BigQuery
  • Baixe o pacote compactado na ferramenta nível de empresa Analytics (via Analytics > Introdução > opções de conexão > BigQuery).

Passos

  1. Definir configuração
  2. Executar o aplicativo BigQuery

Definir configuração 

Configuração de compartilhamento delta 

  1. Crie um arquivo chamado config.share com seu Delta Share credenciais no formato JSON.
  2. Obtenha os campos obrigatórios.
    Nota: Esses detalhes podem ser obtidos no aplicativo Web do Google Analytics.
    • bearerToken: Seu token de acesso Delta Share.
    • Extremidade: Seu endpoint Delta Share URL.
    • shareCredentialsVersion: Número da versão (atualmente 1).
Exemplo de arquivo config.share

{
"shareCredentialsVersion": 1,
"bearerToken": "",
"ponto de extremidade": ""
}

CONFIGURAÇÃO DO BIGQUERY 

  1. Faça download do arquivo bigquery.zip do aplicativo Web do Google Analytics. 
    Nota: Você pode baixar o pacote compactado na ferramenta nível de empresa Analytics (por meio do Google Analytics > Introdução > opções de conexão > BigQuery).
  2. Extraia o pacote para um diretório de sua escolha.
  3. Abra o arquivo config.yaml e modifique os seguintes parâmetros:
    • source_config.config_path: Caminho para o arquivo de configuração do Compartilhamento Delta.
    • source_config.tabelas: Lista opcional de tabelas específicas a serem processadas. Deixe-o vazio para processar todas as tabelas.
    • target_config.id_do_projeto: ID do projeto GCP para BigQuery.
    • target_config.conjunto de dados: Nome do conjunto de dados do BigQuery.
    • target_config.threads: Número de processos de tabela simultânea.
Exemplo de arquivo config.yaml

source_config:
config_path: "<path_to_delta_share_config>"
tabelas: # Opcional - lista de tabelas específicas para processar
- "Tabela1"
- "Tabela2"

target_config:
project_id: ""<your-gcp-project-id><bigquery-dataset-name>
Conjunto de dados: ""
target_type: BigQuery

Carregar arquivo de configuração
  1. Carregue os arquivos config.yaml e config.share no bucket gs.
    1. Armazenamento em nuvem do Google (GCS)

Executar o aplicativo BigQuery

  1. Crie um bloco de anotações Python e instale os seguintes pacotes:
    • %pip instalar compartilhamento delta
    • pip instalar pandas-gbq -U
  2. Copie o código de , cole-o em seu bloco de anotações, atualize o caminho de delta_share_to_bq.pyconfiguração (config.yaml), e executá-lo.

Monitoramento e registro em log

O aplicativo fornece registro detalhado com:

  • Status de processamento para cada tabela.
  • Mensagens de erro e exceções.
  • Informações de processamento simultâneo.

Práticas recomendadas

  • Otimização de Desempenho
    • Ajuste a contagem de threads com base nos recursos do sistema.
    • Monitore o uso de memória com tabelas grandes.
    • Considere tamanhos de tabela ao definir processos simultâneos.
  • Gerenciamento de Erros
    • Monitorar logs de aplicativos.
    • Configure o alerta apropriado.
    • Manter as configurações de backup.

Solucionando problemas

Problemas e soluções comuns:

  • Falhas de conexão
    • Verifique a conectividade de rede.
    • Verifique a validade da credencial.
    • Confirme conta de serviço permissões.
  • Erros de processamento
    • Verifique a existência da tabela.
    • Verifique as permissões de acesso à tabela.
    • Valide as definições de configuração.
  • Problemas de desempenho
    • Reduza os threads simultâneos.
    • Monitore os recursos do sistema.

Suporte

Para obter ajuda adicional:

  • Revise os logs do aplicativo para obter detalhes do erro.
  • Verifique as definições de configuração.
  • Certifique-se de que todos os pré-requisitos sejam atendidos.
  • Entre em contato com o administrador do sistema para problemas relacionados à permissão.