Conectar-se ao BigQuery

Objetivo

A ferramenta Analytics Cloud Connect Access é um bloco de anotações que ajuda você a configurar e gerenciar transferências de dados do Procore para o BigQuery com o Analytics 2.0.

Pré-requisitos

Analytics 2.0 SKU
Acesso ao Google Cloud Platform (GCP)
Permissões necessárias no Delta Share e no BigQuery
Baixe o pacote compactado na ferramenta nível de empresa Analytics (via Analytics > Introdução > opções de conexão > BigQuery).

Definir configuração

Configuração de compartilhamento delta

Crie um arquivo chamado config.share com seu Delta Share credenciais no formato JSON.
Obtenha os campos obrigatórios.
Nota: Esses detalhes podem ser obtidos no aplicativo Web do Google Analytics.
- bearerToken: Seu token de acesso Delta Share.
- Extremidade: Seu endpoint Delta Share URL.
- shareCredentialsVersion: Número da versão (atualmente 1).

Exemplo de arquivo config.share

{
"shareCredentialsVersion": 1,
"bearerToken": "",
"ponto de extremidade": ""
}

CONFIGURAÇÃO DO BIGQUERY

Faça download do arquivo bigquery.zip do aplicativo Web do Google Analytics.
Nota: Você pode baixar o pacote compactado na ferramenta nível de empresa Analytics (por meio do Google Analytics > Introdução > opções de conexão > BigQuery).
Extraia o pacote para um diretório de sua escolha.
Abra o arquivo config.yaml e modifique os seguintes parâmetros:
- source_config.config_path: Caminho para o arquivo de configuração do Compartilhamento Delta.
- source_config.tabelas: Lista opcional de tabelas específicas a serem processadas. Deixe-o vazio para processar todas as tabelas.
- target_config.id_do_projeto: ID do projeto GCP para BigQuery.
- target_config.conjunto de dados: Nome do conjunto de dados do BigQuery.
- target_config.threads: Número de processos de tabela simultânea.

Exemplo de arquivo config.yaml

source_config:
config_path: "<path_to_delta_share_config>"
tabelas: # Opcional - lista de tabelas específicas para processar
- "Tabela1"
- "Tabela2"

target_config:
project_id: ""<your-gcp-project-id><bigquery-dataset-name>
Conjunto de dados: ""
target_type: BigQuery

Carregar arquivo de configuração

Carregue os arquivos config.yaml e config.share no bucket gs.
1. Armazenamento em nuvem do Google (GCS)
  - Use o formato: gs://bucket-name/path/to/config.yaml.

Executar o aplicativo BigQuery

Crie um bloco de anotações Python e instale os seguintes pacotes:
- %pip instalar compartilhamento delta
- pip instalar pandas-gbq -U
Copie o código de , cole-o em seu bloco de anotações, atualize o caminho de delta_share_to_bq.pyconfiguração (config.yaml), e executá-lo.

Monitoramento e registro em log

O aplicativo fornece registro detalhado com:

Status de processamento para cada tabela.
Mensagens de erro e exceções.
Informações de processamento simultâneo.

Práticas recomendadas

Otimização de Desempenho
- Ajuste a contagem de threads com base nos recursos do sistema.
- Monitore o uso de memória com tabelas grandes.
- Considere tamanhos de tabela ao definir processos simultâneos.
Gerenciamento de Erros
- Monitorar logs de aplicativos.
- Configure o alerta apropriado.
- Manter as configurações de backup.

Solucionando problemas

Problemas e soluções comuns:

Falhas de conexão
- Verifique a conectividade de rede.
- Verifique a validade da credencial.
- Confirme conta de serviço permissões.
Erros de processamento
- Verifique a existência da tabela.
- Verifique as permissões de acesso à tabela.
- Valide as definições de configuração.
Problemas de desempenho
- Reduza os threads simultâneos.
- Monitore os recursos do sistema.

Suporte

Para obter ajuda adicional:

Revise os logs do aplicativo para obter detalhes do erro.
Verifique as definições de configuração.
Certifique-se de que todos os pré-requisitos sejam atendidos.
Entre em contato com o administrador do sistema para problemas relacionados à permissão.