Pipeline Pipedrive → BigQuery (dlt)

Substituir o Kondado (na parte da fonte Pipedrive) por um pipeline próprio em dlt (Python), destino BigQuery, agendado via GitHub Actions — pensado como on-ramp portátil (não lock-in): o script tem que rodar igual amanhã numa VM com cron ou no Kestra, sem reescrita.

Visão executiva

A Bepex hoje depende do Kondado pra levar dados pro BigQuery. Este projeto cria um pipeline próprio para a fonte Pipedrive: extrai via a lib dlt, carrega incrementalmente no BigQuery, e roda agendado no GitHub Actions. Toda a lógica de extração/carga vive num script Python padrão que não sabe que está rodando dentro do Actions; o workflow YAML é só um invólucro fino.

Objetivo maior do Rafael (fora do escopo imediato, mas que molda a estrutura do repo): orquestrar múltiplos pipelines dlt e depois publicar dashboards com Evidence.dev. O repo não deve ser desenhado como projeto de propósito único.

Status atual (2026-07-10)

Item	Status
Projeto GCP (pipedrive-data-468012)	✅ Criado, billing vinculado
Repositório GitHub (bepex-sys/bepex-data-pipelines)	⚠️ Criado (privado), só README inicial — nenhum código pushado
BigQuery (API + dataset)	❌ Não configurado
Service account GCP	❌ Não criada
Token Pipedrive	❌ Não obtido
Pipeline dlt (código)	❌ Não escrito
GitHub Actions workflow	❌ Não escrito
Ambiente de execução	🔄 Migrado do Cowork (sandbox) para Claude Code local — ver plano.md §5

Em montagem, sem nenhuma linha de pipeline ainda. A sessão anterior (Cowork) gastou o tempo em setup de infraestrutura (GCP, GitHub, políticas de org) e esbarrou em limitações estruturais do sandbox pra credenciais git — motivo da migração pra Claude Code. Comece por plano.md.

Como retomar (provavelmente via Claude Code)

1. Leia plano.md inteiro — decisões travadas, arquitetura alvo, por que a sessão anterior migrou de ambiente.
2. Confirme o bloqueio de política do GitHub (referencia-tecnica.md → seção GitHub) — pode já estar resolvido se o Rafael mexeu manualmente.
3. Como Claude Code roda localmente com as credenciais git do próprio Rafael, a etapa de "gerar PAT e colar no chat" deixa de ser necessária — clone/push direto deve funcionar nativamente.
4. Siga as fases em plano.md §4 (BigQuery → service account → pipeline dlt → teste local → Actions → validação → documentação).

Índice da subpasta

Arquivo	Conteúdo
README.md (este)	Visão executiva, status, como retomar
plano.md	Briefing standalone — decisões travadas, arquitetura alvo, fases, por que migrou de ambiente
referencia-tecnica.md	IDs (GCP, GitHub), política de PAT encontrada, credenciais (só nomes)
historico.md	Cronologia do setup: o que foi tentado, o que travou, decisões

Dependências

• Pipedrive Bepex (api_token pessoal — o Rafael fornece o valor; nunca extrair/digitar via automação).
• GCP (projeto pipedrive-data-468012, billing pessoal do Rafael vinculado).
• GitHub (org bepex-sys, repo bepex-data-pipelines).
• Kondado (referência de paridade — confirmar se replica Pipedrive pra Bepex hoje; ainda não confirmado, ver plano.md §5).