Aqui você encontrará raspadores para o site do Tribunal de Contas dos Municípios da Bahia.
Raspadores disponíveis:
- Documentos da consulta pública
- Processos
ATENÇÃO: o acesso por máquina é um direito garantido pela Lei de Acesso à Informação. Mas para evitar sobrecarga nos servidores do órgão, certifique-se de baixar os arquivos já disponibilizados ao invés de raspar ou, se possível, disponibilizar os arquivos que você tenha baixado.
Esse repositório está sujeito ao código de conduta e guia de contribuição do Dados Abertos de Feira disponíveis aqui.
Visite nosso Kaggle para baixar os dados raspados por nós ou a nossa página de buscas de dados.
Para rodar o ambiente de desenvolvimento utilize o Poetry.
O Tribunal lista todos os processos na página de jurisdicação. Veja mais detalhes sobre os processos listados lá e os detalhes da consulta processual.
Para rodar o spider:
scrapy crawl processos -o processos-tcmba.json
O Tribunal de Contas dos Municípios da Bahia tem uma consulta pública para todos os documentos submetidos pelas prefeituras através do SIGA.
Os municípios podem submeter esses dados até 40 dias depois do final do mês.
Para carregar a tabela "Prestações de Contas" você precisa selecionar alguns filtros:
- Periodicidade PCO:
- Anual
- Mensal
- Competência: filtro de mês ou ano
- Tipo: pode deixar em branco (?)
- Munícipio: Feira de Santana (podemos pensar em criar um pacote para raspar por município, assim outras cidades podem se beneficiar da solução)
- Unidade Jurisdicionada: todas (teremos que selecionar uma por uma no próximo passo)
- Status: pode deixar em branco (esperamos que venham todas)
Aqui irão aparecer os resultados das opções selecionadas no Passo 1. Geralmente uma lista com as unidades jurisdicionadas e a competência (mês/ano).
Ao clicar em uma unidade jurisdicionada (do passo anterior), temos acesso a lista de documentos, paginada a cada 10 resultados:
É interessante utilizar os filtros para coletar a categoria de um grupo de documentos:
Essas categorias não estão disponíveis na tabela de resultados mas são interessantes como filtros para o cidadão.
Para rodar o spider:
scrapy crawl consulta_publica -a periodicidade=mensal -a competencia=08/2018 -a cidade="feira de santana"
scrapy crawl consulta_publica -a periodicidade=anual -a competencia=2018 -a cidade="são gonçalo"