Ideias para melhorar o orquestrador das coletas

[anapaulagomes]

Talvez seja só eu sendo chata mesmo mas lá vai: acho que o crawl está ficando bem grandinho e requer alguns passos entre escrever um spider e salvar coisas no banco:

• escrever o spider
• criar um item
• criar um validator
• criar um model
• criar método pra salvar no model (com a lógica de atualização)
• adicionar spider ao crawl
• adicionar checagem no item e chamar método para salvar no model
• adicionar deleção na opção de deletar todos

É bastante coisa pra lembrar e torna a entrada de pessoas que não estão familiarizadas com o código mais difícil. E a tendência é que esse comando cresça ainda mais (imagino que triplique).

Ainda não tenho uma ideia formada mas imaginei um módulo com um contrato tendo tudo o que o crawl precisa: o spider, item e model de cada coisa. No crawl só faríamos o match desse contrato pra cada coisa (pra deletar tudo, salvar item, pegar a data de atualização, etc). Faz sentido? Talvez eu precise montar um exemplo pequeno pra explicar melhor... 🤔