Create a crawler to this list

[mazulo]

Web crawler to create a newsletter from these blogs

[drgarcia1986]

Gostaria de fazer um BOT para ficar verificando atualizações nos feeds desses blogs e ir postando no twitter por exemplo, talvez abrir issues no repositório se algum blog sair do ar, etc.

Fiz algumas brincadeiras até para validar o conceito, mas seria mais legal se adicionarmos o endereço do feed em algum lugar, como é o caso do planet, pois nas magias negras que fiz para descobrir automágicamente o endereço do feed, não tive muito sucesso.

[mazulo]

Cara, sensacional! Sobre o endereço do feed, você diz do feed de cada blog listado aqui? Se for, sem problemas. Posso começar a ir pegando e adicionando na listagem

[drgarcia1986]

Sim, porque eu estava procurando algo como <link href="link_do_feed" type="application/atom+xml" rel="alternate" title="Titulo do Feed" />, mas para dois blogs falhou (um não tinha essa tag e o outro aponta para um endereço errado).

Também posso manter dessa maneira e tentarmos entrar em contato com os donos dos blogs e informar esse problema.

Penso também que se só adicionar o link do feed no README, pode deixar mais complexo para fazer o parse com o BeautifulSoup.

[mazulo]

Se só adicionar o link do feed do README deixar mais complicado, podemos fazer assim: você finaliza com o script que fez, e os que não derem certo eu procuro entrar em contato.

O que você vai usar pra deixar o script rodando? Ou vai portar o código pra algum framework web?

[drgarcia1986]

Hoje fiz algumas brincadeiras com Django + Celery, ai seria legal que daria pra arrumar a url dos feeds pelo admin mesmo, ok acha?
Acho que vou subir em um repositório e podemos ir trocando ideia la de como pode funcionar

[mazulo]

Acho show. Já mexi um tempo atrás com Django + Celery. Na hora que vc criar o repositório, só dar um ping aqui (ou no Telegram: @ mazulo)

[drgarcia1986]

Criei o repositório, mas mesmo nos últimos dias de férias não consegui dar tanta atenção quanto queria ao projeto. Volto a trabalha amanhã ai acho que só conseguirei ir dando sequencia no fim de semana, mas teoricamente não falta muita coisa para subir um beta. De maior acho que falta só as notificações (e.g. integração com twitter).

Se der uma olhada e gostar, vamos ir trocando ideia pelo telegram (@ drgacia1986 ) e ir tocando o projeto 😄

[mazulo]

Show! Continuamos no Telegram 😄