Skip to content

caosbad/WeSpider

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

27 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

#WeSpeidr简介

##写在前边 WeSpider是我继PythonWebApp项目之后的另一个学习计划,目的是为了能够对python的GUI开发模块和爬虫框架的学习和了解,更主要的是从头到尾完整的做一个能够令自己满意的小东西。 之前计划给自己一个月的时间完成,每周大概15到20小时的投入。 但作为协作项目,需要根据具体参与者的实际情况进行评估,包括重新设计需求和实现,考虑到沟通的成本,项目执行计划在具体人员未确定之前暂无定论。

##为什么要做WeSpider? 起因是加入开智之后,微博上关注了几位老师,但由于之前的账号弃用很久,关注的用户很杂乱,timeline上的信息也非常令人苦恼,尝试过使用RSS订阅的方式,但排版不怎么理想,而且需要不断地切换,于是就有了能不能用markdown的简洁排版,阅读我所关注的一部分信息的想法。

##WeSpider能做什么? 目前的设想就是将它定位为一个微博的阅读备份工具,能够抓取指定的用户的微博,输出为markdown格式的文档,供用户阅读,旨在让刷微博这件事情更加专注高效。

之前粗略整理的导图文件 WeSpider

##WeSpider能带给你什么? 参与成员一起加入到项目各个环节,需求、设计、开发、测试等等环节。 你将接触到

  1. Python的GUI编程
  2. Python爬虫框架
  3. Html语言的处理和转换
  4. 强化Python的编码能力
  5. 初步的设计思想
  6. 进一步理解面向对象编程
  7. ……待补充

##最后的唠叨 这的确是一个重复造轮子的过程,但确信的是,从中的收获,一定会超过投入,WeSpider将会是一个不断迭代的小产品,除了满足基本的需求之外,还会不断优化或是添加有趣的功能,我希望经历过这个项目后,能够组装一把自己用的趁手的网络爬取武器,希望你也一样。

2015-04-29

About

A python application for grab weibo

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages