Ta上传的资源 (0)

改进版本,加入COOKIE操作,爬取verycd上的所以图书资源,将名字、简介、以及下载链接存入mysql

遍历所有1M以上文件的MD5码,但是使用的流只能读2GB以下的文件,为了提高效率应该使用多线程,不同文件大小使用的取MD5码方式也该不同,下次再试试

要用来做项目所以进行了二改,301重定向及COOKIE操作,将VERYCD上所有能获取下载链接的资源进行一次备份到MYSQL数据库上