韩漫免费漫画在线观看方法,《好好疼爱里面》免费看,年轻漂亮的女士护士内衣,妈妈醉酒后把我当爸爸电视剧

文章 > Python爬虫 > 看kindle网站电子书用Python爬取下载

看kindle网站电子书用Python爬取下载

头像

Python

2019-05-31 14:20:038162浏览 · 0收藏 · 0评论

一个下载看kindle(kankindle.com)的所有电子书的python脚本,程序会自动下载首页部分13页的所有电子书,下载到ebook目录下,程序会检测是否下载过。

 

#!/usr/bin/env python
# coding=utf-8
from bs4 import BeautifulSoup
import urllib2
import socket
import re
import unicodedata
import os
from urwid.text_layout import trim_line
def download(url):
    print 'starting download %s' % url
    response=urllib2.urlopen(url,timeout=30)
    html_data=response.read()
    
    soup=BeautifulSoup(html_data)
    print 'start to analayse---------------'
    
    
    title_soup=soup.find_all(class_='yanshi_xiazai')
    name_soup = soup.find_all('h1')
    tag_a = title_soup[0].a.attrs['href']
    tag_name= title_soup[0].a.contents
    link_name = name_soup[0]
    link_name = str(link_name).replace("<h1>","").replace("</h1>","")
    #print tag_name[0]
    #print link_name
    
    
    filename = link_name+".mobi"
    filename = "ebook/"+filename
    print 'filename is :%s' % filename
    
    print "downloading with urllib2 %s" % tag_a
    if os.path.exists(filename):
        print 'already donwload ,ignore'
    else:
        try:
            f = urllib2.urlopen(tag_a,timeout=60)
            data = f.read()
            #print 'the data is %s'% data
            with open(filename, "wb") as code:
                code.write(data)
        except Exception,e:
            print e
def get_all_link(url):
    print 'Starting get all the list'
    response=urllib2.urlopen(url,timeout=30)
    html_data=response.read()
    #print html_data
    
    soup=BeautifulSoup(html_data)
    link_soup = soup.find_all('a')
    #print link_soup
   
    for each_link in link_soup:
        if re.search('view',str(each_link)):
            #print each_link
            print each_link
            print each_link.attrs['href']
            download(each_link.attrs['href'])
if __name__ == '__main__':
    for page in range(1,13):
        url = "http://kankindle.com/simple/page/3"+str(page)
        url = url.strip()
        print url
        get_all_link(url)
关注

关注公众号,随时随地在线学习

本教程部分素材来源于网络,版权问题联系站长!

高三妈妈用性缓解孩子压力| 苍老师《荷尔蒙》| 天然色素| 亚州精品无码A片毛片吸奶视频| 女子排尿视频大全| 美丽的小蜜桃2:美丽人生| 人马杂配MV的视频在哪里看| 免费观看已满十八岁电视剧动漫 | 《湿点》未增减板相似| CC388A黑色| 三女片免费观看电视剧杨贵妃传| 小妹妹爱大棒棒免费观看电视剧一| 黑人空乘伦理5| 《公与媳夫妇:交换》| 精品日本一区二区三区在线观看| 撕开她的内裤慢慢摸她的胸| 精产一二三产区划分标准图片| 小寡妇在线观看免费播放电视剧| 老阿姨高清免费观看电视剧| 公翁挺进小玲的小流| 二人世界高清视频播放| 少女哔哩哔哩免费高清观看2| 里番| 佐藤| 女性左腿又开腿肚子中间疼视频 | 《工地夫妻》原声版| 《魅魔之耻》1~4集免费看| 国产| 夹腿高潮后注意力不集中能恢复吗| 一个下面添一个上面是什么字 | 成全在线观看免费完整的 | 宝宝用力嗯脚翘起来怎么回事| 芒果浏览器| 两个女人的战争在线观看| 马配人的视频在线观看| 日产MV和欧美MV的外观对比| 出门志穿胸罩乳头凸起怎么办| 臣卜扌果扌圭辶鬲爸爸| 妈妈的闺蜜2字ID| 爸爸的大DJ小说| 《黏糊糊的你》动漫免费观看