利用python下载网页到本地(python3)

这个功能需要用到urlretrieve,这个函数在urllib.request包里面。如果有同学用的是python2,那么这个函数就在urllib里面。

关于urlretrieve这个函数的用法,http://www.nowamagic.net/academy/detail/1302861中给出了很好的说明,大家有兴趣可以看一看。

我的是另一个例子,出自《python核心编程》一书,原书是基于python2的版本

下载一个网页,然后显示第一和最后一非空行,代码如下

from urllib.request import urlretrieve

def firstNonBlank(lines):
    for eachLine in lines:
        if not eachLine.strip():
            continue
        else:
            return eachLine


def firstLast(webpage):
    f = open(webpage, 'r')
    lines = f.readlines()
    f.close()

    print(firstNonBlank(lines))
    lines.reverse()
    print(firstNonBlank(lines))

def download(url="http://info.tsinghua.edu.cn", process=firstLast):
    try:
        retval = urlretrieve(url)[0]
    except IOError:
        retval = None
    if retval:
        print(retval)
        process(retval)


if __name__ == '__main__':
    download()


©️2020 CSDN 皮肤主题: 精致技术 设计师:CSDN官方博客 返回首页