如何确认下载的图片已完全抓取成功?

2026-06-09 05:093阅读0评论SEO问题
  • 内容介绍
  • 文章标签
  • 相关推荐

本文共计389个文字,预计阅读时间需要2分钟。

如何确认下载的图片已完全抓取成功?

初学Python,通过尝试抓取网页内容来突破口。初学Python,通过尝试抓取网页内容来突破口。目前的方法是:从列表页获取所有详情页地址;从详情页地址中获取所有图片。

初学Python,通过尝试抓取网页内容来当突破口。
  • 初学 Python,通过尝试抓取网页内容来当突破口。

  • 目前的方法是:

  • 从列表页获取页内所有的详情页地址;

  • 从详情页地址中获取所有的图片地址,并以详情页 url 的最后一段作为文件夹的名称;

  • 每个图片地址起一个线程,拿到图片内容并存下来,用 url 的最后一段作为文件名;

    如何确认下载的图片已完全抓取成功?

  • 环境是 win10 + python3,用到的库主要是 PyQuery、requests,抓的是 lofter 的网页。

  • 目前遇到的问题是:下载下来的图片很可能只有一半,上半截是图片,下半截是红蓝绿交替

  • 尝试过每抓一张图片就 sleep2 秒钟,并没有效果。

  • 想请问有啥办法判断图片是否下载完成么?我现在想到的一个办法是根据图片大小来判断,但是召回和准确难以兼顾。

  •    

    本文共计389个文字,预计阅读时间需要2分钟。

    如何确认下载的图片已完全抓取成功?

    初学Python,通过尝试抓取网页内容来突破口。初学Python,通过尝试抓取网页内容来突破口。目前的方法是:从列表页获取所有详情页地址;从详情页地址中获取所有图片。

    初学Python,通过尝试抓取网页内容来当突破口。
  • 初学 Python,通过尝试抓取网页内容来当突破口。

  • 目前的方法是:

  • 从列表页获取页内所有的详情页地址;

  • 从详情页地址中获取所有的图片地址,并以详情页 url 的最后一段作为文件夹的名称;

  • 每个图片地址起一个线程,拿到图片内容并存下来,用 url 的最后一段作为文件名;

    如何确认下载的图片已完全抓取成功?

  • 环境是 win10 + python3,用到的库主要是 PyQuery、requests,抓的是 lofter 的网页。

  • 目前遇到的问题是:下载下来的图片很可能只有一半,上半截是图片,下半截是红蓝绿交替

  • 尝试过每抓一张图片就 sleep2 秒钟,并没有效果。

  • 想请问有啥办法判断图片是否下载完成么?我现在想到的一个办法是根据图片大小来判断,但是召回和准确难以兼顾。

  •