做内容网站这几年,图片视频音频这类富媒体素材越来越多,但搜索引擎对它们的抓取和索引逻辑跟纯文本差别很大。很多站点流量卡在收录环节,其实问题就出在富媒体优化没做到位,导致爬虫拿不到有效信号。这篇文章聊的是实际项目里能落地的处理方式。
纯文字页面爬虫顺着HTML就能读,但一张图背后可能是Base64内联、懒加载、或CDN随机路径。爬虫在有限抓取预算下,遇到没结构化信号的媒体往往直接跳过。我们之前接手一个美食站,页面里三百多张图,收录率不到四成,查日志发现百度蜘蛛根本没请求图片URL,因为img标签用了data-src懒加载且没配noscript兜底。
富媒体优化第一步不是压缩体积,而是让爬虫理解这张图讲什么。除了alt文本,Google和百度都支持结构化数据里的ImageObject。下面这段JSON-LD是我们常用的模板:
{"@context": "https://schema.org","@type": "ImageObject","contentUrl": "https://cdn.example.com/imgs/steak.jpg","description": "煎牛排中火每面三分钟","width": 1200,"height": 800}
同时要在HTML里保留真实src,对必须懒加载的场景用<noscript><img src="..."></noscript>做降级。我们测过,加了ImageObject的页面,图片搜索流量两个月涨了两倍多。
视频比图片更重,爬虫不会真去解码。得靠VideoObject和视频网站地图双管齐下。视频地图扩展节点这样写:
<url><loc>https://example.com/recipe/steak</loc><video:video><video:content_loc>https://cdn.example.com/v/steak.mp4</video:content_loc><video:thumbnail_loc>https://cdn.example.com/v/steak.jpg</video:thumbnail_loc><video:title>煎牛排教程</video:title><video:description>中火每面三分钟</video:description></video:video></url>
注意thumbnail_loc必须可直连,很多站把缩略图也走鉴权就废了。我们帮一个健身站改完视频地图,周级收录从零星几条变成上百条。
播客类站点常忽略AudioObject。其实在文章页埋一段结构化数据,搜索引擎会在知识面板推音频卡片。核心字段就三个:contentUrl、duration、transcript。transcript给文字稿最实惠,爬虫不听声音但读稿子。我们做过对照,有transcript的音频页长尾词覆盖多了近一半。
富媒体优化不能只顾收录不管速度。爬虫也有预算,页面总体积过大反而缩减抓取深度。我们用WebP加AVIF双格式,按Accept头返回,原图平均小了六成。下表是改版前后对比:
| 指标 | 改前 | 改后 |
|---|---|---|
| 首页字节数 | 4.8MB | 1.9MB |
| 图片收录率 | 38% | 86% |
| 爬虫日访问页数 | 1200 | 3100 |
可见体积下来后爬虫愿意走更深,顺带把内页媒体也带了上来。
别信面板预估,直接捞服务器日志。grep图片URL看蜘蛛命中率,再用Search Console的URL检查工具测单页。我们发现有个栏目CDN回源慢,蜘蛛请求图片超时率四成,换成边缘缓存后当天收录就回暖。富媒体优化是个持续对照的过程,每次动结构都得有日志兜底。
媒体素材不是传上去就行,得让机器在不开浏览器的情况下也能懂、也能取、也愿意取。
把上面这些点串起来,基本能覆盖多数站的富媒体收录堵点。剩下的就是按自己站点类型挑重点先补,别一次性全改搞崩渲染。
评论
加载中...