每天听简报,了解最新科技、AI、软件资讯
谷歌搜索正在调整展示机制,把搜索结果里的真实网址全部换成了加密跳转链接。 以前爬虫抓取一页搜索结果,就能直接拿到几十个目标地址;现在链接全被换成了无法离线解密的密文。 第三方爬虫想用搜索结果构建索引,必须对每条链接向谷歌单独发一次请求,读取跳转头里的真实地址。 这不仅让批量抓取变慢,也让爬虫的访问特征更容易暴露,大幅拉高了数据采集成本。 普通用户也受到波及,点击时常有可感知的加载延迟,随手复制分享也只能拿到一长串跳转参数。 评论区有人感叹,谷歌为了防爬虫不惜牺牲体验,只会把更多人推向新兴的独立搜索引擎。
进度保存在本设备 · 登录同步