循路觅宗师,形影不相离,师知吾亦知,吾乃成宗师。

在线工具

深入使用,解放双手


链接抓取推送私有化部署

  1. 链接抓取后自动推送百度;
  2. 监控指定页面,有新链接自动推送百度;
  3. 大量链接,每天自动推送,无需人工操作;
  4. 全站URL分析,定位错误链接出现的页面;
  5. 支持 CSV、XML、TXT、HTML 多种格式下载;
  6. 自定义过滤规则,自定义抓取线程,提高任务效率。
  7. 私有化部署和云服务两种使用方式。

抓取详情 尽管我是免费版本的,但也能抓取很多链接哦 .^◡^. ;功能异常请按 Shift+F5 强制刷新页面;抓取异常请添加白名单:110.185.25.248

活动服务器

FAQ

Q:我需要网站地图(sitemap)吗?

A:如果您网站上的网页链接得当,那么我们的网页抓取工具通常便能够发现其中的大多数网页。即便如此,站点地图仍更加有效地抓取网站,尤其是当网站符合以下某个条件时:

  • 网站规模很大。在这种情况下,搜索引擎网页抓取工具可能会在抓取时漏掉部分新网页或最近更新的网页。
  • 网站有大量内容页归档,这些内容页之间互不关联或缺少有效链接。 如果您的网站网页没有自然地相互引用,那么您可以在站点地图中列出这些网页,以确保搜索引擎不会漏掉您的网页。
  • 网站为新网站且指向该网站的外部链接不多。 网页抓取工具是通过跟踪网页之间的链接来抓取网页的。因此,如果没有其他网站链接到您的网页,搜索引擎可能不会发现您的网页。
  • 您的网站使用富媒体内容(在搜索引擎新闻中显示),或使用其他与站点地图兼容的注释。在适当情况下,搜索引擎能将站点地图中的其他信息纳入搜索范围。
Q:网站地图抓取失败怎么办?

A:SITEMAP网站地图生成器免费工具针对js渲染的页面链接不做支持,遇到任务失败的时候,首先确认自身网站链接是否js渲染;

如果遇到提示异常或者入口链接打开失败,可以参考《SITEMAP网站地图生成器免费工具使用说明》进行处理。

Q:网站地图链接过多怎么办,有分割的方法吗?

A:微视界启示录提供网页版本的《网站地图(Sitemap)分割工具》,可对XML格式、TXT格式的文件进行分割,生成XML格式或者TXT格式的网站地图文件。