



GooSeeker数据管家电脑版是一款采用新内核的网页数据采集工具,由集搜客推出,同时整合了爬虫采集、文本分词与内容摘录等功能,采集结果保存在本地,支持导出为Excel或XML格式,适合需要进行数据收集与分析的用户。

1、安装好gooseeker软件,下图为安装好的界面:

2、点击右上方的“MS谋数台”,弹出如下界面:

3、在左上方的网址栏输入想要爬取的网站,我这里输入天气网站(http://tianqi.2345.com/wea_history/57516.htm),并在工作台里面创建任务,进行命名和查重,直到可以使用:

4、在工作台上方标题栏中选择创建规则,选择“新建”并命名,点击确定:

5、点击“抓取内容”中自己的命名的一栏,选中点击右键,选择“添加”,选择“包容”:

6、输入你想抓取的内容名称并保存,我这里重复此步骤,创建抓取内容“日期”、“最高气温”、“最低气温”、“天气”、“风向风力”、“空气质量指数”,并将“日期”勾选为关键内容:

7、在“浏览器”窗口中点击你想要获取的内容,比如现在要获取“日期”,就在“日期”那个区域进行鼠标点击,这时候MS谋数台会自动定位“日期”,即在HTML中结点的DIV结点位置。展开结点,找到text结点,右击鼠标,选择内容映射,然后选择你想要映射至的抓取内容:

8、重复进行第七步,知道把想要抓取的内容给全部映射:

9、创建爬虫路线,点击工作台标题栏中的“爬虫路线”,点击“新建”:

10、创建翻页定位编号,在浏览器中点击上一月,网页会自动定位该文本的结点,右击结点选择“翻页映射”,“作为翻页区”,“线索一”:

11、创建记号定位编号,在游览器中点击上一月,在网页标签里会自动该文本定位的结点,打开该结点,可以看到text属性,右击text(此处只能右击text,不能右击结点),选择 “翻页映射”,“ 作为翻页记号”:

12、创建样例复制映射,点击工作台标题栏里面的新建规则,勾选右方的启用,启动样例复制管理功能:

13、分别找到该页面想要爬取的第一条数据的日期栏和第二条数据对应的日期栏的节点,右击第一条数据的日期栏对应的结点,选择“样例复制映射”,“第一个”,右击第二条数据的日期栏对应的结点,选择“样例复制映射”,“第二个”:

14、点击工作台左方的测试,对当前的规则进行测试:

15、当测试爬取内容为想要的爬取内容时就可以保存当前规则了,点击“MS谋数台”右上方的“存规则”即可保存规则,然后可以使用我们创建的规则进行数据爬取了,想要看自己是否保存规则,就在工作台标题栏里面的“搜规则”查看:

16、打开“DS打数机”,“DS打数机”在Gooseeker浏览器中的右上方,打开“DS打数机”,点击“文件”,“存储路径”,“ 自定义数据的存储路径”:

17、点击“单搜”,设置抓取网页数量,即可开始抓取:

18、然后打开存储地址,然后可以看到爬取的数据以XML文件保存:

19、用EXCEL打开其中一个文件,可以看到爬取的数据集,数据爬取完成:

可视化标注采集:无需编程,在网页上点击目标内容并命名标签,软件自动生成抓取规则,将数据存入“整理箱”并输出为结构化表格。
快捷采集工具:针对微博、抖音、京东等热门网站预置采集模板,粘贴链接或关键词即可启动,无需自行定义规则。
不限深度与广度抓取:通过网页超链接可深入多层页面采集数据,覆盖不同类型和语言的网站,动态静态网页采集方式一致。
内容摘录与文档采集:支持网页和PDF文档的内容摘录,可将整个HTML文档或片段以XML格式保存。
分词与文本分析:集成中文分词、情感分析、LDA主题建模、文本聚类等功能,可对采集到的文本进行进一步分析处理。
本地化存储与定时采集:数据存储在本地电脑,支持设置周期性自动采集,实现持续性的增量数据收集。
爬虫群并行抓取:可在同一台电脑启动多个爬虫窗口同时运行,提高大批量采集任务的效率。
打开网页:在数据管家浏览器中输入目标网址,等待页面完全加载。
创建采集任务:点击左侧边栏的加号,输入任务名后进入定义状态。
标注第一个样例:在列表中第一个条目上双击目标内容(如商品名称),输入字段名并确认。对价格、评论数等所需字段逐一重复此操作。
样例复制:点击第一个样例中的任一内容,在DOM树中选中对应节点,右键选择“样例映射→样例1”;再点击第二个样例,同样操作选择“样例2”。软件会自动推算所有条目的排放规律。
启动采集:保存规则后,在任务管理界面点击“启动采集”,爬虫窗口会自动打开并开始抓取数据。
下载数据:采集完成后,在管理界面点击“打包”即可下载结果文件,通常为Excel或XML格式。
1.打开GooSeeker数据管家软件,在左侧工具栏找到【管理爬虫任务】选项并点击。
2.在任务列表内,可以看到所有已经创建保存的爬虫任务,显示任务名称、创建时间、采集状态。
3.选中目标爬虫任务,点击查看规则,即可打开规则编辑器,查看页面选取的字段、翻页逻辑、采集参数。
4.正在运行的爬虫任务,可直接打开任务监控窗口,实时查看采集进度、抓取条数、报错信息。
5.查看爬虫采集数据:选中任务,切换到数据管理,浏览本次爬虫抓取到的全部数据。
6.可对爬虫任务进行编辑、复制、暂停、删除操作,也可以导出爬虫规则文件备份。
7.历史爬虫任务记录可以长期保存,后续随时打开再次启动采集。
此内容由AI根据文章内容自动生成,并已由人工审核
开发者其他应用
HTTP Debugger Pro 10.9专业版
站长工具
12.3M
激活版
a1website scraper
站长工具
9.9M
v4.1.1电脑版
自动秒收录+神马数据推送
站长工具
1.6M
V1.0免费版
花生壳
站长工具
14.5M
v8.2.0.40892电脑版
端口映射器PortMapper
站长工具
160KB
v1.0电脑版
VisualWebRipper
站长工具
10.2M
v2.0.0.0电脑版
TTKEFU网站在线客服系统
站长工具
1.7M
v1.2.0.0电脑版
同款比价小精灵
站长工具
1.1M
v1.0电脑版
IPOP
站长工具
2.2M
v4.1电脑版
站长工具箱
站长工具
1.2M
v1.0.0.0电脑版
支持( 0 ) 盖楼(回复)