八爪鱼采集器

满足多种业务场景

适合产品、运营、销售、数据分析、政府机关、电商从业者、学术研究等多种身份职业

• 

  舆情监控

• 全方位监测公开信息，抢先获取舆论趋势

• 

  市场分析

• 获取用户真实行为数据，全面把握顾客真实需求

• 

  产品研发

• 强力支撑用户调研，准确获取用户反馈和偏好

• 

  风险预测

• 高效信息采集和数据清洗，及时应对系统风险

01. 采集全行业、全场景、全类型数据

采集可存储的任务数无上限，实现全行业、全场景、全类型的互联网数据采集。

全行业:电商、新闻、社交媒体、招投标、金融、房产等全行业的互联网数据采集。行业网站已做好可用的模板。

全场景:列表页、详情页、搜索页、瀑布流页、登录、多层点击、下拉框、IP切换、验证码自动识别等场景采集。

全类型:支持文字、链接、图片、视频、音频、Html源码、Json格式等多种数据类型的采集。

02. 高速采集大规模数据

使用高性能的云服务集群，提供多节点高并发采集能力，能够完成大规模数据的采集。

高性能:企业版可使用独立的、高性能的云服务集群，无需排队即可开始数据采集。

快速度:提供30/100云节点高并发采集能力，能完成大规模数据的采集。如果当前云节点不够用，还可扩容。

03. 实时采集新增数据

支持设置灵活的定时采集策略+多节点高并发采集+自动去重/条件触发等功能，实时采集各个数据源的新增数据。

定时采集策略:按照网站更新频率和单次更新数据量，设置合理的定时策略，支持极高频率的定时。同时相同更新频次的网站可归为一组，进行分组定时。

多节点高并发:根据定时策略，将账号内的云节点合理分配给数据源，以完成每个数据源新增数据的采集。

自动去重/条件触发:新采集到的数据自动与原来采集到的数据对比去重和设置采集触发条件，满足条件的数据才会被采集，实现采集新增数据。

04. 提供API接口，采集结果同步

提供高负载高吞吐的API接口，可将采集结果秒级同步到企业数据库或内部系统中。除了API外，提供自动入库功能。

数据导出API:提供高负载吞吐灵活的API接口，支持边采集边导出，将采集结果同步数据到企业的数据库或内部系统中。

自动入库:除了API调用数据外，还提供数据自动入库功能，几步设置即可实现数据自动入库。

任务控制API:提供任务控制API接口，无需启动客户端即可控制任务启停、修改任务参数。

05. 支持SaaS版本与私有化部署版本

提供线上SaaS版本的软件服务，下载客户端即可使用。同时支持将整套采集系统部署到企业本地，搭建企业自己的大数据采集系统。

线上SaaS版本:在官网下载客户端，登录账号后即可使用。软件的各项功能与官网实时同步更新，使用过程中需联网运行。

采集任务与数据均存储在云端服务器，可随时查询、导出，或运行新的采集任务。

私有化部署版本:企业私有化部署，可部署在隔离内网环境。提供定制化部署方案，满足多种数据安全级别。支持软件OEM，去除八爪鱼Logo，定制品牌Logo，突出品牌信息。

支持永久授权，区别于线上SaaS版按使用时长付费，私有化部署版一次授权，终身使用。

涵盖线上版本的全部功能。 具备多种管理权限：服务器集群资源管理、用户权限管理、任务调配管理，数据监控管理。 具备各种数据API和SDK接口。

支持二次开发，除成熟的采集功能外，还提供二次开发服务，包括但不限于系统集成、数据清洗、数据全文检索、数据可视化展示和数据分析应用。 [3]