虫部落

【沙克芬】不用写代码的数据采集软件

查看: 5721|回复: 50
我是人 发表于 2020-8-1 16:19:54 |阅读模式
如今采集数据的方法发展的已经比较成熟了,对于常用的网站和结构化的网站,可以使用数据采集软件进行数据采集。优点是不用写代码,基本不需要HTML知识,可视化操作,方便直观。缺点是不够灵活,但对于基本的需求已经够用了。

这里主要介绍中国公司开发的数据采集软件,其实都大同小异,我主要用过:后羿采集器 和 webscraper浏览器插件

这些软件大部分包含免费和付费功能。一般免费就够用。

有一个思路我认为是比较正确的,就是对于常用网站,前人已经写好了很多爬虫框架,拿来用就可以。比如 gooseeker集搜客 和 webscraper浏览器插件 的网站上,就有很多现成的写好的。

对于一些比较特殊的数据,比如高德地图上商家的数据,我还遇到过不同地图坐标系不一样还要转换的问题。还有很多反爬策略等等。这些相对困难一些 ,有专门的公司和专门的软件在做,不在这些“傻瓜”软件的使用范围之内。


  1. 名称        网址        简介
  2. 八爪鱼采集器        https://www.bazhuayu.com/       
  3. 火车头采集器        http://www.locoy.com/       
  4. 神采        http://www.sensite.cn/       
  5. 探码Web大数据采集系统        http://www.tanmer.com/web-bigdata       
  6. 后裔采集器        http://www.houyicaiji.com/       
  7. 爬山虎采集器        http://www.51pashanhu.com/       
  8. ForeSpider前嗅        http://forenose.com/download.html       
  9. gooseeker集搜客        http://www.gooseeker.com/       
  10. 发源地        http://www.finndy.com/       
  11. 神箭手云爬虫        https://www.shenjian.io/       
  12. 小草莓-全网采集助手        http://www.caomeixiao.com/       
  13. WebMagic        http://webmagic.io/        一个简单灵活的Java爬虫框架
  14. DenseSpider        https://studygolang.com/p/DenseSpider        Go语言实现的高性能爬虫
  15. scrapinghub        https://www.scrapinghub.com/       
  16. prasehub        https://www.parsehub.com/       
  17. Octoparse        https://www.octoparse.com/        国外软件
  18. webscraper浏览器插件        http://www.iwebscraper.com/       
复制代码


个人整理的一些网站,放到了“语雀”上面,欢迎大家访问!
https://www.yuque.com/alipayqgthu1irbf/sharkfin
qq306649257 发表于 2020-8-3 09:17:28
感谢分享~题主自己做的整合,很不错
987 发表于 2020-8-4 15:56:38
好资源,感谢娄主分享
Reproduce 发表于 2020-8-1 19:53:02
很不错的导航
明媚如你 发表于 2020-8-1 17:36:39
谢谢分享
 楼主| 我是人 发表于 2020-8-1 20:25:47

嘿嘿!感谢支持!
 楼主| 我是人 发表于 2020-8-1 20:25:55
虚妄之相 发表于 2020-8-2 10:52:07
谢分享
 楼主| 我是人 发表于 2020-8-7 10:22:27
qq306649257 发表于 2020-8-3 09:17
感谢分享~题主自己做的整合,很不错

感谢支持!我也建了个公众号:沙克芬 SharkFin
欢迎关注!
 楼主| 我是人 发表于 2020-8-7 10:22:42

感谢支持!我也建了个公众号:沙克芬 SharkFin
欢迎关注!
 楼主| 我是人 发表于 2020-8-7 10:22:51
987 发表于 2020-8-4 15:56
好资源,感谢娄主分享

感谢支持!我也建了个公众号:沙克芬 SharkFin
欢迎关注!
qq306649257 发表于 2020-8-8 08:52:46
我是人 发表于 2020-8-7 10:22
感谢支持!我也建了个公众号:沙克芬 SharkFin
欢迎关注!

已经关注了哟
leozt 发表于 2020-8-8 17:46:47
作者被禁止或删除 内容自动屏蔽
kogepan 发表于 2020-8-9 16:11:51
谢谢分享
罗小锣 发表于 2020-8-10 10:45:46
回复看看是什么
牧童 发表于 2020-8-10 15:10:35
要回复才能看吗?
无敌搜索大王 发表于 2020-8-10 15:41:53
回复看了又能怎样
琥珀川千寻 发表于 2020-8-10 16:34:07
看不到? 回复才能看吗?
zxp3468 发表于 2020-8-10 16:40:27
看不到了
rabbwac 发表于 2020-8-10 23:25:03
看不到了吗?
午夜阳光 发表于 2020-8-11 07:56:17

看不到了吗?
拾。日 发表于 2020-8-11 08:39:53
看不到了吗?
钢制汤勺 发表于 2020-8-11 11:47:56

回复看看是什么
stilldi 发表于 2020-8-11 15:16:34
看不了了吗?
社会主义接班人 发表于 2020-8-11 17:14:11
看不了了吗?
matrix 发表于 2020-8-11 18:25:16
回复看看
卜问之 发表于 2020-8-11 19:51:21
看不了了吗?
凹凸情感随笔 发表于 2020-8-12 13:26:55
还能看吗?
Anzer 发表于 2020-8-12 16:42:34
真看不到了
liansir 发表于 2020-8-12 17:22:30
感谢分享
我真的晕3D 发表于 2020-8-13 13:36:23

很不错的导航
muat 发表于 2020-8-13 14:06:22
康康还有不
t573917129 发表于 2020-8-13 14:17:34
谢谢 您的分享 ,笔芯
小、坏蛋 发表于 2020-8-13 15:53:52
看看还有没
我靠我去 发表于 2020-8-14 11:38:11
谢谢分享
kam3025 发表于 2020-8-14 12:21:28
感谢楼主
我的名字叫做安 发表于 2020-8-14 14:10:19
谢谢分享
数标轴 发表于 2020-8-14 14:58:17
什么东西?
徐大力 发表于 2020-8-14 15:32:16
我没看到
 楼主| 我是人 发表于 2020-8-15 11:21:33

不好意思,之前被禁言了,这回应该能看到了。感谢支持!
 楼主| 我是人 发表于 2020-8-15 11:21:40

不好意思,之前被禁言了,这回应该能看到了。感谢支持!
 楼主| 我是人 发表于 2020-8-15 11:21:53

不好意思,之前被禁言了,这回应该能看到了。感谢支持!
 楼主| 我是人 发表于 2020-8-15 11:22:13

不好意思,之前被禁言了,这回应该能看到了。感谢支持!
 楼主| 我是人 发表于 2020-8-15 11:22:25
琥珀川千寻 发表于 2020-8-10 16:34
看不到? 回复才能看吗?

不好意思,之前被禁言了,这回应该能看到了。感谢支持!
 楼主| 我是人 发表于 2020-8-15 11:22:34

不好意思,之前被禁言了,这回应该能看到了。感谢支持!
听海 发表于 2020-9-28 15:20:21
感谢楼主分享
 楼主| 我是人 发表于 2020-10-2 12:10:44

感谢认可!Thanks♪(・ω・)ノ
potatoqi 发表于 5 天前
sharkfin   猛的  勇猛中透着细致   充满智慧的捕食者   
大佬们集合起来  群猎,也许就更猛了
 楼主| 我是人 发表于 4 天前
potatoqi 发表于 2020-11-20 15:34
sharkfin   猛的  勇猛中透着细致   充满智慧的捕食者   
大佬们集合起来  群猎,也许就更猛了 ...

啊这,这个解释让我很满意!
病毒 发表于 前天 13:13
我在52见过楼主的贴子
 楼主| 我是人 发表于 前天 22:29
病毒 发表于 2020-11-23 13:13
我在52见过楼主的贴子

ヾ(◍°∇°◍)ノ゙
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表