如何整合线上线下数据进行分析？

近日，我们辅导一家贸易类企业的数据化管理。该企业原本是传统的贸易公司，近两年开始做电商。随着公司规模的不断扩大，老板发现依靠原来的经验管理不好使了，电商业务不同于线下实体店，要求经营者更快速地对于线上的商品、促销、发货、异常等事项进行处理。于是，老板希望能够通过数据建模的方法，实时把数据呈现出现，以利于管理层决策。

这家公司传统的线下业务公司有成熟的进销存系统，数据相对好获取，但线上的数据都是存放在各个平台上的，需要手工使用EXCEL表格下载后才能使用，每天分析人员有大部分时间都是花在下载数据、复制、粘贴上面，真正用于业务分析的时间不多，老板对他们的工作效率也很失望。大家都希望能找到更快速的数据获取方式！

大部分中小企业基本上都属于这种情况，我们有三种建议给到大家：

一、 系统接口

在公司有自己的IT开发团队的情况下，通过系统做接口，实现企业信息系统与外部系统的数据互传，是最优选择，可以最大程度地减少人工干预，提高数据处理效率。

但通过接口也要关注数据格式和内容的变化，当互联的两个系统升级了数据的输出格式时，往往需要做接口的调整，所以需要公司有自己的IT开发人员，或者能够找到外部的开发资源。

二、 自动爬虫

如果平台不能提供标准的接口文档，那么，通过爬虫来批量下载数据也是不错的选择，而且用爬虫爬取的数据，真正能够做到“所见即所得”，比接口提供的数据可能更全面。

当然，这个方法也需要公司有IT人员（或者掌握了一定IT知识的非IT人员也是可以的）。

三、 人工搬运

如果上面两种方法都不好实现的话，那就只能考虑人工搬运了，但需要注意一下权限问题。比如你想安排一个基础人员每天定时下载数据并导入，就需要给这个人赋予相应平台的登录权限，不光如此，现在很多平台为了反爬虫，加入了认证机制，需要手机绑定扫码、手机验证码等，而基础人员的手机也不方便做这些绑定（万一离职了更改也麻烦）。

经过我们的分析，这家公司具备了一定的规模，也有自己的IT人员，具备一定的运维能力、虽然开发能力略有不足，但还是会写一些简单的PYTHON脚本，应此，他们就自己做了个爬虫小程序，获取数据的时间从每天2个小时，缩短到了15分钟左右，效率大大提高！

总结一下，我们做外部数据接入，优先级应该是这样：

系统接口 à 自动爬虫 à 人工搬运