思通数科 StoneDT
Gitee
3 years ago
No known key found for this signature in database
GPG Key ID: 173E9B9CA92EEF8F
1 changed files with 2 additions and 4 deletions
Unified View
Diff Options
-
+2 -4dataProcessing.md
+ 2
- 4
dataProcessing.md
View File
| @@ -1,5 +1,4 @@ | |||||
| # 开源舆情 【数据处理】部分技术架构说明文档 | |||||
| （待续，未完...） | |||||
| # 开源舆情 【数据处理】部分技术架构说明文档 | |||||
| ## 简述 | ## 简述 | ||||
| @@ -25,7 +24,6 @@ | |||||
| - 数据中台：自研 & DataEase | - 数据中台：自研 & DataEase | ||||
| ## 主体流程 | ## 主体流程 | ||||
| 1. 选择需要处理的数据源，开启(或者关闭)数据处理开关，获取爬虫工厂抓取初加工的数据。 | 1. 选择需要处理的数据源，开启(或者关闭)数据处理开关，获取爬虫工厂抓取初加工的数据。 | ||||
| @@ -55,7 +53,7 @@ | |||||
| ## 数据总线 | ## 数据总线 | ||||
| 我们自研了一套数据总线系统API与Elasticsearch对接，将内部整套数据处理流程完成后对外输出。 | |||||
| 我们自研了一套数据总线系统API与Elasticsearch对接，将内部整套数据处理流程完成后，通过低代码化的API接口框架对输出。 | |||||