You can not select more than 25 topics Topics must start with a chinese character,a letter or number, can include dashes ('-') and can be up to 35 characters long.

dataProcessing.md 1.1 kB

1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859606162
  1. # 开源舆情 【数据处理】部分技术架构说明文档
  2. (待续,未完...)
  3. ## 简述
  4. 经历了很多版本的迭代升级,期间采用过机器学习、深度学习、tensorflow 和 PaddlePaddle,经历大量的开发测试与项目实战经验。
  5. ## 开源技术栈
  6. (开源技术清单)
  7. ## 总体技术架构
  8. (思维导图)
  9. ## 数据总线
  10. ## 数据去重
  11. 采用了redis集群
  12. ## 数据清洗
  13. 自动提取字段,标题、正文、时间、作者、来源 等。
  14. ## 数据标记
  15. ### 实体识别
  16. HaNLP
  17. ### 情感分析
  18. 百度飞桨
  19. ### 高频词分词
  20. - 自研算法
  21. ### 文本分类
  22. - 由清华大学自然语言处理实验室推出的 [THUCTC(THU Chinese Text Classification)](http://http://thuctc.thunlp.org/)
  23. ### 相似文章
  24. ### 事件分类
  25. 自研算法
  26. ### 行业分类
  27. 自研算法
  28. ## 数据存储
  29. 分为多个部分存储,MySQL、redis、kafak、ES、mongodb、clickhouse
  30. ## 数据运维
  31. ### 数据清理
  32. ### 数据归档

一款开源免费的舆情系统。 支持本地化部署,支持在线体验。 支持对海量舆情数据分析和挖掘。