You can not select more than 25 topics Topics must start with a chinese character,a letter or number, can include dashes ('-') and can be up to 35 characters long.

agent_cache_gc.go 3.2 kB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113
  1. package event
  2. import (
  3. "database/sql"
  4. "fmt"
  5. "time"
  6. "github.com/jmoiron/sqlx"
  7. "gitlink.org.cn/cloudream/common/pkgs/logger"
  8. "gitlink.org.cn/cloudream/common/pkgs/mq"
  9. stgglb "gitlink.org.cn/cloudream/storage/common/globals"
  10. "gitlink.org.cn/cloudream/storage/common/pkgs/distlock/reqbuilder"
  11. agtmq "gitlink.org.cn/cloudream/storage/common/pkgs/mq/agent"
  12. scevt "gitlink.org.cn/cloudream/storage/common/pkgs/mq/scanner/event"
  13. )
  14. // AgentCacheGC 类封装了扫描器事件中的AgentCacheGC结构。
  15. type AgentCacheGC struct {
  16. *scevt.AgentCacheGC
  17. }
  18. // NewAgentCacheGC 创建一个新的AgentCacheGC实例。
  19. // evt: 传入的扫描器事件中的AgentCacheGC实例。
  20. func NewAgentCacheGC(evt *scevt.AgentCacheGC) *AgentCacheGC {
  21. return &AgentCacheGC{
  22. AgentCacheGC: evt,
  23. }
  24. }
  25. // TryMerge 尝试合并当前事件与另一个事件。
  26. // other: 待合并的另一个事件。
  27. // 返回值表示是否成功合并。
  28. func (t *AgentCacheGC) TryMerge(other Event) bool {
  29. event, ok := other.(*AgentCacheGC)
  30. if !ok {
  31. return false
  32. }
  33. if event.NodeID != t.NodeID {
  34. return false
  35. }
  36. return true
  37. }
  38. // Execute 执行垃圾回收操作。
  39. // execCtx: 执行上下文,包含执行所需的各种参数和环境。
  40. func (t *AgentCacheGC) Execute(execCtx ExecuteContext) {
  41. log := logger.WithType[AgentCacheGC]("Event")
  42. startTime := time.Now()
  43. log.Debugf("begin with %v", logger.FormatStruct(t.AgentCacheGC))
  44. defer func() {
  45. log.Debugf("end, time: %v", time.Since(startTime))
  46. }()
  47. // 使用分布式锁进行资源锁定
  48. mutex, err := reqbuilder.NewBuilder().
  49. // 执行IPFS垃圾回收
  50. IPFS().GC(t.NodeID).
  51. MutexLock(execCtx.Args.DistLock)
  52. if err != nil {
  53. log.Warnf("acquire locks failed, err: %s", err.Error())
  54. return
  55. }
  56. defer mutex.Unlock()
  57. // 收集需要进行垃圾回收的文件哈希值
  58. var allFileHashes []string
  59. err = execCtx.Args.DB.DoTx(sql.LevelSerializable, func(tx *sqlx.Tx) error {
  60. blocks, err := execCtx.Args.DB.ObjectBlock().GetByNodeID(tx, t.NodeID)
  61. if err != nil {
  62. return fmt.Errorf("getting object blocks by node id: %w", err)
  63. }
  64. for _, c := range blocks {
  65. allFileHashes = append(allFileHashes, c.FileHash)
  66. }
  67. objs, err := execCtx.Args.DB.PinnedObject().GetObjectsByNodeID(tx, t.NodeID)
  68. if err != nil {
  69. return fmt.Errorf("getting pinned objects by node id: %w", err)
  70. }
  71. for _, o := range objs {
  72. allFileHashes = append(allFileHashes, o.FileHash)
  73. }
  74. return nil
  75. })
  76. if err != nil {
  77. log.WithField("NodeID", t.NodeID).Warn(err.Error())
  78. return
  79. }
  80. // 获取与节点通信的代理客户端
  81. agtCli, err := stgglb.AgentMQPool.Acquire(t.NodeID)
  82. if err != nil {
  83. log.WithField("NodeID", t.NodeID).Warnf("create agent client failed, err: %s", err.Error())
  84. return
  85. }
  86. defer stgglb.AgentMQPool.Release(agtCli)
  87. // 向代理发送垃圾回收请求
  88. _, err = agtCli.CacheGC(agtmq.ReqCacheGC(allFileHashes), mq.RequestOption{Timeout: time.Minute})
  89. if err != nil {
  90. log.WithField("NodeID", t.NodeID).Warnf("ipfs gc: %s", err.Error())
  91. return
  92. }
  93. }
  94. // 注册消息转换器,使系统能够处理AgentCacheGC消息。
  95. func init() {
  96. RegisterMessageConvertor(NewAgentCacheGC)
  97. }

本项目旨在将云际存储公共基础设施化,使个人及企业可低门槛使用高效的云际存储服务(安装开箱即用云际存储客户端即可,无需关注其他组件的部署),同时支持用户灵活便捷定制云际存储的功能细节。