本地打包的镜像，任务无法下发

[HaiHui886]

问一下，源码打包 csghub-server，然后部署之后，微调/部署任务可以创建，但是不会下发，换回官方镜像，任务就可以批量执行了

[HaiHui886]

@mengqinxue 请详细描述一下安装及替换的步骤，并把发现的logs上传，用于我们分析原因。Thanks!

[mengqinxue]

[mengqinxue]

代码完全没有改，只是想尝试一下本地打包部署。

[mengqinxue]

temporal 服务是

[HaiHui886]

1. 请描述一下替换前安装的哪个版本，安装环境，安装步骤。
2. 替换了哪些服务？描述下本地的打包部署步骤.
3. 分析第一张图片中的log, 应该是server和runner版本不一致，第二张图片中没有发现错误信息。

[mengqinxue]

1. 请描述一下替换前安装的哪个版本，安装环境，安装步骤。
2. 替换了哪些服务？描述下本地的打包部署步骤.
3. 分析第一张图片中的log, 应该是server和runner版本不一致，第二张图片中有发现错误信息。

1. 安装的是 1.12-ce 版本，helm 安装在 k8s 上，按照部署文档可以安装完成，然后测试模型部署、微调等功能可以成功。
2. 没有修改任何代码，只是重写build 了 csghub-server 的镜像，然后部署。

[HaiHui886]

1. 与server使用相同image的container都需要替换。
2. 使用github上的哪个branch build出来的image?
3. server下发任务后，是由temporal-worker节点来执行，同时检查一下temporal-worker/runner/server节点的log有无报错。

[mengqinxue]

排查了一下 csghub-server 的启动日志，发现本地源码打包的镜像 work 没有启动起来。日志对比如下：

官方镜像，work 顺利启动。

本地打包镜像，work没有启动。

都是用的是 1.12-ce 版本。本地没有做代码修改。

[HaiHui886]

1. 在1.12.0-ce版本中，server只用于下发任务不会执行任务。是专门有一个service叫temporalWorker来执行任务，在k8s中应该是一独立的pod.
   "temporalWorker": {"type": "object", "additionalProperties": true},
2. 需要看这个temporalWorker的pod的logs, 在这个pod中会真正执行微调/部署任务。

[phantom-rabbit]

问题分析

根据issue描述和日志对比，本地打包的csghub-server镜像无法启动temporal worker，导致微调/部署任务无法下发执行。以下是可能的原因和排查建议：

可能的原因：

1. 环境变量配置问题：本地打包的镜像可能缺少必要的环境变量配置
2. 依赖缺失：打包过程中可能缺少temporal相关的依赖
3. 启动脚本问题：镜像的启动脚本可能没有正确启动temporal worker
4. 版本不一致：本地打包的版本可能与官方镜像的版本存在差异

排查步骤：

1. 检查Dockerfile：对比本地打包的Dockerfile与官方镜像的构建过程

2. 检查环境变量：确保以下关键环境变量正确配置：

   • TEMPORAL_ADDRESS：temporal服务地址
   • TEMPORAL_NAMESPACE：temporal命名空间
   • TEMPORAL_TASK_QUEUE：任务队列名称

3. 检查启动日志：查看temporal worker的详细启动日志，确认是否有错误信息

4. 检查依赖：确认temporal-go-sdk等依赖是否正确安装

建议的解决方案：

1. 提供完整的打包步骤：请分享本地打包的具体命令和步骤
2. 提供Dockerfile：分享用于打包的Dockerfile内容
3. 提供环境配置：分享部署时的环境变量配置
4. 检查helm chart配置：确认helm chart中temporal worker的配置是否正确

临时解决方案：

如果需要快速恢复，可以：

1. 暂时使用官方镜像
2. 检查并修复本地打包流程
3. 重新打包并部署

请提供更多详细信息，以便进一步分析问题。