运维接口管理

# 1. 修改 Flask 应用配置，添加新组件到服务列表
app.config['server'] = (
    'gforge-gateway', 
    'gforge-game', 
    'gforge-battle',  # 新增战斗服务
    'gforge-chat',
    ...
)

# 2. 在 Git 仓库中添加 K8s 部署配置
# overlays/dev/deploy-patch.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: gforge-battle
spec:
  replicas: 2
  template:
    spec:
      containers:
      - name: gforge-battle
        image: <registry1>/<company1>/gforge-battle
        env:
        - name: SERVER_ID
          value: "battle"

# 3. 添加初始化 SQL（如需要）
# init_db_sql/init_server_battle.sql
CREATE TABLE IF NOT EXISTS `battle_room` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT,
  `room_id` varchar(32) NOT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB;

# 添加新的 API 接口示例：游戏活动管理
@app.route('/activity-manage', methods=["POST"])
@file_lock()  # 使用文件锁装饰器防止并发
def activity_manage():
    ''' 管理游戏活动的开启和关闭 '''
    now = datetime.now().strftime("%Y-%m-%d %H:%M:%S")
    _results = {}
    
    # 获取请求参数
    project = flask.request.values.get('project')
    env = flask.request.values.get('env')
    activity_id = flask.request.values.get('activity_id')
    action = flask.request.values.get('action')  # start/stop
    
    try:
        # 参数验证
        if not project in current_app.config['project']:
            raise CommandExecutionError(
                error_info=f"project参数有误"
            )
        
        # 获取环境配置
        namespace = current_app.config[project]['env_namespace'][env]
        host = current_app.config[project]['env_node'][env]
        
        # 初始化配置管理器
        ins = GitCloner(project, env)
        mysql_info, redis_info = ins.get_config()
        
        # 执行活动管理逻辑
        ins_mysql = MysqlCrud(host, namespace, mysql_info)
        
        if action == 'start':
            # 更新活动状态
            sql = f"UPDATE activity SET status=1 WHERE id={activity_id}"
            flag, msg = ins_mysql.execute_sql(sql)
            _results['activity_start'] = msg
            
            # 清理相关缓存
            ins_redis = RedisCrud(host, namespace, redis_info)
            ins_redis.delete_pattern(f"activity:{activity_id}:*")
            
        # 发送通知
        send_dingtalk(
            project=project, 
            env=env,
            success=True,
            活动ID=activity_id,
            操作=action
        )
        
    except CommandExecutionError as e:
        _results['error'] = e.error_info
        return json.dumps({
            "status_code": 500,
            "message": "error",
            "data": _results
        })
    
    return json.dumps({
        "status_code": 200,
        "message": "Success",
        "data": _results
    })

# 添加新环境配置示例：压测环境2
app.config['<project1>'] = {
    # 添加命名空间映射
    "env_namespace": {
        ...,
        "yace2": "<project1>-yace2"  # 新增压测环境2
    },
    
    # 添加节点IP映射
    "env_node": {
        ...,
        "yace2": "<IP1>"  # 指定K8s节点
    },
    
    # Git仓库子目录
    "env_git_subdir": {
        ...,
        "yace2": "yace2"  # 对应Git目录
    },
    
    # ArgoCD应用名称
    "env_appname": {
        ...,
        "yace2": "<project1>-yace2"
    },
    
    # COS资源目录
    "env_cosdir": {
        ...,
        "yace2": "yace"  # 复用压测资源
    }
}

# 添加环境中文名称（用于钉钉通知）
app.config['alertname']['yace2'] = "压测环境2(yace2)"

# 服务启动失败时的诊断逻辑
if not flag:  # 启动失败
    app.logger.error(f"启动时检测日志'{loginfo}'失败")
    
    # 1. 获取 K8s 事件
    cmd = f"""kubectl get events -n {namespace} \
        --field-selector 'involvedObject.namespace={namespace},\
        reason=~Failed' -o json"""
    flag, get_event = execute_remote_command(host=host, command=cmd)
    
    if flag:
        reason = json.loads(get_event)
        if reason['items']:
            # 优先使用K8s事件信息
            msg = reason['items'][0]['message']
        else:
            # 2. 获取Pod最新日志
            cmd = f"""kubectl logs {pod_name} -c {server} \
                -n {namespace} --tail=20"""
            flag, logs = execute_remote_command(host=host, command=cmd)
            
            # 3. 提取错误信息
            error_lines = [
                line for line in logs.split('\n') 
                if 'ERROR' in line or 'FATAL' in line
            ]
            msg = '\n'.join(error_lines[-5:])  # 最后5条错误
    
    # 4. 保存诊断信息到日志
    diagnostic_info = {
        'pod': pod_name,
        'namespace': namespace,
        'error': msg,
        'time': datetime.now()
    }
    app.logger.error(f"诊断信息: {json.dumps(diagnostic_info)}")
    
    raise CommandExecutionError(error_info=msg)

# 1. 检查PVC挂载目录
kubectl exec -it pod-name -c container-name -- ls -la /data/config/

# 2. 比对配置文件版本
kubectl exec -it pod-name -c container-name -- cat /data/config/version.txt

# 3. 查看COS同步日志
kubectl logs pod-name -c sidecar-container

# 解决方案：联系开发重新触发CI或手动同步配置
处理流程：
1. 确认配置表版本号与镜像tag是否匹配
2. 检查COS桶中配置文件更新时间
3. 联系开发重新上传或调整CI流程

# 1. 检查当前部署的镜像版本
kubectl get deployment -n namespace -o yaml | grep image:

# 2. 查看Git仓库配置的版本
cat overlays/env/kustomization.yaml | grep newTag

# 3. 修正版本标签
解决步骤：
1. 确认应部署的正确版本号
2. 修改Git仓库中kustomization.yaml的newTag
3. 提交变更并等待ArgoCD同步
4. 或手动调用 /argocd-sync 接口强制更新

# 1. 获取超时Pod的宿主机IP
kubectl get pod pod-name -n namespace -o jsonpath='{.status.hostIP}'

# 2. SSH到宿主机，查找容器ID
ssh root@host-ip
crictl ps | grep pod-name

# 3. 强制停止容器
crictl stopp container-id
crictl rmp container-id

# 4. 备份容器日志（重要）
cp -rf /var/log/pods/namespace_pod-name* /tmp/

注意事项：
- 强杀前务必备份日志用于问题定位
- 一定、务必、千万要跟服务端程序确认过可以操作
- 确认数据已保存，避免数据丢失

# 操作流程（必须按顺序执行）
1. ArgoCD WebUI操作：
   - 进入应用详情页面
   - 选择要变更的资源（如Deployment）
   - 点击Delete删除旧资源
   - 等待资源完全清理

2. Git仓库更新：
   - 修改YAML文件kind字段
   - 提交并推送到远程仓库

3. 重新同步：
   - ArgoCD自动检测到变更
   - 或手动触发Sync同步
   - 调用接口: /argocd-sync?project=<project1>&env=dev

注意：只修改kind重新同步argo是解决不了问题的，必须先删除旧资源

# 初始化检查清单
1. 初始化：
   - 区服ID是否正确配置
   - 域名配置是否完整或遗漏
   - cdn跨域白名单是否添加

2. 网络连通性：
   - 安全组规则检查
   - 发版平台到游戏环境连通性
   - CI平台到镜像仓库连通性
   - CI到ArgoCD同步接口连通性

# 常用测试命令
telnet target-host target-port
curl -v http://argo-api/sync
nslookup domain-name

解决方案：
- 按环境初始化SOP逐项检查
- 补充遗漏的安全组规则
- 开通必要端口