-
Notifications
You must be signed in to change notification settings - Fork 71
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
编写维护测试用例时遇到的若干问题记录 #321
Comments
确实相比之前薛定谔难用了很多,需要了解 argo 的工作流程才行~ |
这个我们可能得想办法如何解决,其实我们各类测试运行不是特别顺畅,从大面上来讲,存在的几个问题
今天我们在一个群里聊过,其实在保障测试持续高效的运行里面,都需要解决,投入的精力应该要不少,这块目前我们正在尝试解决。我们可能首先需要解决一些根本性上的问题,易用性和自动化 |
对了。tipocket 有失败通知嘛?以前薛定谔可以发到 slack 上。 |
@mahjonp 我把这个点补充到上面的 issue 中去,失败通知也很重要。 |
归根到底, 主要是当我们迁移完薛定谔用例后, 没有人力和精力进行持续的改进(包括 UI 等都需要投入一定的精力), 使用 argo 是为了能够快速运行起来, 适用于过渡的阶段, 由于缺乏构建易用性的投入, 将使用的成本转移到了使用者头上. 另外一个方面, 我们一开始将 tipocket 定位成客户端的模式, 即可以单独部署运行, 不依赖于一个平台去调度(比如薛定谔), 因此调度依赖于类似 Argo 平台进行. 除了@cosven 提到的, 还有:
这些的改进方面可能都需要保障测试持续高效的运行专项里头解决. @zhouqiang-cl @youjiali1995 @cosven |
考虑到可投入的精力,准备先解决 A,B 两个问题。 方案:
|
还有个问题,能不能跑 PR 里的 case,有时候本地能跑的合进去后发现还是有问题 |
我觉得这也是个大问题。本地不能方便的 debug,算是用例开发的子问题。 个人前几天实现一个工具,目标是 方便的调试/运行一个用例(包含 PR 的用例代码) ,但它目前还是要求使用者对 kubectl/argo 等工具有一定了解:https://github.com/cosven/tidb-testing/tree/master/tipocket-ctl (ps:正在思考如果推广给大家试用,emmm)。 |
概述
用例运行
注:tipocket 虽然提供了 matrix,但它也有几个问题
用例实现
The text was updated successfully, but these errors were encountered: