企业官网建设流程全解析

如何快速并行化 Minitest/RSpec：test-queue 三步上手教程，让 CI 速度翻倍

【免费下载链接】test-queueparallel test runner for CI environments项目地址: https://gitcode.com/gh_mirrors/te/test-queue

test-queue 是一款专为 CI 环境打造的 Ruby 并行测试运行器（parallel test runner for CI environments），一条命令即可让 Minitest、RSpec、TestUnit 测试在多个 worker 中并行执行。它通过中心化队列保证测试任务在 worker 之间最优分配，并在每次运行后记录耗时统计，自动让下一轮 CI 跑得更快。无论你是 Rails 开发者还是 CI 运维工程师，按下面三步走，就能让测试流水线速度翻倍 ⚡

为什么选 test-queue？三大核心优势

1. 中心化队列调度：采用「master + pre-fork worker」模型，master 通过 Unix socket 分发任务，哪个 worker 空闲就派活给谁，彻底告别静态分片导致的"木桶效应"。
2. 统计缓存越跑越快：每次运行都会把各测试套件的耗时保存到本地.test_queue_stats文件，下次启动时按耗时从长到短排队，慢测试优先派发，整体收尾时间显著缩短。
3. 零配置上手：安装包即自带minitest-queue、rspec-queue、testunit-queue、cucumber-queue四个可执行命令，替换原有命令即可完成并行化。

运行时的进程结构大致如下，每个 worker 独立领取测试套件：

─┬─ 21232 minitest-queue master ├─── 21571 minitest-queue worker [3] - AuthenticationTest ├─── 21568 minitest-queue worker [2] - ApiTest ├─── 21565 minitest-queue worker [1] - UsersControllerTest └─── 21562 minitest-queue worker [0] - UserTest

第一步：安装 test-queue 并行测试运行器

只需在你的项目Gemfile中添加一行依赖（开发/测试组即可），然后执行 bundle install：

group :test do gem 'test-queue' end

安装完成后，即可在终端直接使用 exe/minitest-queue 和 exe/rspec-queue 提供的可执行命令。项目要求 Ruby >= 2.7（见 test-queue.gemspec），对 Minitest 5/6、RSpec 3/4 均有对应适配（参考 gemfiles/ 下的各版本 Gemfile）。

第二步：一行命令替换运行器，Minitest/RSpec 即刻并行

这是整个教程最关键的一步——只需把原来的运行命令换成 test-queue 提供的命令：

Minitest 项目：

$ minitest-queue $(find test/ -name \*_test.rb)

RSpec 项目：

$ rspec-queue --format progress spec

就这么简单。worker 数量默认等于 CPU 核心数，什么都不用配置就能跑。官方推荐的进阶做法是把一个自定义执行脚本（如script/test-queue）提交进项目，继承TestQueue::Runner::Minitest或TestQueue::Runner::RSpec基类，方便后续定制。

💡 小贴士：Minitest 的--seed 1234选项和SEED环境变量都能正常透传，随机排序的调试体验不变。

第三步：环境变量调优，精细控制 CI 行为

test-queue 的行为几乎全部由环境变量驱动，按需设置即可，常用项如下：

几个实战技巧：

• 调试单个慢测试：TEST_QUEUE_FORCE="UserTest,OrderTest" bundle exec minitest-queue test/，它还会严格按你给出的顺序执行，非常适合定位偶发失败（相关实现见 lib/test_queue/runner.rb，行为验证见 test/minitest5.bats）。
• Selenium 等 setup 重的场景：开启TEST_QUEUE_SPLIT_GROUPS=true，让 RSpec 拆到 example 级别，粒度更细、分配更均匀；不想拆分的组打上:no_split标签即可。
• 统计文件记得提交到 CI 缓存：把.test_queue_stats加入 CI 的缓存列表，跨构建复用耗时数据，排序效果更佳。

数据库隔离：fork 模型的必备一课 ⚠️

test-queue 使用fork(2)派生 worker，每个 worker 都是主进程的副本，必须自行隔离全局状态。标准做法是继承 Runner 并覆写两个钩子：

• prepare(concurrency)：fork之前执行，用来创建 concurrency 份数据库并导入 schema；
• after_fork(num)：fork之后在每个 worker 中执行，用来把当前 worker 切到第num号数据库和 Redis 库。

官方 README 中给出了完整的 ActiveRecord + Redis 示例，建议直接参考。这一步是并行测试最常见的坑，隔离没做好就会出现"本地并行、偶发失败"的玄学问题。

分布式模式：多台 CI 机器协同跑测试

当单机核心不够用时，test-queue 还支持分布式模式：中央 master 监听 TCP 端口，其他机器以 relay 模式加入共享同一队列，结果回传给中央 master 汇总。只需成对设置：

# 中央 master TEST_QUEUE_RELAY_TOKEN=123 TEST_QUEUE_SOCKET=0.0.0.0:12345 bundle exec minitest-queue ./test/example_test.rb # 远程 master TEST_QUEUE_RELAY_TOKEN=123 TEST_QUEUE_RELAY=0.0.0.0:12345 bundle exec minitest-queue ./test/example_test.rb

两侧TEST_QUEUE_RELAY_TOKEN必须一致，Jenkins 用户可配合 Parameterized Trigger 插件一键拉起多台远程 master。

关键文件速查表

常见问题 FAQ

Q：并行后测试失败了，输出看不懂？A：所有 worker 输出会被汇总，最后统一打印==> Failures段落；设置TEST_QUEUE_VERBOSE=1可实时查看每个 worker 的原始输出。

Q：统计文件.test_queue_stats会无限增长吗？A：不会。每次保存时会自动剪枝，移除 8 天内未被运行过的套件记录（逻辑见 lib/test_queue/stats.rb）。

Q：Windows 上能用吗？A：不能。test-queue 依赖fork(2)系统调用，请确保在 Linux/macOS 的 CI 环境使用。

Q：worker 数设为 0 会怎样？A：会直接报错Worker count (0) must be greater than 0，避免误配置导致空跑。

总结

三步回顾：① Gemfile 加依赖 → ② 用 minitest-queue / rspec-queue 替换原命令 → ③ 按环境调优 TEST_QUEUE_变量并做数据库隔离*。得益于中心化队列与耗时统计缓存，test-queue 能让你的 CI 测试流水线从串行变成"越跑越顺"的并行流水线，速度提升往往立竿见影 🚀 如果你还在用静态分片方案，不妨今天就试试这条更聪明的队列。

【免费下载链接】test-queueparallel test runner for CI environments项目地址: https://gitcode.com/gh_mirrors/te/test-queue