拾拾穗数据工作室SQL 模型评测台

题库不是题目清单,而是一份可复现合同

模型到底在解什么业务问题

每个公开版本同时冻结 Schema、种子数据、语义口径、Prompt、金标与比较规则。发布后不原地改题;修正会进入新版本。

已发布版本

数字只是规模,不代表难度或覆盖完整度。进入源文件可核对每一道题和金标。

版本 02 · 2026年8月30日 05:04

retail-analytics-v1

固定可复现的零售分析 Text-to-SQL 基准

业务题
18
金标结果行
1245
方言
duckdb

执行引擎DuckDB 1.5.5

解析器SQLGlot 30.17.0

评分器1.0.0

查看内容与发布摘要

Content SHA-2565b5d98876ea35114f18ce6dfa48cc9800d88b6baba80d311b2f52552a38b31af

Bundle SHA-256955abdf3b158dd0db0e6db364eb8b5e30c78cefee58f0e12b1dc366adf0ad97a

浏览题目、数据与金标 ↗

版本 01 · 2026年8月29日 23:06

retail-analytics-v1

固定可复现的零售分析 Text-to-SQL 基准

业务题
12
金标结果行
1053
方言
duckdb

执行引擎DuckDB 1.5.5

解析器SQLGlot 30.17.0

评分器1.0.0

查看内容与发布摘要

Content SHA-2560a4a18b4374f510f5eff18b06272c30c3375e1f082ae405adc8ead7dd9c81556

Bundle SHA-2563480015062ea555127daae99d83e16f29fae77a467d5516ccac3c1349232d913

浏览题目、数据与金标 ↗

答案如何与模型隔离

公开后你能看到金标,不代表模型运行时看到了答案。

  1. 01

    冻结题库

    维护者用 Reference SQL 生成并验证金标结果。

  2. 02

    裁剪输入

    模型只收到结构、语义、业务问题、方言规则和输出合同。

  3. 03

    本地执行

    生成 SQL 在固定 DuckDB 数据上运行,再与金标结果比较。

  4. 04

    发布证据

    运行结束后才公开 Prompt、输出、评分、日志与摘要。

带一道真实业务题来挑战

在本地整理成结构化提案。本站不会自动提交;复制或下载 JSON 后,由维护者审核数据授权、可复现性和金标,才可能进入新的题库版本。

尚未生成。内容只在当前页面内处理。