{ "schema_version": 3, "date": "2026-10-06T09:04:34.556Z", "artifact_kind": "derived summary; excludes raw responses and per-symbol retention audit", "original_results_sha256": "6bb8518466cbd7d47e6a45d2c4d0ad01a39222153858579b72deba42a768546e", "provenance": { "astria_commit": "5e69c63cee176a7addc3b5c4414280bba3d2d815", "source_status": "", "graphify_commit": "5c7b84792f453582676548185aaec3824d51dfe2", "graphify_status": "", "native_sha256": "6cae0d5b585fced24d187b113348bbbaca09f7e58926dbc4ddeae9715d14f381", "astria_cli_sha256": "4261f323171db5c2049636a8b8bac470d6cf077cfc1ac767a0561d1eb12bb48b", "profile": "release", "node": "v24.15.0", "python": "Python 3.12.12", "platform": "win32", "cpu": "AMD Ryzen AI 9 HX 370 w/ Radeon 890M ", "logical_cpus": 24 }, "method": { "budgets": [ 1000, 4000 ], "depth": 2, "tokenizer": "o200k_base", "llm": false, "embeddings": false, "query_repetitions": 1, "build_repetitions": 1, "notes": "Fresh git archive copies per tool; serial builds; alternating query order; process startup included. Complete NODE lines only, unique source files in output order; same exact complete-line token clipping for both; definitions matched by grounded file and declaration line, separately from file recall. File retrieval, not generated answer correctness. Graphify structural pipeline via orig_run.py; Astria native pipeline, excluding CLI post-build token benchmark." }, "corpora": [ { "name": "astria-self", "commit": "5e69c63cee176a7addc3b5c4414280bba3d2d815", "split": "frozen-v1", "golden_sha256": "a5f0769fefba93256cb973129c2b3dca172478ea255fb9bf2c5cecde6e11ed8f", "builds": { "graphify": { "seconds": 13.5978121, "nodes": 3566, "edges": 7465 }, "astria": { "seconds": 15.805167899999999, "nodes": 6356, "edges": 22212 } }, "summaries": [ { "tool": "astria", "budget": 1000, "n": 35, "errors": 0, "avg_seconds": 0.5507381714285711, "median_seconds": 0.5160194999999949, "avg_tokens": 965.4285714285714, "avg_raw_tokens": 965.4285714285714, "over_budget": 0, "mrr": 0.5695238095238095, "hit@1": 0.45714285714285713, "recall@1": 0.4142857142857143, "hit@3": 0.6, "recall@3": 0.5857142857142857, "hit@5": 0.8, "recall@5": 0.7571428571428571, "hit@10": 0.8, "recall@10": 0.7571428571428571 }, { "tool": "graphify", "budget": 1000, "n": 35, "errors": 0, "avg_seconds": 0.6275371599999998, "median_seconds": 0.5992108000000007, "avg_tokens": 929.9142857142857, "avg_raw_tokens": 1020.4857142857143, "over_budget": 24, "mrr": 0.4636054421768707, "hit@1": 0.37142857142857144, "recall@1": 0.3142857142857143, "hit@3": 0.5428571428571428, "recall@3": 0.5, "hit@5": 0.6, "recall@5": 0.5571428571428572, "hit@10": 0.6857142857142857, "recall@10": 0.6285714285714286 }, { "tool": "astria", "budget": 4000, "n": 35, "errors": 0, "avg_seconds": 0.5098620828571436, "median_seconds": 0.4932192000000068, "avg_tokens": 3971.285714285714, "avg_raw_tokens": 3971.285714285714, "over_budget": 0, "mrr": 0.5855102040816326, "hit@1": 0.45714285714285713, "recall@1": 0.4142857142857143, "hit@3": 0.6, "recall@3": 0.5857142857142857, "hit@5": 0.8285714285714286, "recall@5": 0.7857142857142857, "hit@10": 0.8857142857142857, "recall@10": 0.8285714285714286 }, { "tool": "graphify", "budget": 4000, "n": 35, "errors": 0, "avg_seconds": 0.6615361657142852, "median_seconds": 0.5624815999999991, "avg_tokens": 3491, "avg_raw_tokens": 5954.171428571429, "over_budget": 22, "mrr": 0.4636054421768707, "hit@1": 0.37142857142857144, "recall@1": 0.3142857142857143, "hit@3": 0.5428571428571428, "recall@3": 0.5, "hit@5": 0.6, "recall@5": 0.5571428571428572, "hit@10": 0.6857142857142857, "recall@10": 0.6285714285714286 } ] }, { "name": "astria-self-v2", "commit": "5e69c63cee176a7addc3b5c4414280bba3d2d815", "split": "corrected-v2", "golden_sha256": "683a2b44f15e697dda7f75665381bcd94c509da118e9ca622872f5a1d237cab2", "builds": { "graphify": { "seconds": 13.193906600000002, "nodes": 3566, "edges": 7465 }, "astria": { "seconds": 19.603357199999998, "nodes": 6356, "edges": 22212 } }, "summaries": [ { "tool": "astria", "budget": 1000, "n": 35, "errors": 0, "avg_seconds": 0.4735968714285749, "median_seconds": 0.4657896999999939, "avg_tokens": 965.4285714285714, "avg_raw_tokens": 965.4285714285714, "over_budget": 0, "mrr": 0.5695238095238095, "hit@1": 0.45714285714285713, "recall@1": 0.4142857142857143, "hit@3": 0.6, "recall@3": 0.5857142857142857, "hit@5": 0.8, "recall@5": 0.7571428571428571, "hit@10": 0.8, "recall@10": 0.7571428571428571 }, { "tool": "graphify", "budget": 1000, "n": 35, "errors": 0, "avg_seconds": 0.5419938085714305, "median_seconds": 0.5383794000000053, "avg_tokens": 930.7714285714286, "avg_raw_tokens": 1020.4857142857143, "over_budget": 24, "mrr": 0.4671768707482993, "hit@1": 0.37142857142857144, "recall@1": 0.3142857142857143, "hit@3": 0.5428571428571428, "recall@3": 0.5, "hit@5": 0.6285714285714286, "recall@5": 0.5666666666666668, "hit@10": 0.6857142857142857, "recall@10": 0.6333333333333333 }, { "tool": "astria", "budget": 4000, "n": 35, "errors": 0, "avg_seconds": 0.49670045142856795, "median_seconds": 0.48781210000001013, "avg_tokens": 3971.5714285714284, "avg_raw_tokens": 3971.5714285714284, "over_budget": 0, "mrr": 0.5855102040816326, "hit@1": 0.45714285714285713, "recall@1": 0.4142857142857143, "hit@3": 0.6, "recall@3": 0.5857142857142857, "hit@5": 0.8285714285714286, "recall@5": 0.7857142857142857, "hit@10": 0.8857142857142857, "recall@10": 0.8285714285714286 }, { "tool": "graphify", "budget": 4000, "n": 35, "errors": 0, "avg_seconds": 0.5533674228571414, "median_seconds": 0.533800900000002, "avg_tokens": 3489.6285714285714, "avg_raw_tokens": 5954.171428571429, "over_budget": 22, "mrr": 0.4671768707482993, "hit@1": 0.37142857142857144, "recall@1": 0.3142857142857143, "hit@3": 0.5428571428571428, "recall@3": 0.5, "hit@5": 0.6285714285714286, "recall@5": 0.5666666666666668, "hit@10": 0.6857142857142857, "recall@10": 0.6333333333333333 } ] }, { "name": "click", "commit": "934813e4d421071a1b3db3973c02fe2721359a6e", "split": "frozen-v1", "golden_sha256": "7023c4f03b3c7537e613d1d9fcfab6abfcea627910b940910057139ebee0fe13", "definitions_sha256": "298021f57d094fcedeb5ca7622640f2c0c545d1a158b8ebd581f2f0987948d81", "builds": { "graphify": { "seconds": 6.471722399999999, "nodes": 1835, "edges": 3516 }, "astria": { "seconds": 5.6063019000000205, "nodes": 2278, "edges": 6177 } }, "summaries": [ { "tool": "astria", "budget": 1000, "n": 3, "errors": 0, "avg_seconds": 0.3363414333333106, "median_seconds": 0.32868659999995725, "avg_tokens": 976.3333333333334, "avg_raw_tokens": 976.3333333333334, "over_budget": 0, "mrr": 1, "hit@1": 1, "recall@1": 1, "hit@3": 1, "recall@3": 1, "hit@5": 1, "recall@5": 1, "hit@10": 1, "recall@10": 1 }, { "tool": "graphify", "budget": 1000, "n": 3, "errors": 0, "avg_seconds": 0.5040333999999954, "median_seconds": 0.5035722000000533, "avg_tokens": 710.6666666666666, "avg_raw_tokens": 744, "over_budget": 2, "mrr": 0.6666666666666666, "hit@1": 0.3333333333333333, "recall@1": 0.3333333333333333, "hit@3": 1, "recall@3": 1, "hit@5": 1, "recall@5": 1, "hit@10": 1, "recall@10": 1 }, { "tool": "astria", "budget": 4000, "n": 3, "errors": 0, "avg_seconds": 0.38825319999997737, "median_seconds": 0.3513474999999744, "avg_tokens": 3981, "avg_raw_tokens": 3981, "over_budget": 0, "mrr": 1, "hit@1": 1, "recall@1": 1, "hit@3": 1, "recall@3": 1, "hit@5": 1, "recall@5": 1, "hit@10": 1, "recall@10": 1 }, { "tool": "graphify", "budget": 4000, "n": 3, "errors": 0, "avg_seconds": 0.4749261333333367, "median_seconds": 0.47833090000000084, "avg_tokens": 2456, "avg_raw_tokens": 2456, "over_budget": 0, "mrr": 0.6666666666666666, "hit@1": 0.3333333333333333, "recall@1": 0.3333333333333333, "hit@3": 1, "recall@3": 1, "hit@5": 1, "recall@5": 1, "hit@10": 1, "recall@10": 1 } ] }, { "name": "click-heldout", "commit": "934813e4d421071a1b3db3973c02fe2721359a6e", "split": "additional-validation-v1", "golden_sha256": "2d1b5f7a0a43c13d5796b370766662ddf347b3d9ffead93c3cf7a8db5e338dba", "builds": { "graphify": { "seconds": 5.202796000000031, "nodes": 1835, "edges": 3516 }, "astria": { "seconds": 5.993786000000022, "nodes": 2278, "edges": 6177 } }, "summaries": [ { "tool": "astria", "budget": 1000, "n": 2, "errors": 0, "avg_seconds": 0.36519269999998505, "median_seconds": 0.37148789999994913, "avg_tokens": 971, "avg_raw_tokens": 971, "over_budget": 0, "mrr": 0.75, "hit@1": 0.5, "recall@1": 0.5, "hit@3": 1, "recall@3": 1, "hit@5": 1, "recall@5": 1, "hit@10": 1, "recall@10": 1 }, { "tool": "graphify", "budget": 1000, "n": 2, "errors": 0, "avg_seconds": 0.5164638500000001, "median_seconds": 0.5376290999999619, "avg_tokens": 989, "avg_raw_tokens": 1022, "over_budget": 2, "mrr": 0.5, "hit@1": 0.5, "recall@1": 0.5, "hit@3": 0.5, "recall@3": 0.5, "hit@5": 0.5, "recall@5": 0.5, "hit@10": 0.5, "recall@10": 0.5 }, { "tool": "astria", "budget": 4000, "n": 2, "errors": 0, "avg_seconds": 0.34162974999999274, "median_seconds": 0.35001439999998546, "avg_tokens": 3974, "avg_raw_tokens": 3974, "over_budget": 0, "mrr": 0.75, "hit@1": 0.5, "recall@1": 0.5, "hit@3": 1, "recall@3": 1, "hit@5": 1, "recall@5": 1, "hit@10": 1, "recall@10": 1 }, { "tool": "graphify", "budget": 4000, "n": 2, "errors": 0, "avg_seconds": 0.4643698499999882, "median_seconds": 0.4917699999999604, "avg_tokens": 3664.5, "avg_raw_tokens": 3664.5, "over_budget": 0, "mrr": 0.5, "hit@1": 0.5, "recall@1": 0.5, "hit@3": 0.5, "recall@3": 0.5, "hit@5": 0.5, "recall@5": 0.5, "hit@10": 0.5, "recall@10": 0.5 } ] }, { "name": "express", "commit": "1faf228935aa0a13111f92c28ee795be64ce3f0f", "split": "frozen-v1", "golden_sha256": "704eff15ea9ab24473d562657525df1f033199cbb280967d5717a483d0824b9d", "definitions_sha256": "417d029ad14acbe7d7aa016515c445d5c19514eaca974985a3c8b3362ebf83e5", "builds": { "graphify": { "seconds": 8.733785600000003, "nodes": 489, "edges": 837 }, "astria": { "seconds": 12.132292200000025, "nodes": 4414, "edges": 12098 } }, "summaries": [ { "tool": "astria", "budget": 1000, "n": 2, "errors": 0, "avg_seconds": 0.43739199999999256, "median_seconds": 0.45469650000002004, "avg_tokens": 987.5, "avg_raw_tokens": 987.5, "over_budget": 0, "mrr": 1, "hit@1": 1, "recall@1": 1, "hit@3": 1, "recall@3": 1, "hit@5": 1, "recall@5": 1, "hit@10": 1, "recall@10": 1 }, { "tool": "graphify", "budget": 1000, "n": 2, "errors": 0, "avg_seconds": 0.41583920000001673, "median_seconds": 0.4326732000000193, "avg_tokens": 973, "avg_raw_tokens": 1609, "over_budget": 1, "mrr": 0.625, "hit@1": 0.5, "recall@1": 0.5, "hit@3": 0.5, "recall@3": 0.5, "hit@5": 1, "recall@5": 1, "hit@10": 1, "recall@10": 1 }, { "tool": "astria", "budget": 4000, "n": 2, "errors": 0, "avg_seconds": 0.44226399999999555, "median_seconds": 0.4454258999999729, "avg_tokens": 3938.5, "avg_raw_tokens": 3938.5, "over_budget": 0, "mrr": 1, "hit@1": 1, "recall@1": 1, "hit@3": 1, "recall@3": 1, "hit@5": 1, "recall@5": 1, "hit@10": 1, "recall@10": 1 }, { "tool": "graphify", "budget": 4000, "n": 2, "errors": 0, "avg_seconds": 0.48132494999998016, "median_seconds": 0.48227269999997224, "avg_tokens": 3079, "avg_raw_tokens": 5938.5, "over_budget": 1, "mrr": 0.625, "hit@1": 0.5, "recall@1": 0.5, "hit@3": 0.5, "recall@3": 0.5, "hit@5": 1, "recall@5": 1, "hit@10": 1, "recall@10": 1 } ] }, { "name": "express-heldout", "commit": "1faf228935aa0a13111f92c28ee795be64ce3f0f", "split": "additional-validation-v1", "golden_sha256": "74e6f8c84932f6f7711027121b5c9517207323dba955404b870df39492dff8c1", "builds": { "graphify": { "seconds": 4.38968280000001, "nodes": 489, "edges": 837 }, "astria": { "seconds": 10.792192699999957, "nodes": 4414, "edges": 12098 } }, "summaries": [ { "tool": "astria", "budget": 1000, "n": 2, "errors": 0, "avg_seconds": 0.4679429999999993, "median_seconds": 0.4904439000000129, "avg_tokens": 976.5, "avg_raw_tokens": 976.5, "over_budget": 0, "mrr": 0.6666666666666666, "hit@1": 0.5, "recall@1": 0.5, "hit@3": 1, "recall@3": 1, "hit@5": 1, "recall@5": 1, "hit@10": 1, "recall@10": 1 }, { "tool": "graphify", "budget": 1000, "n": 2, "errors": 0, "avg_seconds": 0.35765555000002497, "median_seconds": 0.35874770000000716, "avg_tokens": 962.5, "avg_raw_tokens": 962.5, "over_budget": 0, "mrr": 0.5, "hit@1": 0.5, "recall@1": 0.5, "hit@3": 0.5, "recall@3": 0.5, "hit@5": 0.5, "recall@5": 0.5, "hit@10": 0.5, "recall@10": 0.5 }, { "tool": "astria", "budget": 4000, "n": 2, "errors": 0, "avg_seconds": 0.4653171499999881, "median_seconds": 0.5007434999999824, "avg_tokens": 3986, "avg_raw_tokens": 3986, "over_budget": 0, "mrr": 0.6666666666666666, "hit@1": 0.5, "recall@1": 0.5, "hit@3": 1, "recall@3": 1, "hit@5": 1, "recall@5": 1, "hit@10": 1, "recall@10": 1 }, { "tool": "graphify", "budget": 4000, "n": 2, "errors": 0, "avg_seconds": 0.44874060000001914, "median_seconds": 0.44905980000004636, "avg_tokens": 3993.5, "avg_raw_tokens": 8148.5, "over_budget": 2, "mrr": 0.5, "hit@1": 0.5, "recall@1": 0.5, "hit@3": 0.5, "recall@3": 0.5, "hit@5": 0.5, "recall@5": 0.5, "hit@10": 0.5, "recall@10": 0.5 } ] }, { "name": "ripgrep", "commit": "4649aa9700619f94cf9c66876e9549d83420e16c", "split": "frozen-v1", "golden_sha256": "00966efb5657172de9761fb78e1f760ef6a64899754ff428989f4afe4c4d5da4", "builds": { "graphify": { "seconds": 8.258599699999962, "nodes": 4049, "edges": 8403 }, "astria": { "seconds": 11.907540099999984, "nodes": 5107, "edges": 12965 } }, "summaries": [ { "tool": "astria", "budget": 1000, "n": 3, "errors": 0, "avg_seconds": 0.35152780000000106, "median_seconds": 0.3734997999999905, "avg_tokens": 985.6666666666666, "avg_raw_tokens": 985.6666666666666, "over_budget": 0, "mrr": 0.7777777777777777, "hit@1": 0.6666666666666666, "recall@1": 0.6666666666666666, "hit@3": 1, "recall@3": 1, "hit@5": 1, "recall@5": 1, "hit@10": 1, "recall@10": 1 }, { "tool": "graphify", "budget": 1000, "n": 3, "errors": 0, "avg_seconds": 0.5492963666666572, "median_seconds": 0.549739899999986, "avg_tokens": 994.3333333333334, "avg_raw_tokens": 1049, "over_budget": 3, "mrr": 0.8333333333333334, "hit@1": 0.6666666666666666, "recall@1": 0.6666666666666666, "hit@3": 1, "recall@3": 1, "hit@5": 1, "recall@5": 1, "hit@10": 1, "recall@10": 1 }, { "tool": "astria", "budget": 4000, "n": 3, "errors": 0, "avg_seconds": 0.354280700000003, "median_seconds": 0.35380690000002507, "avg_tokens": 3971.6666666666665, "avg_raw_tokens": 3971.6666666666665, "over_budget": 0, "mrr": 0.7777777777777777, "hit@1": 0.6666666666666666, "recall@1": 0.6666666666666666, "hit@3": 1, "recall@3": 1, "hit@5": 1, "recall@5": 1, "hit@10": 1, "recall@10": 1 }, { "tool": "graphify", "budget": 4000, "n": 3, "errors": 0, "avg_seconds": 0.5441202333333204, "median_seconds": 0.5459125999999814, "avg_tokens": 3829.6666666666665, "avg_raw_tokens": 3829.6666666666665, "over_budget": 0, "mrr": 0.8333333333333334, "hit@1": 0.6666666666666666, "recall@1": 0.6666666666666666, "hit@3": 1, "recall@3": 1, "hit@5": 1, "recall@5": 1, "hit@10": 1, "recall@10": 1 } ] }, { "name": "ripgrep-heldout", "commit": "4649aa9700619f94cf9c66876e9549d83420e16c", "split": "additional-validation-v1", "golden_sha256": "fd2ecce3a03a951cbc6323fb0b2654dc750843a9100731ce08ee9ed6eb162535", "builds": { "graphify": { "seconds": 7.078846199999971, "nodes": 4049, "edges": 8403 }, "astria": { "seconds": 12.706957799999975, "nodes": 5107, "edges": 12965 } }, "summaries": [ { "tool": "astria", "budget": 1000, "n": 3, "errors": 0, "avg_seconds": 0.5144514000000004, "median_seconds": 0.5580824000000139, "avg_tokens": 965, "avg_raw_tokens": 965, "over_budget": 0, "mrr": 0.6666666666666666, "hit@1": 0.3333333333333333, "recall@1": 0.16666666666666666, "hit@3": 1, "recall@3": 0.8333333333333334, "hit@5": 1, "recall@5": 1, "hit@10": 1, "recall@10": 1 }, { "tool": "graphify", "budget": 1000, "n": 3, "errors": 0, "avg_seconds": 0.5455332333333596, "median_seconds": 0.5365933000000077, "avg_tokens": 987.6666666666666, "avg_raw_tokens": 1047, "over_budget": 3, "mrr": 0.3333333333333333, "hit@1": 0.3333333333333333, "recall@1": 0.16666666666666666, "hit@3": 0.3333333333333333, "recall@3": 0.3333333333333333, "hit@5": 0.3333333333333333, "recall@5": 0.3333333333333333, "hit@10": 0.3333333333333333, "recall@10": 0.3333333333333333 }, { "tool": "astria", "budget": 4000, "n": 3, "errors": 0, "avg_seconds": 0.48535230000000834, "median_seconds": 0.5173623999999836, "avg_tokens": 3981.6666666666665, "avg_raw_tokens": 3981.6666666666665, "over_budget": 0, "mrr": 0.6666666666666666, "hit@1": 0.3333333333333333, "recall@1": 0.16666666666666666, "hit@3": 1, "recall@3": 0.8333333333333334, "hit@5": 1, "recall@5": 1, "hit@10": 1, "recall@10": 1 }, { "tool": "graphify", "budget": 4000, "n": 3, "errors": 0, "avg_seconds": 0.5534215333333317, "median_seconds": 0.5343248000000022, "avg_tokens": 3989.6666666666665, "avg_raw_tokens": 9687.666666666666, "over_budget": 3, "mrr": 0.3333333333333333, "hit@1": 0.3333333333333333, "recall@1": 0.16666666666666666, "hit@3": 0.3333333333333333, "recall@3": 0.3333333333333333, "hit@5": 0.3333333333333333, "recall@5": 0.3333333333333333, "hit@10": 0.3333333333333333, "recall@10": 0.3333333333333333 } ] } ] }