feat: 新增科研软件 benchmark 任务数据
- 新增 avogadro/imagej/jade/origin/ovito/pymol/vesta 等科研软件任务 JSON - 修改 vllm_eval.py,修改图片文件名称为第x步 - desktop_env.py 添加额外数据参数 config 和 metadata
This commit is contained in:
93
evaluation_examples/test_curated.json
Normal file
93
evaluation_examples/test_curated.json
Normal file
@@ -0,0 +1,93 @@
|
||||
{
|
||||
"avogadro": [
|
||||
"building-metal-complexes_task1",
|
||||
"building-metal-complexes_task3",
|
||||
"building-metal-complexes_task7",
|
||||
"building-organic-molecules_task1",
|
||||
"building-organic-molecules_task3",
|
||||
"building-organic-molecules_task4",
|
||||
"building-organic-molecules_task5",
|
||||
"building-organic-molecules_task9",
|
||||
"naming-a-molecule_task1",
|
||||
"viewing-electrostatic-potential_task1"
|
||||
],
|
||||
"imagej": [
|
||||
"user-guide_task1",
|
||||
"user-guide_task10",
|
||||
"user-guide_task2",
|
||||
"user-guide_task3",
|
||||
"user-guide_task4",
|
||||
"user-guide_task5",
|
||||
"user-guide_task6",
|
||||
"user-guide_task7",
|
||||
"user-guide_task8",
|
||||
"user-guide_task9"
|
||||
],
|
||||
"jade": [
|
||||
"MDIJade6.5使用手册_task1",
|
||||
"MDIJade6.5使用手册_task10",
|
||||
"MDIJade6.5使用手册_task2",
|
||||
"MDIJade6.5使用手册_task3",
|
||||
"MDIJade6.5使用手册_task4",
|
||||
"MDIJade6.5使用手册_task5",
|
||||
"MDIJade6.5使用手册_task6",
|
||||
"MDIJade6.5使用手册_task7",
|
||||
"MDIJade6.5使用手册_task8"
|
||||
|
||||
],
|
||||
"origin": [
|
||||
"Origin_User_Guide_2025b_E_task1",
|
||||
"Origin_User_Guide_2025b_E_task11",
|
||||
"Origin_User_Guide_2025b_E_task12",
|
||||
"Origin_User_Guide_2025b_E_task2",
|
||||
"Origin_User_Guide_2025b_E_task3",
|
||||
"Origin_User_Guide_2025b_E_task4",
|
||||
"Origin_User_Guide_2025b_E_task5",
|
||||
"Origin_User_Guide_2025b_E_task8",
|
||||
"Origin_User_Guide_2025b_E_task9"
|
||||
],
|
||||
"ovito": [
|
||||
"animation_task3",
|
||||
"aspherical_particles_task1",
|
||||
"clone_pipeline_task1",
|
||||
"code_generation_task1",
|
||||
"customize_init_state_task1",
|
||||
"data_model_task1",
|
||||
"export_task1",
|
||||
"marker_particles_task2",
|
||||
"miscellaneous_task1",
|
||||
"python_extensions_task1",
|
||||
"remote_file_access_task1",
|
||||
"remote_rendering_task1",
|
||||
"rendering_task1",
|
||||
"transparent_particles_task1"
|
||||
],
|
||||
"pymol": [
|
||||
"MovieSchool_1_task1",
|
||||
"MovieSchool_1_task2",
|
||||
"MovieSchool_1_task3",
|
||||
"MovieSchool_1_task4",
|
||||
"MovieSchool_1_task5",
|
||||
"MovieSchool_3_task1",
|
||||
"MovieSchool_3_task10",
|
||||
"MovieSchool_3_task2",
|
||||
"MovieSchool_3_task3",
|
||||
"MovieSchool_3_task4",
|
||||
"MovieSchool_3_task5",
|
||||
"Mutagenesis_task4",
|
||||
"Practical_Pymol_for_Beginners_task6"
|
||||
],
|
||||
"vesta": [
|
||||
"VESTA_Manual_task1",
|
||||
"VESTA_Manual_task10",
|
||||
"VESTA_Manual_task11",
|
||||
"VESTA_Manual_task2",
|
||||
"VESTA_Manual_task3",
|
||||
"VESTA_Manual_task4",
|
||||
"VESTA_Manual_task5",
|
||||
"VESTA_Manual_task6",
|
||||
"VESTA_Manual_task7",
|
||||
"VESTA_Manual_task8",
|
||||
"VESTA_Manual_task9"
|
||||
]
|
||||
}
|
||||
Reference in New Issue
Block a user