feat: standardize configuration fields across all evaluation examples
- Add `fixed_ip` field to all 369 JSON files in examples directory - Set to `true` for 8 files listed in google_chrome.json multi_apps - Set to `false` for remaining 361 files - Add `possibility_of_env_change` field to 363 JSON files missing this field - Set to "low" for newly added fields - Preserve existing values (4 medium, 2 high) for 6 files that already had this field This ensures consistent configuration schema across all evaluation examples while maintaining backward compatibility with existing settings.
This commit is contained in:
yuanmengqi
@@ -94,5 +94,7 @@
|
||||
}
|
||||
]
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -1,7 +1,7 @@
|
||||
{
|
||||
"id": "05dd4c1d-c489-4c85-8389-a7836c4f0567",
|
||||
"snapshot": "libreoffice_impress",
|
||||
"instruction":"Align the first textbox on slide 3 to the right, on slide 4 to the center, and on slide 5 to the left. Ensure that the alignment is applied correctly to each respective slide.",
|
||||
"instruction": "Align the first textbox on slide 3 to the right, on slide 4 to the center, and on slide 5 to the left. Ensure that the alignment is applied correctly to each respective slide.",
|
||||
"source": "https://arxiv.org/pdf/2311.01767.pdf",
|
||||
"config": [
|
||||
{
|
||||
@@ -65,9 +65,9 @@
|
||||
"conj": "or",
|
||||
"expected": [
|
||||
{
|
||||
"type": "cloud_file",
|
||||
"path": "https://huggingface.co/datasets/xlangai/ubuntu_osworld_file_cache/resolve/main/libreoffice_impress/05dd4c1d-c489-4c85-8389-a7836c4f0567/38_1_Gold.pptx",
|
||||
"dest": "38_1_Gold.pptx"
|
||||
"type": "cloud_file",
|
||||
"path": "https://huggingface.co/datasets/xlangai/ubuntu_osworld_file_cache/resolve/main/libreoffice_impress/05dd4c1d-c489-4c85-8389-a7836c4f0567/38_1_Gold.pptx",
|
||||
"dest": "38_1_Gold.pptx"
|
||||
},
|
||||
{
|
||||
"type": "cloud_file",
|
||||
@@ -88,5 +88,7 @@
|
||||
}
|
||||
]
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -88,5 +88,7 @@
|
||||
}
|
||||
]
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -73,5 +73,7 @@
|
||||
"examine_shape": false
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -34,5 +34,7 @@
|
||||
"dest": "registrymodifications.xcu"
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -74,5 +74,7 @@
|
||||
"examine_title_bottom_position": true
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -88,5 +88,7 @@
|
||||
"dest": "Ch4 Video Effect.pptx"
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -74,5 +74,7 @@
|
||||
"examine_right_position": true
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -32,5 +32,7 @@
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -73,5 +73,7 @@
|
||||
"examine_shape": false
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -73,5 +73,7 @@
|
||||
"examine_shape": false
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -71,5 +71,7 @@
|
||||
},
|
||||
"options": {}
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -80,5 +80,7 @@
|
||||
"dest": "lec17-gui-events.pptx"
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -69,7 +69,8 @@
|
||||
"path": "/home/user/Desktop/res.png",
|
||||
"dest": "res.png"
|
||||
}
|
||||
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -88,5 +88,7 @@
|
||||
}
|
||||
]
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -104,5 +104,7 @@
|
||||
}
|
||||
]
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -88,5 +88,7 @@
|
||||
}
|
||||
]
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -88,5 +88,7 @@
|
||||
}
|
||||
]
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -65,9 +65,9 @@
|
||||
"conj": "or",
|
||||
"expected": [
|
||||
{
|
||||
"type": "cloud_file",
|
||||
"path": "https://huggingface.co/datasets/xlangai/ubuntu_osworld_file_cache/resolve/main/libreoffice_impress/5cfb9197-e72b-454b-900e-c06b0c802b40/33_1_Gold.pptx",
|
||||
"dest": "33_1_Gold.pptx"
|
||||
"type": "cloud_file",
|
||||
"path": "https://huggingface.co/datasets/xlangai/ubuntu_osworld_file_cache/resolve/main/libreoffice_impress/5cfb9197-e72b-454b-900e-c06b0c802b40/33_1_Gold.pptx",
|
||||
"dest": "33_1_Gold.pptx"
|
||||
},
|
||||
{
|
||||
"type": "cloud_file",
|
||||
@@ -88,5 +88,7 @@
|
||||
}
|
||||
]
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -70,5 +70,7 @@
|
||||
"dest": "CPD_Background_Investigation_Process.pptx"
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -71,5 +71,7 @@
|
||||
},
|
||||
"options": {}
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -71,5 +71,7 @@
|
||||
},
|
||||
"options": {}
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -102,5 +102,7 @@
|
||||
}
|
||||
]
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -72,5 +72,7 @@
|
||||
},
|
||||
"options": {}
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -72,5 +72,7 @@
|
||||
},
|
||||
"options": {}
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -71,5 +71,7 @@
|
||||
},
|
||||
"options": {}
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -71,5 +71,7 @@
|
||||
},
|
||||
"options": {}
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -71,5 +71,7 @@
|
||||
},
|
||||
"options": {}
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -88,5 +88,7 @@
|
||||
}
|
||||
]
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -42,5 +42,7 @@
|
||||
"examine_shape": false
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -71,5 +71,7 @@
|
||||
},
|
||||
"options": {}
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -88,5 +88,7 @@
|
||||
}
|
||||
]
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -80,5 +80,7 @@
|
||||
"dest": "Writing-Outlines.pptx"
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -74,5 +74,7 @@
|
||||
"examine_shape": false
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -71,5 +71,7 @@
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -70,5 +70,7 @@
|
||||
"dest": "Forests.pptx"
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -71,14 +71,16 @@
|
||||
},
|
||||
"options": {
|
||||
"examine_alignment": false,
|
||||
"examine_font_underline": false,
|
||||
"examine_font_size": false,
|
||||
"examine_font_bold": false,
|
||||
"examine_font_italic": false,
|
||||
"examine_color_rgb": false,
|
||||
"examine_strike_through": false,
|
||||
"examine_bullets": false
|
||||
"examine_font_underline": false,
|
||||
"examine_font_size": false,
|
||||
"examine_font_bold": false,
|
||||
"examine_font_italic": false,
|
||||
"examine_color_rgb": false,
|
||||
"examine_strike_through": false,
|
||||
"examine_bullets": false
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -74,8 +74,9 @@
|
||||
"examine_font_name": false,
|
||||
"examine_shape": false,
|
||||
"examine_font_size": false
|
||||
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -139,5 +139,7 @@
|
||||
"examine_shape": false
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -82,5 +82,7 @@
|
||||
"dest": "Baseball_to_be_placed.mp3"
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -86,5 +86,7 @@
|
||||
"approximately_tolerance": 0.01
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -65,5 +65,7 @@
|
||||
"dest": "AM_Last_Page_Template.pptx"
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -88,5 +88,7 @@
|
||||
}
|
||||
]
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -74,5 +74,7 @@
|
||||
"examine_top_position": true
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -72,5 +72,7 @@
|
||||
},
|
||||
"options": {}
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -34,5 +34,7 @@
|
||||
"type": "accessibility_tree"
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -67,9 +67,9 @@
|
||||
"conj": "or",
|
||||
"expected": [
|
||||
{
|
||||
"type": "cloud_file",
|
||||
"path": "https://huggingface.co/datasets/xlangai/ubuntu_osworld_file_cache/resolve/main/libreoffice_impress/f23acfd2-c485-4b7c-a1e7-d4303ddfe864/69_4_Gold.pptx",
|
||||
"dest": "69_4_Gold.pptx"
|
||||
"type": "cloud_file",
|
||||
"path": "https://huggingface.co/datasets/xlangai/ubuntu_osworld_file_cache/resolve/main/libreoffice_impress/f23acfd2-c485-4b7c-a1e7-d4303ddfe864/69_4_Gold.pptx",
|
||||
"dest": "69_4_Gold.pptx"
|
||||
},
|
||||
{
|
||||
"type": "cloud_file",
|
||||
@@ -110,5 +110,7 @@
|
||||
}
|
||||
]
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
Reference in New Issue
Block a user