feat: standardize configuration fields across all evaluation examples
- Add `fixed_ip` field to all 369 JSON files in examples directory - Set to `true` for 8 files listed in google_chrome.json multi_apps - Set to `false` for remaining 361 files - Add `possibility_of_env_change` field to 363 JSON files missing this field - Set to "low" for newly added fields - Preserve existing values (4 medium, 2 high) for 6 files that already had this field This ensures consistent configuration schema across all evaluation examples while maintaining backward compatibility with existing settings.
This commit is contained in:
yuanmengqi
@@ -79,5 +79,7 @@
|
||||
]
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -88,5 +88,7 @@
|
||||
]
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -84,5 +84,7 @@
|
||||
]
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -79,5 +79,7 @@
|
||||
]
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -87,5 +87,7 @@
|
||||
]
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -106,5 +106,7 @@
|
||||
]
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -92,5 +92,7 @@
|
||||
]
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -83,5 +83,7 @@
|
||||
]
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -79,5 +79,7 @@
|
||||
]
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -85,5 +85,7 @@
|
||||
]
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -85,5 +85,7 @@
|
||||
]
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -75,103 +75,105 @@
|
||||
"type": "check_cell",
|
||||
"sheet_idx": "RNSheet2",
|
||||
"coordinate": "A1",
|
||||
"props": {
|
||||
"value": {
|
||||
"method": "eq",
|
||||
"ref": "Investment Summary"
|
||||
}
|
||||
}
|
||||
"props": {
|
||||
"value": {
|
||||
"method": "eq",
|
||||
"ref": "Investment Summary"
|
||||
}
|
||||
}
|
||||
},
|
||||
{
|
||||
"type": "check_cell",
|
||||
"sheet_idx": "RNSheet2",
|
||||
"coordinate": "B1",
|
||||
"props": {
|
||||
"merge": {
|
||||
"method": "eq",
|
||||
"ref": true
|
||||
}
|
||||
}
|
||||
"props": {
|
||||
"merge": {
|
||||
"method": "eq",
|
||||
"ref": true
|
||||
}
|
||||
}
|
||||
},
|
||||
{
|
||||
"type": "check_cell",
|
||||
"sheet_idx": "RNSheet2",
|
||||
"coordinate": "C1",
|
||||
"props": {
|
||||
"merge": {
|
||||
"method": "eq",
|
||||
"ref": true
|
||||
}
|
||||
}
|
||||
"props": {
|
||||
"merge": {
|
||||
"method": "eq",
|
||||
"ref": true
|
||||
}
|
||||
}
|
||||
},
|
||||
{
|
||||
"type": "check_cell",
|
||||
"sheet_idx": "RNSheet2",
|
||||
"coordinate": "D1",
|
||||
"props": {
|
||||
"merge": {
|
||||
"method": "eq",
|
||||
"ref": false
|
||||
}
|
||||
}
|
||||
"props": {
|
||||
"merge": {
|
||||
"method": "eq",
|
||||
"ref": false
|
||||
}
|
||||
}
|
||||
},
|
||||
{
|
||||
"type": "check_cell",
|
||||
"sheet_idx": "RNSheet2",
|
||||
"coordinate": "A2",
|
||||
"props": {
|
||||
"value": {
|
||||
"method": "eq",
|
||||
"ref": "High Interest Rate"
|
||||
}
|
||||
}
|
||||
"props": {
|
||||
"value": {
|
||||
"method": "eq",
|
||||
"ref": "High Interest Rate"
|
||||
}
|
||||
}
|
||||
},
|
||||
{
|
||||
"type": "check_cell",
|
||||
"sheet_idx": "RNSheet2",
|
||||
"coordinate": "B2",
|
||||
"props": {
|
||||
"merge": {
|
||||
"method": "eq",
|
||||
"ref": true
|
||||
}
|
||||
}
|
||||
"props": {
|
||||
"merge": {
|
||||
"method": "eq",
|
||||
"ref": true
|
||||
}
|
||||
}
|
||||
},
|
||||
{
|
||||
"type": "check_cell",
|
||||
"sheet_idx": "RNSheet2",
|
||||
"coordinate": "C2",
|
||||
"props": {
|
||||
"value": {
|
||||
"method": "eq",
|
||||
"ref": "Low Interest Rate"
|
||||
}
|
||||
}
|
||||
"props": {
|
||||
"value": {
|
||||
"method": "eq",
|
||||
"ref": "Low Interest Rate"
|
||||
}
|
||||
}
|
||||
},
|
||||
{
|
||||
"type": "check_cell",
|
||||
"sheet_idx": "RNSheet2",
|
||||
"coordinate": "D2",
|
||||
"props": {
|
||||
"merge": {
|
||||
"method": "eq",
|
||||
"ref": true
|
||||
}
|
||||
}
|
||||
"props": {
|
||||
"merge": {
|
||||
"method": "eq",
|
||||
"ref": true
|
||||
}
|
||||
}
|
||||
},
|
||||
{
|
||||
"type": "check_cell",
|
||||
"sheet_idx": "RNSheet2",
|
||||
"coordinate": "E2",
|
||||
"props": {
|
||||
"merge": {
|
||||
"method": "eq",
|
||||
"ref": false
|
||||
}
|
||||
}
|
||||
}
|
||||
{
|
||||
"type": "check_cell",
|
||||
"sheet_idx": "RNSheet2",
|
||||
"coordinate": "E2",
|
||||
"props": {
|
||||
"merge": {
|
||||
"method": "eq",
|
||||
"ref": false
|
||||
}
|
||||
}
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -85,5 +85,7 @@
|
||||
]
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -79,5 +79,7 @@
|
||||
]
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -87,5 +87,7 @@
|
||||
]
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -113,5 +113,7 @@
|
||||
]
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -79,5 +79,7 @@
|
||||
]
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -4,7 +4,7 @@
|
||||
"instruction": "Make sparkline charts for each order id with the data from Jan to Mar in the \"Chart\" column.",
|
||||
"source": "https://www.youtube.com/shorts/L3Z-F1QTQFY",
|
||||
"config": [
|
||||
{
|
||||
{
|
||||
"type": "download",
|
||||
"parameters": {
|
||||
"files": [
|
||||
@@ -29,5 +29,7 @@
|
||||
"evaluator": {
|
||||
"func": "infeasible"
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -108,5 +108,7 @@
|
||||
]
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -88,5 +88,7 @@
|
||||
]
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -80,5 +80,7 @@
|
||||
]
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -79,5 +79,7 @@
|
||||
]
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -87,5 +87,7 @@
|
||||
]
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -39,5 +39,7 @@
|
||||
"dest": "Export_Calc_to_CSV_gold.csv"
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -79,5 +79,7 @@
|
||||
]
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -84,5 +84,7 @@
|
||||
]
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -79,5 +79,7 @@
|
||||
]
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -79,5 +79,7 @@
|
||||
]
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -131,5 +131,7 @@
|
||||
]
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -112,5 +112,7 @@
|
||||
]
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -85,5 +85,7 @@
|
||||
]
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -79,5 +79,7 @@
|
||||
]
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -85,5 +85,7 @@
|
||||
]
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -87,5 +87,7 @@
|
||||
]
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -112,5 +112,7 @@
|
||||
]
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -79,5 +79,7 @@
|
||||
]
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -79,5 +79,7 @@
|
||||
]
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -79,5 +79,7 @@
|
||||
]
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -87,5 +87,7 @@
|
||||
]
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -112,5 +112,7 @@
|
||||
]
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -79,5 +79,7 @@
|
||||
]
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -27,33 +27,38 @@
|
||||
"libreoffice_calc"
|
||||
],
|
||||
"evaluator": {
|
||||
"func": ["check_pdf_pages", "compare_pdfs"],
|
||||
"func": [
|
||||
"check_pdf_pages",
|
||||
"compare_pdfs"
|
||||
],
|
||||
"result": [
|
||||
{
|
||||
"type": "vm_file",
|
||||
"path": "/home/user/Resize_Cells_Fit_Page.pdf",
|
||||
"dest": "Resize_Cells_Fit_Page.pdf"
|
||||
},
|
||||
{
|
||||
"type": "vm_file",
|
||||
"path": "/home/user/Resize_Cells_Fit_Page.pdf",
|
||||
"dest": "Resize_Cells_Fit_Page.pdf"
|
||||
}
|
||||
],
|
||||
{
|
||||
"type": "vm_file",
|
||||
"path": "/home/user/Resize_Cells_Fit_Page.pdf",
|
||||
"dest": "Resize_Cells_Fit_Page.pdf"
|
||||
},
|
||||
{
|
||||
"type": "vm_file",
|
||||
"path": "/home/user/Resize_Cells_Fit_Page.pdf",
|
||||
"dest": "Resize_Cells_Fit_Page.pdf"
|
||||
}
|
||||
],
|
||||
"expected": [
|
||||
{
|
||||
"type": "rule",
|
||||
"rules": {
|
||||
"relation": "eq",
|
||||
"ref_value": 1
|
||||
}
|
||||
},
|
||||
{
|
||||
"type": "cloud_file",
|
||||
"path": "https://huggingface.co/datasets/xlangai/ubuntu_osworld_file_cache/resolve/main/libreoffice_calc/aa3a8974-2e85-438b-b29e-a64df44deb4b/Resize_Cells_Fit_Page_gt.pdf",
|
||||
"dest": "Resize_Cells_Fit_Page_gt.pdf"
|
||||
}
|
||||
]
|
||||
{
|
||||
"type": "rule",
|
||||
"rules": {
|
||||
"relation": "eq",
|
||||
"ref_value": 1
|
||||
}
|
||||
},
|
||||
{
|
||||
"type": "cloud_file",
|
||||
"path": "https://huggingface.co/datasets/xlangai/ubuntu_osworld_file_cache/resolve/main/libreoffice_calc/aa3a8974-2e85-438b-b29e-a64df44deb4b/Resize_Cells_Fit_Page_gt.pdf",
|
||||
"dest": "Resize_Cells_Fit_Page_gt.pdf"
|
||||
}
|
||||
]
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -79,5 +79,7 @@
|
||||
]
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -79,5 +79,7 @@
|
||||
]
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -79,5 +79,7 @@
|
||||
]
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -106,5 +106,7 @@
|
||||
"dest": "Order_Id_Mark_Pass_Fail_gold.xlsx"
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
@@ -79,5 +79,7 @@
|
||||
]
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
"proxy": false,
|
||||
"fixed_ip": false,
|
||||
"possibility_of_env_change": "low"
|
||||
}
|
||||
Reference in New Issue
Block a user