feat: Add proxy configuration to all 369 evaluation examples - 55 with proxy, 314 without
This commit is contained in:
Timothyxxx
@@ -85,5 +85,6 @@
|
||||
"path": "https://huggingface.co/datasets/xlangai/ubuntu_osworld_file_cache/resolve/main/multi_apps/00fa164e-2612-4439-992e-157d019a8436/awe_desk_env_gt.docx",
|
||||
"dest": "awe_desk_env_gt.docx"
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -57,5 +57,6 @@
|
||||
"text": " Ls"
|
||||
}
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -44,5 +44,6 @@
|
||||
"path": "/home/user/Desktop/pic.jpg",
|
||||
"dest": "pic.jpg"
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -108,5 +108,6 @@
|
||||
"options": {
|
||||
"content_only": true
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -95,5 +95,6 @@
|
||||
"file_path": "lecture_slides",
|
||||
"file_type": "pdf"
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": true
|
||||
}
|
||||
@@ -108,5 +108,6 @@
|
||||
6
|
||||
]
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -112,5 +112,6 @@
|
||||
"ignore_case": true,
|
||||
"ignore_blanks": true
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -54,5 +54,6 @@
|
||||
"path": "/home/user/Desktop/res.txt",
|
||||
"dest": "res.txt"
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -65,5 +65,6 @@
|
||||
"path": "https://huggingface.co/datasets/xlangai/ubuntu_osworld_file_cache/resolve/main/multi_apps/227d2f97-562b-4ccb-ae47-a5ec9e142fbb/image.docx",
|
||||
"dest": "image_Gold.docx"
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -104,5 +104,6 @@
|
||||
"path": "https://huggingface.co/datasets/xlangai/ubuntu_osworld_file_cache/resolve/main/multi_apps/22a4636f-8179-4357-8e87-d1743ece1f81/gold-Meeting-Agenda.pdf",
|
||||
"dest": "gold-Meeting-Agenda.pdf"
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": true
|
||||
}
|
||||
@@ -75,5 +75,6 @@
|
||||
"ignore_case": true,
|
||||
"ignore_order": true
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": true
|
||||
}
|
||||
@@ -1,49 +1,61 @@
|
||||
{
|
||||
"id": "2373b66a-092d-44cb-bfd7-82e86e7a3b4d",
|
||||
"snapshot": "multiapps",
|
||||
"instruction": "I want to understand the resource usage of my Ubuntu system under normal workloads. Please use the `sar` command in the `sysstat` toolkit to monitor system activity, evaluate the status once every second for 30 seconds, output the results to \"System_Resources_Report.txt\" under Desktop.",
|
||||
"source": "author",
|
||||
"config": [
|
||||
{
|
||||
"type": "command",
|
||||
"parameters":{
|
||||
"command": "echo password | sudo -S apt-get update && echo password | sudo -S apt-get install sysstat",
|
||||
"shell": "true"
|
||||
}
|
||||
}
|
||||
"id": "2373b66a-092d-44cb-bfd7-82e86e7a3b4d",
|
||||
"snapshot": "multiapps",
|
||||
"instruction": "I want to understand the resource usage of my Ubuntu system under normal workloads. Please use the `sar` command in the `sysstat` toolkit to monitor system activity, evaluate the status once every second for 30 seconds, output the results to \"System_Resources_Report.txt\" under Desktop.",
|
||||
"source": "author",
|
||||
"config": [
|
||||
{
|
||||
"type": "command",
|
||||
"parameters": {
|
||||
"command": "echo password | sudo -S apt-get update && echo password | sudo -S apt-get install sysstat",
|
||||
"shell": "true"
|
||||
}
|
||||
}
|
||||
],
|
||||
"trajectory": "trajectories/",
|
||||
"related_apps": [
|
||||
"os",
|
||||
"calc"
|
||||
],
|
||||
"evaluator": {
|
||||
"func": [
|
||||
"file_contains",
|
||||
"check_line_number"
|
||||
],
|
||||
"trajectory": "trajectories/",
|
||||
"related_apps": [
|
||||
"os", "calc"
|
||||
"result": [
|
||||
{
|
||||
"type": "vm_file",
|
||||
"path": "/home/user/Desktop/System_Resources_Report.txt",
|
||||
"dest": "System_Resources_Report.txt"
|
||||
},
|
||||
{
|
||||
"type": "vm_file",
|
||||
"path": "/home/user/Desktop/System_Resources_Report.txt",
|
||||
"dest": "System_Resources_Report.txt"
|
||||
}
|
||||
],
|
||||
"evaluator": {
|
||||
"func": ["file_contains", "check_line_number"],
|
||||
"result":
|
||||
[
|
||||
{
|
||||
"type": "vm_file",
|
||||
"path": "/home/user/Desktop/System_Resources_Report.txt",
|
||||
"dest": "System_Resources_Report.txt"
|
||||
},
|
||||
{
|
||||
"type": "vm_file",
|
||||
"path": "/home/user/Desktop/System_Resources_Report.txt",
|
||||
"dest": "System_Resources_Report.txt"
|
||||
}
|
||||
],
|
||||
"expected":
|
||||
[
|
||||
{
|
||||
"type": "rule",
|
||||
"rules" :{
|
||||
"expected": ["CPU", "%user","%nice","%system", "%iowait", "%steal", "%idle"]
|
||||
}
|
||||
},
|
||||
"expected": [
|
||||
{
|
||||
"type": "rule",
|
||||
"rules": {
|
||||
"expected": "31"
|
||||
"expected": [
|
||||
"CPU",
|
||||
"%user",
|
||||
"%nice",
|
||||
"%system",
|
||||
"%iowait",
|
||||
"%steal",
|
||||
"%idle"
|
||||
]
|
||||
}
|
||||
}]
|
||||
}
|
||||
}
|
||||
},
|
||||
{
|
||||
"type": "rule",
|
||||
"rules": {
|
||||
"expected": "31"
|
||||
}
|
||||
}
|
||||
]
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -86,5 +86,6 @@
|
||||
"path": "https://huggingface.co/datasets/xlangai/ubuntu_osworld_file_cache/resolve/main/multi_apps/26150609-0da3-4a7d-8868-0faf9c5f01bb/test.py",
|
||||
"dest": "test_suite.py"
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -1,69 +1,70 @@
|
||||
{
|
||||
"id": "26660ad1-6ebb-4f59-8cba-a8432dfe8d38",
|
||||
"snapshot": "multiapps",
|
||||
"instruction": "I want to test the quality of the network environment my laptop is currently in. Please measure my network situation through speedtest.net, export the measurement results, and save them to ~/Test/Speed (if the dir does not exist, create it).",
|
||||
"source": "https://www.speedtest.net/",
|
||||
"config": [
|
||||
{
|
||||
"type": "launch",
|
||||
"parameters": {
|
||||
"command": [
|
||||
"google-chrome",
|
||||
"--remote-debugging-port=1337"
|
||||
]
|
||||
}
|
||||
},
|
||||
{
|
||||
"type": "launch",
|
||||
"parameters": {
|
||||
"command": [
|
||||
"socat",
|
||||
"tcp-listen:9222,fork",
|
||||
"tcp:localhost:1337"
|
||||
]
|
||||
}
|
||||
},
|
||||
{
|
||||
"type": "chrome_open_tabs",
|
||||
"parameters": {
|
||||
"urls_to_open": [
|
||||
"https://www.speedtest.net/"
|
||||
]
|
||||
}
|
||||
},
|
||||
{
|
||||
"type": "activate_window",
|
||||
"parameters": {
|
||||
"window_name": "Google Chrome"
|
||||
}
|
||||
},
|
||||
{
|
||||
"type": "execute",
|
||||
"parameters": {
|
||||
"command": [
|
||||
"python",
|
||||
"-c",
|
||||
"import pyautogui; import time; time.sleep(0.5);"
|
||||
]
|
||||
}
|
||||
}
|
||||
],
|
||||
"trajectory": "trajectories/",
|
||||
"related_apps":[
|
||||
"os",
|
||||
"browser"
|
||||
],
|
||||
"evaluator":{
|
||||
"func": "compare_time_in_speedtest_results",
|
||||
"result":{
|
||||
"type": "vm_file",
|
||||
"path": "/home/user/Test/Speed/Speedtest Results Export-.csv",
|
||||
"dest": "Speedtest Results Export-.csv",
|
||||
"time_suffix": true
|
||||
},
|
||||
"expected":{
|
||||
"type": "time_diff_range",
|
||||
"diff_range_in_minutes": "60"
|
||||
}
|
||||
"id": "26660ad1-6ebb-4f59-8cba-a8432dfe8d38",
|
||||
"snapshot": "multiapps",
|
||||
"instruction": "I want to test the quality of the network environment my laptop is currently in. Please measure my network situation through speedtest.net, export the measurement results, and save them to ~/Test/Speed (if the dir does not exist, create it).",
|
||||
"source": "https://www.speedtest.net/",
|
||||
"config": [
|
||||
{
|
||||
"type": "launch",
|
||||
"parameters": {
|
||||
"command": [
|
||||
"google-chrome",
|
||||
"--remote-debugging-port=1337"
|
||||
]
|
||||
}
|
||||
},
|
||||
{
|
||||
"type": "launch",
|
||||
"parameters": {
|
||||
"command": [
|
||||
"socat",
|
||||
"tcp-listen:9222,fork",
|
||||
"tcp:localhost:1337"
|
||||
]
|
||||
}
|
||||
},
|
||||
{
|
||||
"type": "chrome_open_tabs",
|
||||
"parameters": {
|
||||
"urls_to_open": [
|
||||
"https://www.speedtest.net/"
|
||||
]
|
||||
}
|
||||
},
|
||||
{
|
||||
"type": "activate_window",
|
||||
"parameters": {
|
||||
"window_name": "Google Chrome"
|
||||
}
|
||||
},
|
||||
{
|
||||
"type": "execute",
|
||||
"parameters": {
|
||||
"command": [
|
||||
"python",
|
||||
"-c",
|
||||
"import pyautogui; import time; time.sleep(0.5);"
|
||||
]
|
||||
}
|
||||
}
|
||||
],
|
||||
"trajectory": "trajectories/",
|
||||
"related_apps": [
|
||||
"os",
|
||||
"browser"
|
||||
],
|
||||
"evaluator": {
|
||||
"func": "compare_time_in_speedtest_results",
|
||||
"result": {
|
||||
"type": "vm_file",
|
||||
"path": "/home/user/Test/Speed/Speedtest Results Export-.csv",
|
||||
"dest": "Speedtest Results Export-.csv",
|
||||
"time_suffix": true
|
||||
},
|
||||
"expected": {
|
||||
"type": "time_diff_range",
|
||||
"diff_range_in_minutes": "60"
|
||||
}
|
||||
},
|
||||
"proxy": true
|
||||
}
|
||||
@@ -79,5 +79,6 @@
|
||||
]
|
||||
}
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -129,5 +129,6 @@
|
||||
"content_only": true,
|
||||
"reference_base_result": 0.93
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -67,5 +67,6 @@
|
||||
]
|
||||
}
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -49,5 +49,6 @@
|
||||
"path": "https://huggingface.co/datasets/xlangai/ubuntu_osworld_file_cache/resolve/main/multi_apps/2fe4b718-3bd7-46ec-bdce-b184f5653624/src_clip.gif",
|
||||
"dest": "src_clip_gold.gif"
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -45,5 +45,6 @@
|
||||
"path": "https://huggingface.co/datasets/xlangai/ubuntu_osworld_file_cache/resolve/main/multi_apps/337d318b-aa07-4f4f-b763-89d9a2dd013f/Invoice # 243729.pdf",
|
||||
"dest": "Invoice # 243729 Gold.pdf"
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -60,5 +60,6 @@
|
||||
]
|
||||
}
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -67,5 +67,6 @@
|
||||
"dest": "output_gold.csv"
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -165,5 +165,6 @@
|
||||
}
|
||||
],
|
||||
"conj": "or"
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -33,5 +33,6 @@
|
||||
"max_size": 600000
|
||||
}
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -79,5 +79,6 @@
|
||||
}
|
||||
]
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": true
|
||||
}
|
||||
@@ -265,5 +265,6 @@
|
||||
}
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
"proxy": true
|
||||
}
|
||||
@@ -200,5 +200,6 @@
|
||||
},
|
||||
{}
|
||||
]
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -155,5 +155,6 @@
|
||||
"path": "https://huggingface.co/datasets/xlangai/ubuntu_osworld_file_cache/resolve/main/multi_apps/42d25c08-fb87-4927-8b65-93631280a26f/Pass Through.epub",
|
||||
"dest": "Pass Through Gold.epub"
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": true
|
||||
}
|
||||
@@ -67,5 +67,6 @@
|
||||
}
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -137,5 +137,6 @@
|
||||
2
|
||||
]
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": true
|
||||
}
|
||||
@@ -91,5 +91,6 @@
|
||||
"path": "https://huggingface.co/datasets/xlangai/ubuntu_osworld_file_cache/resolve/main/multi_apps/47f7c0ce-a5fb-4100-a5e6-65cd0e7429e5/landscape.png",
|
||||
"dest": "gold_landscape.png"
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -160,5 +160,6 @@
|
||||
}
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -58,5 +58,6 @@
|
||||
"expected": "packages in environment at"
|
||||
}
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -40,5 +40,6 @@
|
||||
"path": "https://huggingface.co/datasets/xlangai/ubuntu_osworld_file_cache/resolve/main/multi_apps/4c26e3f3-3a14-4d86-b44a-d3cedebbb487/back.png",
|
||||
"dest": "image_original.png"
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -88,5 +88,6 @@
|
||||
}
|
||||
]
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": true
|
||||
}
|
||||
@@ -112,5 +112,6 @@
|
||||
}
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -42,5 +42,6 @@
|
||||
"options": {
|
||||
"ignore_blanks": true
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -87,5 +87,6 @@
|
||||
]
|
||||
}
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": true
|
||||
}
|
||||
@@ -103,5 +103,6 @@
|
||||
"type": "list",
|
||||
"ignore_case": true
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -66,5 +66,6 @@
|
||||
"options": {
|
||||
"ignore_blanks": false
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -73,5 +73,6 @@
|
||||
"options": {
|
||||
"file_type": "pdf"
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -106,5 +106,6 @@
|
||||
}
|
||||
]
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": true
|
||||
}
|
||||
@@ -81,5 +81,6 @@
|
||||
"dest": "ans.docx"
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -49,5 +49,6 @@
|
||||
]
|
||||
}
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -1,18 +1,18 @@
|
||||
{
|
||||
"id": "6d72aad6-187a-4392-a4c4-ed87269c51cf",
|
||||
"snapshot": "libreoffice_calc",
|
||||
"instruction": "Could you please converting OpenOffice Impress presentation to video and play it with VLC?",
|
||||
"source": "https://superuser.com/questions/923171/converting-openoffice-impress-presentation-to-video-without-screen-recording",
|
||||
"config": [
|
||||
],
|
||||
"trajectory": "trajectories/6d72aad6-187a-4392-a4c4-ed87269c51cf",
|
||||
"related_apps": [
|
||||
"libreoffice_calc",
|
||||
"libreoffice_impress",
|
||||
"libreoffice_writer",
|
||||
"vlc"
|
||||
],
|
||||
"evaluator": {
|
||||
"func": "infeasible"
|
||||
}
|
||||
}
|
||||
"id": "6d72aad6-187a-4392-a4c4-ed87269c51cf",
|
||||
"snapshot": "libreoffice_calc",
|
||||
"instruction": "Could you please converting OpenOffice Impress presentation to video and play it with VLC?",
|
||||
"source": "https://superuser.com/questions/923171/converting-openoffice-impress-presentation-to-video-without-screen-recording",
|
||||
"config": [],
|
||||
"trajectory": "trajectories/6d72aad6-187a-4392-a4c4-ed87269c51cf",
|
||||
"related_apps": [
|
||||
"libreoffice_calc",
|
||||
"libreoffice_impress",
|
||||
"libreoffice_writer",
|
||||
"vlc"
|
||||
],
|
||||
"evaluator": {
|
||||
"func": "infeasible"
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -105,5 +105,6 @@
|
||||
"path": "/home/user/Desktop/ConferenceCity.xlsx",
|
||||
"dest": "ConferenceCity.xlsx"
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -48,5 +48,6 @@
|
||||
"expected": "/home/user/Data3/List3/secret.docx"
|
||||
}
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -170,5 +170,6 @@
|
||||
"dest": "script.js"
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
"proxy": true
|
||||
}
|
||||
@@ -85,5 +85,6 @@
|
||||
"path": "https://huggingface.co/datasets/xlangai/ubuntu_osworld_file_cache/resolve/main/multi_apps/778efd0a-153f-4842-9214-f05fc176b877/planet.wav",
|
||||
"dest": "gold_planet.wav"
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -110,5 +110,6 @@
|
||||
"path": "https://huggingface.co/datasets/xlangai/ubuntu_osworld_file_cache/resolve/main/multi_apps/788b3701-3ec9-4b67-b679-418bfa726c22/æ©æ建ç群.tex",
|
||||
"dest": "real.tex"
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -175,5 +175,6 @@
|
||||
},
|
||||
{}
|
||||
]
|
||||
}
|
||||
},
|
||||
"proxy": true
|
||||
}
|
||||
@@ -154,5 +154,6 @@
|
||||
}
|
||||
]
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -39,5 +39,6 @@
|
||||
"path": "https://huggingface.co/datasets/xlangai/ubuntu_osworld_file_cache/resolve/main/multi_apps/7f35355e-02a6-45b5-b140-f0be698bcf85/result_gold.txt",
|
||||
"dest": "result_gold.txt"
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -98,5 +98,6 @@
|
||||
]
|
||||
}
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -65,5 +65,6 @@
|
||||
"path": "https://huggingface.co/datasets/xlangai/ubuntu_osworld_file_cache/resolve/main/multi_apps/81c425f5-78f3-4771-afd6-3d2973825947/price.docx",
|
||||
"dest": "price_Gold.docx"
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -108,5 +108,6 @@
|
||||
],
|
||||
"multi": "true"
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -164,5 +164,6 @@
|
||||
}
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -70,5 +70,6 @@
|
||||
"result": {
|
||||
"type": "find_installed_extension_name"
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -182,5 +182,6 @@
|
||||
}
|
||||
]
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -95,5 +95,6 @@
|
||||
"path": "https://huggingface.co/datasets/xlangai/ubuntu_osworld_file_cache/resolve/main/multi_apps/897e3b53-5d4d-444b-85cb-2cdc8a97d903/form_gold.pdf",
|
||||
"dest": "form_gold.pdf"
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": true
|
||||
}
|
||||
@@ -43,5 +43,6 @@
|
||||
"path": "/home/user/Recruitment_and_retention_of_health_professionals_across_Europe.zip",
|
||||
"dest": "Recruitment_and_retention_of_health_professionals_across_Europe.zip"
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -237,5 +237,6 @@
|
||||
}
|
||||
]
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -43,5 +43,6 @@
|
||||
"path": "https://huggingface.co/datasets/xlangai/ubuntu_osworld_file_cache/resolve/main/multi_apps/91190194-f406-4cd6-b3f9-c43fac942b22/cropped_gold.png",
|
||||
"dest": "cropped_gold.png"
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -76,5 +76,6 @@
|
||||
"path": "https://huggingface.co/datasets/xlangai/ubuntu_osworld_file_cache/resolve/main/multi_apps/9219480b-3aed-47fc-8bac-d2cffc5849f7/test.py",
|
||||
"dest": "test_suite.py"
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -1,26 +1,27 @@
|
||||
{
|
||||
"id": "937087b6-f668-4ba6-9110-60682ee33441",
|
||||
"snapshot": "vlc",
|
||||
"instruction": "I am currently using a ubuntu system. Could you help me set the default video player as VLC?",
|
||||
"source": "https://superuser.com/questions/187440/set-default-ubuntu-video-player-as-vlc",
|
||||
"config": [],
|
||||
"trajectory": "trajectories/",
|
||||
"related_apps": [
|
||||
"vlc",
|
||||
"os"
|
||||
],
|
||||
"evaluator": {
|
||||
"func": "check_include_exclude",
|
||||
"result": {
|
||||
"type": "default_video_player"
|
||||
},
|
||||
"expected": {
|
||||
"type": "rule",
|
||||
"rules": {
|
||||
"include": [
|
||||
"vlc.desktop"
|
||||
]
|
||||
}
|
||||
}
|
||||
"id": "937087b6-f668-4ba6-9110-60682ee33441",
|
||||
"snapshot": "vlc",
|
||||
"instruction": "I am currently using a ubuntu system. Could you help me set the default video player as VLC?",
|
||||
"source": "https://superuser.com/questions/187440/set-default-ubuntu-video-player-as-vlc",
|
||||
"config": [],
|
||||
"trajectory": "trajectories/",
|
||||
"related_apps": [
|
||||
"vlc",
|
||||
"os"
|
||||
],
|
||||
"evaluator": {
|
||||
"func": "check_include_exclude",
|
||||
"result": {
|
||||
"type": "default_video_player"
|
||||
},
|
||||
"expected": {
|
||||
"type": "rule",
|
||||
"rules": {
|
||||
"include": [
|
||||
"vlc.desktop"
|
||||
]
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -50,5 +50,6 @@
|
||||
"path": "https://huggingface.co/datasets/xlangai/ubuntu_osworld_file_cache/resolve/main/multi_apps/98e8e339-5f91-4ed2-b2b2-12647cb134f4/concat_gold.docx",
|
||||
"dest": "concat_gold.docx"
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -78,5 +78,6 @@
|
||||
"expected": "true\n"
|
||||
}
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -130,5 +130,6 @@
|
||||
1
|
||||
]
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": true
|
||||
}
|
||||
@@ -34,5 +34,6 @@
|
||||
"path": "/home/user/Desktop/receipt.pdf",
|
||||
"dest": "receipt.pdf"
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -58,5 +58,6 @@
|
||||
"expected": "/home/user/Desktop/helloExtension"
|
||||
}
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -102,5 +102,6 @@
|
||||
]
|
||||
}
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -66,5 +66,6 @@
|
||||
"path": "/home/user/Desktop/notes.docx",
|
||||
"dest": "notes.docx"
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -50,5 +50,6 @@
|
||||
"path": "/home/user/log.txt",
|
||||
"dest": "log.txt"
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -82,5 +82,6 @@
|
||||
}
|
||||
]
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -81,5 +81,6 @@
|
||||
"exclude": []
|
||||
}
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -114,5 +114,6 @@
|
||||
}
|
||||
]
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -109,5 +109,6 @@
|
||||
"path": "https://huggingface.co/datasets/xlangai/ubuntu_osworld_file_cache/resolve/main/multi_apps/b52b40a5-ad70-4c53-b5b0-5650a8387052/attachment_full.pdf",
|
||||
"dest": "attachment_full_gold.pdf"
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": true
|
||||
}
|
||||
@@ -65,5 +65,6 @@
|
||||
"path": "https://huggingface.co/datasets/xlangai/ubuntu_osworld_file_cache/resolve/main/multi_apps/bb83cab4-e5c7-42c7-a67b-e46068032b86/script.docx",
|
||||
"dest": "script_Gold.docx"
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -121,5 +121,6 @@
|
||||
}
|
||||
]
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -57,5 +57,6 @@
|
||||
"options": {
|
||||
"reference_base_result": 0.54
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -98,5 +98,6 @@
|
||||
}
|
||||
]
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -94,5 +94,6 @@
|
||||
]
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -84,5 +84,6 @@
|
||||
"expect_in_result": true
|
||||
}
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -138,5 +138,6 @@
|
||||
}
|
||||
]
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -43,5 +43,6 @@
|
||||
"path": "https://huggingface.co/datasets/xlangai/ubuntu_osworld_file_cache/resolve/main/multi_apps/d68204bf-11c1-4b13-b48b-d303c73d4bf6/rearranged_gold.png",
|
||||
"dest": "rearranged_gold.png"
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -64,5 +64,6 @@
|
||||
}
|
||||
]
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -69,5 +69,6 @@
|
||||
"path": "/home/user/Desktop/book_list_result.docx",
|
||||
"dest": "book_list_result.docx"
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -71,5 +71,6 @@
|
||||
"expected": "[1, 1]\n"
|
||||
}
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": true
|
||||
}
|
||||
@@ -50,5 +50,6 @@
|
||||
"path": "https://huggingface.co/datasets/xlangai/ubuntu_osworld_file_cache/resolve/main/multi_apps/dd60633f-2c72-42ba-8547-6f2c8cb0fdb0/Colab Gold.py",
|
||||
"dest": "colab_Gold.py"
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": true
|
||||
}
|
||||
@@ -97,5 +97,6 @@
|
||||
}
|
||||
]
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -91,5 +91,6 @@
|
||||
"options": {
|
||||
"ignore_blanks": true
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": true
|
||||
}
|
||||
@@ -90,5 +90,6 @@
|
||||
"dest": "annual-enterprise-survey-2021-financial-year-provisional_gold.html"
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
"proxy": true
|
||||
}
|
||||
@@ -7,30 +7,49 @@
|
||||
{
|
||||
"type": "launch",
|
||||
"parameters": {
|
||||
"command": ["libreoffice", "--writer"]
|
||||
"command": [
|
||||
"libreoffice",
|
||||
"--writer"
|
||||
]
|
||||
}
|
||||
}
|
||||
],
|
||||
"trajectory": "trajectories/e1fc0df3-c8b9-4ee7-864c-d0b590d3aa56",
|
||||
"related_apps": ["chrome", "libreoffice", "os"],
|
||||
"related_apps": [
|
||||
"chrome",
|
||||
"libreoffice",
|
||||
"os"
|
||||
],
|
||||
"evaluator": {
|
||||
"postconfig": [
|
||||
{
|
||||
"type": "command",
|
||||
"parameters": {
|
||||
"command": ["grep", "-nHr", "languagetool", "/home/user/.config/libreoffice/4/user/uno_packages/cache/uno_packages/"],
|
||||
"command": [
|
||||
"grep",
|
||||
"-nHr",
|
||||
"languagetool",
|
||||
"/home/user/.config/libreoffice/4/user/uno_packages/cache/uno_packages/"
|
||||
],
|
||||
"stdout": "grep.out"
|
||||
}
|
||||
},
|
||||
{
|
||||
"type": "command",
|
||||
"parameters": {
|
||||
"command": ["apt", "list", "--installed"],
|
||||
"command": [
|
||||
"apt",
|
||||
"list",
|
||||
"--installed"
|
||||
],
|
||||
"stdout": "apt.out"
|
||||
}
|
||||
}
|
||||
],
|
||||
"func": ["check_list", "check_list"],
|
||||
"func": [
|
||||
"check_list",
|
||||
"check_list"
|
||||
],
|
||||
"result": [
|
||||
{
|
||||
"type": "cache_file",
|
||||
@@ -45,15 +64,20 @@
|
||||
{
|
||||
"type": "rule",
|
||||
"rules": {
|
||||
"expect": ["org\\.openoffice\\.languagetool\\.oxt"]
|
||||
"expect": [
|
||||
"org\\.openoffice\\.languagetool\\.oxt"
|
||||
]
|
||||
}
|
||||
},
|
||||
{
|
||||
"type": "rule",
|
||||
"rules": {
|
||||
"expect": ["openjdk-\\d+-(jre|jdk)"]
|
||||
"expect": [
|
||||
"openjdk-\\d+-(jre|jdk)"
|
||||
]
|
||||
}
|
||||
}
|
||||
]
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -123,5 +123,6 @@
|
||||
"path": "/home/user/Code/Website/academicpages.github.io/_config.yml",
|
||||
"dest": "_config.yaml"
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": true
|
||||
}
|
||||
@@ -63,5 +63,6 @@
|
||||
"dest": "character_no_background_gold.png"
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -78,5 +78,6 @@
|
||||
"examine_shape": false,
|
||||
"examine_bullets": false
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -91,5 +91,6 @@
|
||||
"dest": "file_example_ODS_5000_gold.csv"
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -108,5 +108,6 @@
|
||||
}
|
||||
]
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -114,5 +114,6 @@
|
||||
"file_type": "pdf"
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -5,13 +5,21 @@
|
||||
"source": "https://itsfoss.com/install-switch-themes-gnome-shell",
|
||||
"config": [],
|
||||
"trajectory": "trajectories/f8369178-fafe-40c2-adc4-b9b08a125456",
|
||||
"related_apps": ["chrome", "os"],
|
||||
"related_apps": [
|
||||
"chrome",
|
||||
"os"
|
||||
],
|
||||
"evaluator": {
|
||||
"postconfig": [
|
||||
{
|
||||
"type": "execute",
|
||||
"parameters": {
|
||||
"command": ["gsettings", "get", "org.gnome.desktop.interface", "gtk-theme"],
|
||||
"command": [
|
||||
"gsettings",
|
||||
"get",
|
||||
"org.gnome.desktop.interface",
|
||||
"gtk-theme"
|
||||
],
|
||||
"stdout": "gsettings.out"
|
||||
}
|
||||
}
|
||||
@@ -24,8 +32,11 @@
|
||||
"expected": {
|
||||
"type": "rule",
|
||||
"rules": {
|
||||
"expect": ["Orchis"]
|
||||
"expect": [
|
||||
"Orchis"
|
||||
]
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": false
|
||||
}
|
||||
@@ -69,5 +69,6 @@
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
},
|
||||
"proxy": true
|
||||
}
|
||||
Some files were not shown because too many files have changed in this diff Show More
Reference in New Issue
Block a user