Update asset with metadata and proper code formatting

qcri · Oct 2, 2023 · faa467d · faa467d
1 parent 44da2b6
commit faa467d
Showing 1 changed file with 13 additions and 18 deletions.
diff --git a/assets/ar/QA/ARCD_GPT4_ZeroShot.py b/assets/ar/QA/ARCD_GPT4_ZeroShot.py
@@ -1,27 +1,22 @@
-import os
-
 from llmebench.datasets import ARCDDataset
-from llmebench.models import GPTChatCompletionModel
+from llmebench.models import OpenAIModel
 from llmebench.tasks import QATask
 
 
+def metadata():
+    return {
+        "author": "Arabic Language Technologies, QCRI, HBKU",
+        "model": "gpt-4-32k (version 0314)",
+        "description": "GPT4 32k tokens model hosted on Azure, using the ChatCompletion API. API version '2023-03-15-preview'. Uses an prompt specified in Arabic.",
+        "scores": {"F1": "0.654"},
+    }
+
+
 def config():
     return {
         "dataset": ARCDDataset,
-        "dataset_args": {},
         "task": QATask,
-        "task_args": {},
-        "model": GPTChatCompletionModel,
-        "model_args": {
-            "api_type": "azure",
-            "api_version": "2023-03-15-preview",
-            "api_base": os.environ["AZURE_API_URL"],
-            "api_key": os.environ["AZURE_API_KEY"],
-            "engine_name": os.environ["ENGINE_NAME"],
-            "class_labels": "NA",
-            "max_tries": 150,
-        },
-        "general_args": {"data_path": "data/QA/arcd/arcd-test.json"},
+        "model": OpenAIModel,
     }
 
 
@@ -33,10 +28,10 @@ def prompt(input_sample):
         },
         {
             "role": "user",
-            "content": f"مهمتك هي الإجابة على الأسئلة باللغة العربية بناءً على سياق معين.\nملاحظة: يجب أن تكون إجاباتك مستخرجة من السياق المحدد دون أي اضافات.\nلست بحاجة إلى تقديم إجابة كاملة.\nالسياق: {input_sample['context']}\n السؤال: {input_sample['question']}\n الجواب:"
+            "content": f"مهمتك هي الإجابة على الأسئلة باللغة العربية بناءً على سياق معين.\nملاحظة: يجب أن تكون إجاباتك مستخرجة من السياق المحدد دون أي اضافات.\nلست بحاجة إلى تقديم إجابة كاملة.\nالسياق: {input_sample['context']}\n السؤال: {input_sample['question']}\n الجواب:",
         },
     ]
 
 
 def post_process(response):
-    return response["choices"][0]["message"]["content"]
+    return response["choices"][0]["message"]["content"]