From b10f6176659761fa174316c7aef326f1695a9373 Mon Sep 17 00:00:00 2001 From: Ahnjj_DEV Date: Sun, 29 Sep 2024 22:12:47 +0900 Subject: [PATCH 01/23] Update _toctree.yml --- notebooks/ko/_toctree.yml | 8 +++++++- 1 file changed, 7 insertions(+), 1 deletion(-) diff --git a/notebooks/ko/_toctree.yml b/notebooks/ko/_toctree.yml index 2a890b6c..f7c07f0c 100644 --- a/notebooks/ko/_toctree.yml +++ b/notebooks/ko/_toctree.yml @@ -8,4 +8,10 @@ isExpanded: false sections: - local: advanced_ko_rag - title: 한국어로 Advanced RAG 구현하기 - Hugging Face와 LangChain을 활용한 Cookbook \ No newline at end of file + title: 한국어로 Advanced RAG 구현하기 - Hugging Face와 LangChain을 활용한 Cookbook + + - title: 데이터분석 에이전트 + isExpanded: false + sections: + - local: agent_data_analyst + title: 데이터 분석 에이전트: 눈깜짝할 사이에 데이터에서 인사이트 얻기 From 860305c66fc07cf8c97aa559683a7ed6340c4224 Mon Sep 17 00:00:00 2001 From: Ahnjj_DEV Date: Sun, 29 Sep 2024 22:23:23 +0900 Subject: [PATCH 02/23] feat: nmt draft --- notebooks/ko/ko_agent_data_analyst.ipynb | 1382 ++++++++++++++++++++++ 1 file changed, 1382 insertions(+) create mode 100644 notebooks/ko/ko_agent_data_analyst.ipynb diff --git a/notebooks/ko/ko_agent_data_analyst.ipynb b/notebooks/ko/ko_agent_data_analyst.ipynb new file mode 100644 index 00000000..00f108e2 --- /dev/null +++ b/notebooks/ko/ko_agent_data_analyst.ipynb @@ -0,0 +1,1382 @@ +{ + "cells": [ + { + "cell_type": "markdown", + "source": [ + "# 데이터분석 에이전트: 눈깜짝할 사이에 데이터에서 인사이트 얻기 ✨\n", + "_저자: [Aymeric Roucher](https://huggingface.co/m-ric)_\n", + "\n", + "> 이 튜토리얼은 고급 과정입니다. 먼저 [이 쿡북](agents)에 대한 개념을 이해하고 있어야 합니다!\n", + "\n", + "\n", + "이번 쿡북에서 만들 **데이터 분석 에이전트** 는 :\n", + " **데이터 분석 라이브러리를 사용한 코드 에이전트로,데이터로부터 인사이트를 도출하기 위해 데이터프레임을 불러오고 변환하며, 결과를 시각화합니다!**\n", + "\n", + "\n", + "예를 들어 여러분이 '[Kaggle Titanic 챌린지](https://www.kaggle.com/competitions/titanic)'의 데이터를 직접 분석해 개별 승객의 생존 여부를 예측하고 싶다고 가정해 봅시다.\n", + "하지만 직접 분석에 들어가기 전에, 자율 에이전트가 추세를 추출해주고 수치 몇 가지를 그려 인사이트를 발견해 분석을 준비해주기를 원합니다.\n", + "\n", + "이 시스템을 설정해 보겠습니다.\n", + "\n", + "아래 명령어를 실행하여 필요한 의존성을 설치하세요:" + ], + "metadata": { + "id": "ihQ3c6IWDa6G" + } + }, + { + "cell_type": "code", + "execution_count": 2, + "metadata": { + "id": "0WauABimpjta" + }, + "outputs": [], + "source": [ + "!pip install seaborn \"transformers[agents]\"" + ] + }, + { + "cell_type": "markdown", + "metadata": { + "id": "4LJXMiy3pjtb" + }, + "source": [ + "우선 에이전트를 생성합니다. 이 쿡북에서는 `ReactCodeAgent`를 사용했습니다. (더 많은 종류의 에이전트를 확인하려면 [이 문서](https://huggingface.co/docs/transformers/en/agents) 를 참조하세요.)\n", + "이 에이전트는 별도의 도구를 제공하지 않아도 스스로 코드를 실행할 수 있습니다.\n", + "\n", + "일반적으로 `additional_authorized_imports`에 라이브러리를 전달할 때, 파이썬 인터프리터는 환경에 설치된 라이브러리만 사용할 수 있기 때문에, 해당 라이브러리들이 로컬 환경에 설치되어 있는지 확인해야 합니다.\n", + "\n", + "\n", + "⚙ 해당 에이전트는 [meta-llama/Meta-Llama-3.1-70B-Instruct](https://huggingface.co/meta-llama/Meta-Llama-3.1-70B-Instruct) 모델을 사용하며, HF의 Inference API를 사용하는 `HfEngine` 클래스로 구동됩니다. Inference API를 통해 빠르고 쉽게 OS 모델을 실행할 수 있습니다." + ] + }, + { + "cell_type": "code", + "execution_count": 10, + "metadata": { + "id": "XPrHXQgFpjtb", + "outputId": "297ca99a-2d08-4ee4-b4ea-e7bfe37929d0", + "colab": { + "base_uri": "https://localhost:8080/", + "height": 145, + "referenced_widgets": [ + "38fa8b4fa3944d23b2d8eda25b16a5f9", + "475a8232ed7a4fb3a796d2d12b210fc9", + "46f71ce2028a4f9e80caab49747ecbee", + "670fcb115bc84bbdbe841f9a9e8f7e41", + "5282fffc65a848eaa86bbff88e6564aa", + "80be551e17cb47988debe26c9aec2384", + "ed0780c388844699bdbb2e435ef5190b", + "e1dfde4e36584f73a4ee42f213d87174", + "aba66871b1b0412d941172272ce51d23", + "d2e4bafa97cf4cadb0cccb9ce9101a50", + "79a67b49bbcf42e58ebb8b379df18a0b", + "8f675b0d986346d0b483338855396148", + "2e31434a8b2b4a65b613a91ead19d356", + "f125fa1fa88c40828a2ddb5114073bd2", + "74088ded4ba44402b5682b10e8e999a2", + "803311125a444cac84373336641b52de", + "33e1fda524b54aa4a8a3fb000d8539a8", + "2de7a9a97c4e4286b4781816510df846", + "eff567785fa44d5e96adff396be56281", + "b65f3953d6324668953f1593e0c14730", + "4c42effc89b5470fbf8e3c238ad07266", + "fbaf43825f694399b3779640c9a3b6af", + "d5994e087d074e0cb155f6b3607f100d", + "3ea6cf0074854f9bbcfa42e532784b76", + "85c817231fda424a84352914bde906b0", + "28c6dda801c14fa0a1c7d2ccfb8e25a5", + "f6497b8069c246339b67f7b14d1ae7c7", + "17ad064d85ab40ef9008e5600d0c5e3f", + "87fff40c9394414c9c93f31151137ab7", + "98f0b669c36c47069bcf35fd17bb28cc", + "e1d56e00ca5849ed9420930df8ac2aed", + "52891fca852246989e5ee757f502824e" + ] + } + }, + "outputs": [ + { + "output_type": "display_data", + "data": { + "text/plain": [ + "VBox(children=(HTML(value='
\u001b[0m in \u001b[0;36m\u001b[0;34m()\u001b[0m\n\u001b[1;32m 19\u001b[0m \"\"\"\n\u001b[1;32m 20\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m---> 21\u001b[0;31m analysis = agent.run(\n\u001b[0m\u001b[1;32m 22\u001b[0m \"\"\"당신은 데이터 분석 전문가입니다. 소스 파일을 로드하고 내용을 분석하세요. 아래 세가지 행동을 취해주세요. \n\u001b[1;32m 23\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n", + "\u001b[0;31mNameError\u001b[0m: name 'agent' is not defined" + ] + } + ], + "source": [ + "additional_notes = \"\"\"\n", + "### Variable Notes\n", + "PassengerId : 승객 아이디\n", + "Survived : 생존여부 (0: 사망, 1: 생존)\n", + "pclass: 사회경제적 지위(SES)의 대리 변수\n", + "1 = 상류층\n", + "2 = 중산층\n", + "3 = 하류층\n", + "Sex : 성별 (male: 남성, female: 여성)\n", + "age: 나이(Age)가 1 미만일 경우 소수로 표시됩니다. 나이가 추정된 경우, xx.5 형태로 표시됩니다.\n", + "sibsp: 이 데이터셋은 가족 관계를 다음과 같이 정의합니다...\n", + "형제 = 형제, 자매, 이복형제, 이복자매\n", + "배우자 = 남편, 아내 (애인과 약혼자는 간주하지 않았습니다.)\n", + "parch: 이 데이터셋은 가족 관계를 다음과 같이 정의합니다...\n", + "부모 = 어머니, 아버지\n", + "자녀 = 딸, 아들, 양녀, 양자\n", + "유모와 여행을 온 몇 어린이들의 경우, parch=0 로 표현합니다.\n", + "Fare: 티켓 요금\n", + "\"\"\"\n", + "\n", + "analysis = agent.run(\n", + " \"\"\"당신은 데이터 분석 전문가입니다. 소스 파일을 로드하고 내용을 분석하세요. 아래 세가지 행동을 취해주세요.\n", + "\n", + "첫번째, 주어진 변수를 바탕으로 데이터에서 흥미로운 질문 3개를 선정하고, 각각 답해보세요. 예를 들어, survival rate(생존율)과의 특정 상관관계에 관한 질문을 만들 수 있습니다. (질문은 반드시 최소한 3개의 번호가 매겨진 상세한 항목)\n", + "두번째, 3가지 질문과 관련된 figures를 그리세요. matplotlib/seaborn을 사용해 './figures/' 폴더에 저장하세요. 각 그림을 그리기 전에 plt.clf()로 그림을 지워주세요.\n", + "세번째, 위의 답변에서 구한 상관관계와 경향을 요약하세요. 각 숫자에서 실생활 인사이트를 도출하세요. 예를 들어, \"is_december와 boredness의 상관관계는 1.3453이며, 이는 겨울철에 사람들이 더 지루해진다는 것을 시사합니다\"와 같은 식으로요.\n", + "\"\"\",\n", + " additional_notes=additional_notes,\n", + " source_file=\"titanic/train.csv\",\n", + ")" + ] + }, + { + "cell_type": "code", + "execution_count": 17, + "metadata": { + "outputId": "4e259705-b542-4129-f7ea-08ac78566bb1", + "colab": { + "base_uri": "https://localhost:8080/" + }, + "id": "8hA-jMsePGQF" + }, + "outputs": [ + { + "output_type": "stream", + "name": "stdout", + "text": [ + "타이타닉 데이터 세트 분석 결과, 사회경제적 지위와 성별의 생존율에 미치는 영향을 분석 Mayer muchos이 있습니다.\n" + ] + } + ], + "source": [ + "print(analysis)" + ] + }, + { + "cell_type": "markdown", + "metadata": { + "id": "hcT-BISRpjtd" + }, + "source": [ + "놀랍지 않나요? 에이전트에게 시각화 도구를 제공해 자신이 만든 그래프를 분석하게 할 수도 있습니다!\n", + "\n", + "## 데이터과학자 에이전트 : 예측을 실행해보자 🛠️\n", + "\n", + "👉 이제 더 깊이 들어가 봅시다: **데이터를 기반으로 모델이 예측을 수행하도록 합니다.**\n", + "\n", + "예측 수행을 위해 `additional_authorized_imports`에 `sklearn`도 추가해줍니다." + ] + }, + { + "cell_type": "code", + "execution_count": 1, + "metadata": { + "id": "1qSXRraDpjtd", + "outputId": "25afdf3e-8ec7-4de7-e2a1-9d7253b5f4af", + "colab": { + "base_uri": "https://localhost:8080/", + "height": 216 + } + }, + "outputs": [ + { + "output_type": "error", + "ename": "NameError", + "evalue": "name 'ReactCodeAgent' is not defined", + "traceback": [ + "\u001b[0;31m---------------------------------------------------------------------------\u001b[0m", + "\u001b[0;31mNameError\u001b[0m Traceback (most recent call last)", + "\u001b[0;32m\u001b[0m in \u001b[0;36m\u001b[0;34m()\u001b[0m\n\u001b[0;32m----> 1\u001b[0;31m agent = ReactCodeAgent(\n\u001b[0m\u001b[1;32m 2\u001b[0m \u001b[0mtools\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0;34m[\u001b[0m\u001b[0;34m]\u001b[0m\u001b[0;34m,\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m 3\u001b[0m \u001b[0mllm_engine\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0mllm_engine\u001b[0m\u001b[0;34m,\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m 4\u001b[0m additional_authorized_imports=[\n\u001b[1;32m 5\u001b[0m \u001b[0;34m\"numpy\"\u001b[0m\u001b[0;34m,\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n", + "\u001b[0;31mNameError\u001b[0m: name 'ReactCodeAgent' is not defined" + ] + } + ], + "source": [ + "agent = ReactCodeAgent(\n", + " tools=[],\n", + " llm_engine=llm_engine,\n", + " additional_authorized_imports=[\n", + " \"numpy\",\n", + " \"pandas\",\n", + " \"matplotlib.pyplot\",\n", + " \"seaborn\",\n", + " \"sklearn\",\n", + " ],\n", + " max_iterations=12,\n", + ")\n", + "\n", + "output = agent.run(\n", + " \"\"\"당신은 전문가 수준의 머신러닝 엔지니어입니다.\n", + "'titanic/train.csv' 파일을 사용하여 생존 여부를 예측하는 머신러닝 모델을 학습시키세요.\n", + "'titanic/test.csv' 파일의 행에 대한 예측을 수행한 후, 결과를 './output.csv'에 출력하세요.\n", + "함수와 모듈을 사용하기 전에 반드시 임포트하세요!\n", + "\"\"\",\n", + " additional_notes=additional_notes + \"\\n\" + analysis,\n", + ")" + ] + }, + { + "cell_type": "markdown", + "metadata": { + "id": "Iimn7AWtpjtd" + }, + "source": [ + "위에서 에이전트가 출력한 테스트 예측을 Kaggle에 제출하면 **0.78229**으로, 이는 17,360명 중 2824등에 해당하며, 저자가 몇 년 전 이 데이터분석 챌린지를 처음 시도해 힘들게 얻었던 결과보다 더 나은 성과입니다.\n", + "\n", + "결과는 다를 수 있지만, 몇 초 만에 에이전트를 사용해 이 정도 성과를 낼 수 있다는 점이 매우 인상적입니다.\n", + "\n", + "🚀 위 시도는 에이전트를 활용한 단순한 데이터 분석 사례일 뿐입니다. 사용 사례에 맞게 충분히 개선할 수 있습니다!" + ] + }, + { + "cell_type": "code", + "source": [], + "metadata": { + "id": "7Qnz16z1feCf" + }, + "execution_count": null, + "outputs": [] + } + ], + "metadata": { + "kernelspec": { + "display_name": "disposable", + "language": "python", + "name": "python3" + }, + "language_info": { + "codemirror_mode": { + "name": "ipython", + "version": 3 + }, + "file_extension": ".py", + "mimetype": "text/x-python", + "name": "python", + "nbconvert_exporter": "python", + "pygments_lexer": "ipython3", + "version": "3.12.2" + }, + "colab": { + "provenance": [] + }, + "widgets": { + "application/vnd.jupyter.widget-state+json": { + "38fa8b4fa3944d23b2d8eda25b16a5f9": { + "model_module": "@jupyter-widgets/controls", + "model_name": "VBoxModel", + "model_module_version": "1.5.0", + "state": { + "_dom_classes": [], + "_model_module": "@jupyter-widgets/controls", + "_model_module_version": "1.5.0", + "_model_name": "VBoxModel", + "_view_count": null, + "_view_module": "@jupyter-widgets/controls", + "_view_module_version": "1.5.0", + "_view_name": "VBoxView", + "box_style": "", + "children": [ + "IPY_MODEL_4c42effc89b5470fbf8e3c238ad07266", + "IPY_MODEL_fbaf43825f694399b3779640c9a3b6af", + "IPY_MODEL_d5994e087d074e0cb155f6b3607f100d", + "IPY_MODEL_3ea6cf0074854f9bbcfa42e532784b76" + ], + "layout": "IPY_MODEL_ed0780c388844699bdbb2e435ef5190b" + } + }, + "475a8232ed7a4fb3a796d2d12b210fc9": { + "model_module": "@jupyter-widgets/controls", + "model_name": "HTMLModel", + "model_module_version": "1.5.0", + "state": { + "_dom_classes": [], + "_model_module": "@jupyter-widgets/controls", + "_model_module_version": "1.5.0", + "_model_name": "HTMLModel", + "_view_count": null, + "_view_module": "@jupyter-widgets/controls", + "_view_module_version": "1.5.0", + "_view_name": "HTMLView", + "description": "", + "description_tooltip": null, + "layout": "IPY_MODEL_e1dfde4e36584f73a4ee42f213d87174", + "placeholder": "​", + "style": "IPY_MODEL_aba66871b1b0412d941172272ce51d23", + "value": "

Copy a token from your Hugging Face\ntokens page and paste it below.
Immediately click login after copying\nyour token or it might be stored in plain text in this notebook file.
" + } + }, + "46f71ce2028a4f9e80caab49747ecbee": { + "model_module": "@jupyter-widgets/controls", + "model_name": "PasswordModel", + "model_module_version": "1.5.0", + "state": { + "_dom_classes": [], + "_model_module": "@jupyter-widgets/controls", + "_model_module_version": "1.5.0", + "_model_name": "PasswordModel", + "_view_count": null, + "_view_module": "@jupyter-widgets/controls", + "_view_module_version": "1.5.0", + "_view_name": "PasswordView", + "continuous_update": true, + "description": "Token:", + "description_tooltip": null, + "disabled": false, + "layout": "IPY_MODEL_d2e4bafa97cf4cadb0cccb9ce9101a50", + "placeholder": "​", + "style": "IPY_MODEL_79a67b49bbcf42e58ebb8b379df18a0b", + "value": "" + } + }, + "670fcb115bc84bbdbe841f9a9e8f7e41": { + "model_module": "@jupyter-widgets/controls", + "model_name": "CheckboxModel", + "model_module_version": "1.5.0", + "state": { + "_dom_classes": [], + "_model_module": "@jupyter-widgets/controls", + "_model_module_version": "1.5.0", + "_model_name": "CheckboxModel", + "_view_count": null, + "_view_module": "@jupyter-widgets/controls", + "_view_module_version": "1.5.0", + "_view_name": "CheckboxView", + "description": "Add token as git credential?", + "description_tooltip": null, + "disabled": false, + "indent": true, + "layout": "IPY_MODEL_8f675b0d986346d0b483338855396148", + "style": "IPY_MODEL_2e31434a8b2b4a65b613a91ead19d356", + "value": true + } + }, + "5282fffc65a848eaa86bbff88e6564aa": { + "model_module": "@jupyter-widgets/controls", + "model_name": "ButtonModel", + "model_module_version": "1.5.0", + "state": { + "_dom_classes": [], + "_model_module": "@jupyter-widgets/controls", + "_model_module_version": "1.5.0", + "_model_name": "ButtonModel", + "_view_count": null, + "_view_module": "@jupyter-widgets/controls", + "_view_module_version": "1.5.0", + "_view_name": "ButtonView", + "button_style": "", + "description": "Login", + "disabled": false, + "icon": "", + "layout": "IPY_MODEL_f125fa1fa88c40828a2ddb5114073bd2", + "style": "IPY_MODEL_74088ded4ba44402b5682b10e8e999a2", + "tooltip": "" + } + }, + "80be551e17cb47988debe26c9aec2384": { + "model_module": "@jupyter-widgets/controls", + "model_name": "HTMLModel", + "model_module_version": "1.5.0", + "state": { + "_dom_classes": [], + "_model_module": "@jupyter-widgets/controls", + "_model_module_version": "1.5.0", + "_model_name": "HTMLModel", + "_view_count": null, + "_view_module": "@jupyter-widgets/controls", + "_view_module_version": "1.5.0", + "_view_name": "HTMLView", + "description": "", + "description_tooltip": null, + "layout": "IPY_MODEL_803311125a444cac84373336641b52de", + "placeholder": "​", + "style": "IPY_MODEL_33e1fda524b54aa4a8a3fb000d8539a8", + "value": "\nPro Tip: If you don't already have one, you can create a dedicated\n'notebooks' token with 'write' access, that you can then easily reuse for all\nnotebooks.
" + } + }, + "ed0780c388844699bdbb2e435ef5190b": { + "model_module": "@jupyter-widgets/base", + "model_name": "LayoutModel", + "model_module_version": "1.2.0", + "state": { + "_model_module": "@jupyter-widgets/base", + "_model_module_version": "1.2.0", + "_model_name": "LayoutModel", + "_view_count": null, + "_view_module": "@jupyter-widgets/base", + "_view_module_version": "1.2.0", + "_view_name": "LayoutView", + "align_content": null, + "align_items": "center", + "align_self": null, + "border": null, + "bottom": null, + "display": "flex", + "flex": null, + "flex_flow": "column", + "grid_area": null, + "grid_auto_columns": null, + "grid_auto_flow": null, + "grid_auto_rows": null, + "grid_column": null, + "grid_gap": null, + "grid_row": null, + "grid_template_areas": null, + "grid_template_columns": null, + "grid_template_rows": null, + "height": null, + "justify_content": null, + "justify_items": null, + "left": null, + "margin": null, + "max_height": null, + "max_width": null, + "min_height": null, + "min_width": null, + "object_fit": null, + "object_position": null, + "order": null, + "overflow": null, + "overflow_x": null, + "overflow_y": null, + "padding": null, + "right": null, + "top": null, + "visibility": null, + "width": "50%" + } + }, + "e1dfde4e36584f73a4ee42f213d87174": { + "model_module": "@jupyter-widgets/base", + "model_name": "LayoutModel", + "model_module_version": "1.2.0", + "state": { + "_model_module": "@jupyter-widgets/base", + "_model_module_version": "1.2.0", + "_model_name": "LayoutModel", + "_view_count": null, + "_view_module": "@jupyter-widgets/base", + "_view_module_version": "1.2.0", + "_view_name": "LayoutView", + "align_content": null, + "align_items": null, + "align_self": null, + "border": null, + "bottom": null, + "display": null, + "flex": null, + "flex_flow": null, + "grid_area": null, + "grid_auto_columns": null, + "grid_auto_flow": null, + "grid_auto_rows": null, + "grid_column": null, + "grid_gap": null, + "grid_row": null, + "grid_template_areas": null, + "grid_template_columns": null, + "grid_template_rows": null, + "height": null, + "justify_content": null, + "justify_items": null, + "left": null, + "margin": null, + "max_height": null, + "max_width": null, + "min_height": null, + "min_width": null, + "object_fit": null, + "object_position": null, + "order": null, + "overflow": null, + "overflow_x": null, + "overflow_y": null, + "padding": null, + "right": null, + "top": null, + "visibility": null, + "width": null + } + }, + "aba66871b1b0412d941172272ce51d23": { + "model_module": "@jupyter-widgets/controls", + "model_name": "DescriptionStyleModel", + "model_module_version": "1.5.0", + "state": { + "_model_module": "@jupyter-widgets/controls", + "_model_module_version": "1.5.0", + "_model_name": "DescriptionStyleModel", + "_view_count": null, + "_view_module": "@jupyter-widgets/base", + "_view_module_version": "1.2.0", + "_view_name": "StyleView", + "description_width": "" + } + }, + "d2e4bafa97cf4cadb0cccb9ce9101a50": { + "model_module": "@jupyter-widgets/base", + "model_name": "LayoutModel", + "model_module_version": "1.2.0", + "state": { + "_model_module": "@jupyter-widgets/base", + "_model_module_version": "1.2.0", + "_model_name": "LayoutModel", + "_view_count": null, + "_view_module": "@jupyter-widgets/base", + "_view_module_version": "1.2.0", + "_view_name": "LayoutView", + "align_content": null, + "align_items": null, + "align_self": null, + "border": null, + "bottom": null, + "display": null, + "flex": null, + "flex_flow": null, + "grid_area": null, + "grid_auto_columns": null, + "grid_auto_flow": null, + "grid_auto_rows": null, + "grid_column": null, + "grid_gap": null, + "grid_row": null, + "grid_template_areas": null, + "grid_template_columns": null, + "grid_template_rows": null, + "height": null, + "justify_content": null, + "justify_items": null, + "left": null, + "margin": null, + "max_height": null, + "max_width": null, + "min_height": null, + "min_width": null, + "object_fit": null, + "object_position": null, + "order": null, + "overflow": null, + "overflow_x": null, + "overflow_y": null, + "padding": null, + "right": null, + "top": null, + "visibility": null, + "width": null + } + }, + "79a67b49bbcf42e58ebb8b379df18a0b": { + "model_module": "@jupyter-widgets/controls", + "model_name": "DescriptionStyleModel", + "model_module_version": "1.5.0", + "state": { + "_model_module": "@jupyter-widgets/controls", + "_model_module_version": "1.5.0", + "_model_name": "DescriptionStyleModel", + "_view_count": null, + "_view_module": "@jupyter-widgets/base", + "_view_module_version": "1.2.0", + "_view_name": "StyleView", + "description_width": "" + } + }, + "8f675b0d986346d0b483338855396148": { + "model_module": "@jupyter-widgets/base", + "model_name": "LayoutModel", + "model_module_version": "1.2.0", + "state": { + "_model_module": "@jupyter-widgets/base", + "_model_module_version": "1.2.0", + "_model_name": "LayoutModel", + "_view_count": null, + "_view_module": "@jupyter-widgets/base", + "_view_module_version": "1.2.0", + "_view_name": "LayoutView", + "align_content": null, + "align_items": null, + "align_self": null, + "border": null, + "bottom": null, + "display": null, + "flex": null, + "flex_flow": null, + "grid_area": null, + "grid_auto_columns": null, + "grid_auto_flow": null, + "grid_auto_rows": null, + "grid_column": null, + "grid_gap": null, + "grid_row": null, + "grid_template_areas": null, + "grid_template_columns": null, + "grid_template_rows": null, + "height": null, + "justify_content": null, + "justify_items": null, + "left": null, + "margin": null, + "max_height": null, + "max_width": null, + "min_height": null, + "min_width": null, + "object_fit": null, + "object_position": null, + "order": null, + "overflow": null, + "overflow_x": null, + "overflow_y": null, + "padding": null, + "right": null, + "top": null, + "visibility": null, + "width": null + } + }, + "2e31434a8b2b4a65b613a91ead19d356": { + "model_module": "@jupyter-widgets/controls", + "model_name": "DescriptionStyleModel", + "model_module_version": "1.5.0", + "state": { + "_model_module": "@jupyter-widgets/controls", + "_model_module_version": "1.5.0", + "_model_name": "DescriptionStyleModel", + "_view_count": null, + "_view_module": "@jupyter-widgets/base", + "_view_module_version": "1.2.0", + "_view_name": "StyleView", + "description_width": "" + } + }, + "f125fa1fa88c40828a2ddb5114073bd2": { + "model_module": "@jupyter-widgets/base", + "model_name": "LayoutModel", + "model_module_version": "1.2.0", + "state": { + "_model_module": "@jupyter-widgets/base", + "_model_module_version": "1.2.0", + "_model_name": "LayoutModel", + "_view_count": null, + "_view_module": "@jupyter-widgets/base", + "_view_module_version": "1.2.0", + "_view_name": "LayoutView", + "align_content": null, + "align_items": null, + "align_self": null, + "border": null, + "bottom": null, + "display": null, + "flex": null, + "flex_flow": null, + "grid_area": null, + "grid_auto_columns": null, + "grid_auto_flow": null, + "grid_auto_rows": null, + "grid_column": null, + "grid_gap": null, + "grid_row": null, + "grid_template_areas": null, + "grid_template_columns": null, + "grid_template_rows": null, + "height": null, + "justify_content": null, + "justify_items": null, + "left": null, + "margin": null, + "max_height": null, + "max_width": null, + "min_height": null, + "min_width": null, + "object_fit": null, + "object_position": null, + "order": null, + "overflow": null, + "overflow_x": null, + "overflow_y": null, + "padding": null, + "right": null, + "top": null, + "visibility": null, + "width": null + } + }, + "74088ded4ba44402b5682b10e8e999a2": { + "model_module": "@jupyter-widgets/controls", + "model_name": "ButtonStyleModel", + "model_module_version": "1.5.0", + "state": { + "_model_module": "@jupyter-widgets/controls", + "_model_module_version": "1.5.0", + "_model_name": "ButtonStyleModel", + "_view_count": null, + "_view_module": "@jupyter-widgets/base", + "_view_module_version": "1.2.0", + "_view_name": "StyleView", + "button_color": null, + "font_weight": "" + } + }, + "803311125a444cac84373336641b52de": { + "model_module": "@jupyter-widgets/base", + "model_name": "LayoutModel", + "model_module_version": "1.2.0", + "state": { + "_model_module": "@jupyter-widgets/base", + "_model_module_version": "1.2.0", + "_model_name": "LayoutModel", + "_view_count": null, + "_view_module": "@jupyter-widgets/base", + "_view_module_version": "1.2.0", + "_view_name": "LayoutView", + "align_content": null, + "align_items": null, + "align_self": null, + "border": null, + "bottom": null, + "display": null, + "flex": null, + "flex_flow": null, + "grid_area": null, + "grid_auto_columns": null, + "grid_auto_flow": null, + "grid_auto_rows": null, + "grid_column": null, + "grid_gap": null, + "grid_row": null, + "grid_template_areas": null, + "grid_template_columns": null, + "grid_template_rows": null, + "height": null, + "justify_content": null, + "justify_items": null, + "left": null, + "margin": null, + "max_height": null, + "max_width": null, + "min_height": null, + "min_width": null, + "object_fit": null, + "object_position": null, + "order": null, + "overflow": null, + "overflow_x": null, + "overflow_y": null, + "padding": null, + "right": null, + "top": null, + "visibility": null, + "width": null + } + }, + "33e1fda524b54aa4a8a3fb000d8539a8": { + "model_module": "@jupyter-widgets/controls", + "model_name": "DescriptionStyleModel", + "model_module_version": "1.5.0", + "state": { + "_model_module": "@jupyter-widgets/controls", + "_model_module_version": "1.5.0", + "_model_name": "DescriptionStyleModel", + "_view_count": null, + "_view_module": "@jupyter-widgets/base", + "_view_module_version": "1.2.0", + "_view_name": "StyleView", + "description_width": "" + } + }, + "2de7a9a97c4e4286b4781816510df846": { + "model_module": "@jupyter-widgets/controls", + "model_name": "LabelModel", + "model_module_version": "1.5.0", + "state": { + "_dom_classes": [], + "_model_module": "@jupyter-widgets/controls", + "_model_module_version": "1.5.0", + "_model_name": "LabelModel", + "_view_count": null, + "_view_module": "@jupyter-widgets/controls", + "_view_module_version": "1.5.0", + "_view_name": "LabelView", + "description": "", + "description_tooltip": null, + "layout": "IPY_MODEL_eff567785fa44d5e96adff396be56281", + "placeholder": "​", + "style": "IPY_MODEL_b65f3953d6324668953f1593e0c14730", + "value": "Connecting..." + } + }, + "eff567785fa44d5e96adff396be56281": { + "model_module": "@jupyter-widgets/base", + "model_name": "LayoutModel", + "model_module_version": "1.2.0", + "state": { + "_model_module": "@jupyter-widgets/base", + "_model_module_version": "1.2.0", + "_model_name": "LayoutModel", + "_view_count": null, + "_view_module": "@jupyter-widgets/base", + "_view_module_version": "1.2.0", + "_view_name": "LayoutView", + "align_content": null, + "align_items": null, + "align_self": null, + "border": null, + "bottom": null, + "display": null, + "flex": null, + "flex_flow": null, + "grid_area": null, + "grid_auto_columns": null, + "grid_auto_flow": null, + "grid_auto_rows": null, + "grid_column": null, + "grid_gap": null, + "grid_row": null, + "grid_template_areas": null, + "grid_template_columns": null, + "grid_template_rows": null, + "height": null, + "justify_content": null, + "justify_items": null, + "left": null, + "margin": null, + "max_height": null, + "max_width": null, + "min_height": null, + "min_width": null, + "object_fit": null, + "object_position": null, + "order": null, + "overflow": null, + "overflow_x": null, + "overflow_y": null, + "padding": null, + "right": null, + "top": null, + "visibility": null, + "width": null + } + }, + "b65f3953d6324668953f1593e0c14730": { + "model_module": "@jupyter-widgets/controls", + "model_name": "DescriptionStyleModel", + "model_module_version": "1.5.0", + "state": { + "_model_module": "@jupyter-widgets/controls", + "_model_module_version": "1.5.0", + "_model_name": "DescriptionStyleModel", + "_view_count": null, + "_view_module": "@jupyter-widgets/base", + "_view_module_version": "1.2.0", + "_view_name": "StyleView", + "description_width": "" + } + }, + "4c42effc89b5470fbf8e3c238ad07266": { + "model_module": "@jupyter-widgets/controls", + "model_name": "LabelModel", + "model_module_version": "1.5.0", + "state": { + "_dom_classes": [], + "_model_module": "@jupyter-widgets/controls", + "_model_module_version": "1.5.0", + "_model_name": "LabelModel", + "_view_count": null, + "_view_module": "@jupyter-widgets/controls", + "_view_module_version": "1.5.0", + "_view_name": "LabelView", + "description": "", + "description_tooltip": null, + "layout": "IPY_MODEL_85c817231fda424a84352914bde906b0", + "placeholder": "​", + "style": "IPY_MODEL_28c6dda801c14fa0a1c7d2ccfb8e25a5", + "value": "Token is valid (permission: write)." + } + }, + "fbaf43825f694399b3779640c9a3b6af": { + "model_module": "@jupyter-widgets/controls", + "model_name": "LabelModel", + "model_module_version": "1.5.0", + "state": { + "_dom_classes": [], + "_model_module": "@jupyter-widgets/controls", + "_model_module_version": "1.5.0", + "_model_name": "LabelModel", + "_view_count": null, + "_view_module": "@jupyter-widgets/controls", + "_view_module_version": "1.5.0", + "_view_name": "LabelView", + "description": "", + "description_tooltip": null, + "layout": "IPY_MODEL_f6497b8069c246339b67f7b14d1ae7c7", + "placeholder": "​", + "style": "IPY_MODEL_17ad064d85ab40ef9008e5600d0c5e3f", + "value": "Your token has been saved in your configured git credential helpers (store)." + } + }, + "d5994e087d074e0cb155f6b3607f100d": { + "model_module": "@jupyter-widgets/controls", + "model_name": "LabelModel", + "model_module_version": "1.5.0", + "state": { + "_dom_classes": [], + "_model_module": "@jupyter-widgets/controls", + "_model_module_version": "1.5.0", + "_model_name": "LabelModel", + "_view_count": null, + "_view_module": "@jupyter-widgets/controls", + "_view_module_version": "1.5.0", + "_view_name": "LabelView", + "description": "", + "description_tooltip": null, + "layout": "IPY_MODEL_87fff40c9394414c9c93f31151137ab7", + "placeholder": "​", + "style": "IPY_MODEL_98f0b669c36c47069bcf35fd17bb28cc", + "value": "Your token has been saved to /root/.cache/huggingface/token" + } + }, + "3ea6cf0074854f9bbcfa42e532784b76": { + "model_module": "@jupyter-widgets/controls", + "model_name": "LabelModel", + "model_module_version": "1.5.0", + "state": { + "_dom_classes": [], + "_model_module": "@jupyter-widgets/controls", + "_model_module_version": "1.5.0", + "_model_name": "LabelModel", + "_view_count": null, + "_view_module": "@jupyter-widgets/controls", + "_view_module_version": "1.5.0", + "_view_name": "LabelView", + "description": "", + "description_tooltip": null, + "layout": "IPY_MODEL_e1d56e00ca5849ed9420930df8ac2aed", + "placeholder": "​", + "style": "IPY_MODEL_52891fca852246989e5ee757f502824e", + "value": "Login successful" + } + }, + "85c817231fda424a84352914bde906b0": { + "model_module": "@jupyter-widgets/base", + "model_name": "LayoutModel", + "model_module_version": "1.2.0", + "state": { + "_model_module": "@jupyter-widgets/base", + "_model_module_version": "1.2.0", + "_model_name": "LayoutModel", + "_view_count": null, + "_view_module": "@jupyter-widgets/base", + "_view_module_version": "1.2.0", + "_view_name": "LayoutView", + "align_content": null, + "align_items": null, + "align_self": null, + "border": null, + "bottom": null, + "display": null, + "flex": null, + "flex_flow": null, + "grid_area": null, + "grid_auto_columns": null, + "grid_auto_flow": null, + "grid_auto_rows": null, + "grid_column": null, + "grid_gap": null, + "grid_row": null, + "grid_template_areas": null, + "grid_template_columns": null, + "grid_template_rows": null, + "height": null, + "justify_content": null, + "justify_items": null, + "left": null, + "margin": null, + "max_height": null, + "max_width": null, + "min_height": null, + "min_width": null, + "object_fit": null, + "object_position": null, + "order": null, + "overflow": null, + "overflow_x": null, + "overflow_y": null, + "padding": null, + "right": null, + "top": null, + "visibility": null, + "width": null + } + }, + "28c6dda801c14fa0a1c7d2ccfb8e25a5": { + "model_module": "@jupyter-widgets/controls", + "model_name": "DescriptionStyleModel", + "model_module_version": "1.5.0", + "state": { + "_model_module": "@jupyter-widgets/controls", + "_model_module_version": "1.5.0", + "_model_name": "DescriptionStyleModel", + "_view_count": null, + "_view_module": "@jupyter-widgets/base", + "_view_module_version": "1.2.0", + "_view_name": "StyleView", + "description_width": "" + } + }, + "f6497b8069c246339b67f7b14d1ae7c7": { + "model_module": "@jupyter-widgets/base", + "model_name": "LayoutModel", + "model_module_version": "1.2.0", + "state": { + "_model_module": "@jupyter-widgets/base", + "_model_module_version": "1.2.0", + "_model_name": "LayoutModel", + "_view_count": null, + "_view_module": "@jupyter-widgets/base", + "_view_module_version": "1.2.0", + "_view_name": "LayoutView", + "align_content": null, + "align_items": null, + "align_self": null, + "border": null, + "bottom": null, + "display": null, + "flex": null, + "flex_flow": null, + "grid_area": null, + "grid_auto_columns": null, + "grid_auto_flow": null, + "grid_auto_rows": null, + "grid_column": null, + "grid_gap": null, + "grid_row": null, + "grid_template_areas": null, + "grid_template_columns": null, + "grid_template_rows": null, + "height": null, + "justify_content": null, + "justify_items": null, + "left": null, + "margin": null, + "max_height": null, + "max_width": null, + "min_height": null, + "min_width": null, + "object_fit": null, + "object_position": null, + "order": null, + "overflow": null, + "overflow_x": null, + "overflow_y": null, + "padding": null, + "right": null, + "top": null, + "visibility": null, + "width": null + } + }, + "17ad064d85ab40ef9008e5600d0c5e3f": { + "model_module": "@jupyter-widgets/controls", + "model_name": "DescriptionStyleModel", + "model_module_version": "1.5.0", + "state": { + "_model_module": "@jupyter-widgets/controls", + "_model_module_version": "1.5.0", + "_model_name": "DescriptionStyleModel", + "_view_count": null, + "_view_module": "@jupyter-widgets/base", + "_view_module_version": "1.2.0", + "_view_name": "StyleView", + "description_width": "" + } + }, + "87fff40c9394414c9c93f31151137ab7": { + "model_module": "@jupyter-widgets/base", + "model_name": "LayoutModel", + "model_module_version": "1.2.0", + "state": { + "_model_module": "@jupyter-widgets/base", + "_model_module_version": "1.2.0", + "_model_name": "LayoutModel", + "_view_count": null, + "_view_module": "@jupyter-widgets/base", + "_view_module_version": "1.2.0", + "_view_name": "LayoutView", + "align_content": null, + "align_items": null, + "align_self": null, + "border": null, + "bottom": null, + "display": null, + "flex": null, + "flex_flow": null, + "grid_area": null, + "grid_auto_columns": null, + "grid_auto_flow": null, + "grid_auto_rows": null, + "grid_column": null, + "grid_gap": null, + "grid_row": null, + "grid_template_areas": null, + "grid_template_columns": null, + "grid_template_rows": null, + "height": null, + "justify_content": null, + "justify_items": null, + "left": null, + "margin": null, + "max_height": null, + "max_width": null, + "min_height": null, + "min_width": null, + "object_fit": null, + "object_position": null, + "order": null, + "overflow": null, + "overflow_x": null, + "overflow_y": null, + "padding": null, + "right": null, + "top": null, + "visibility": null, + "width": null + } + }, + "98f0b669c36c47069bcf35fd17bb28cc": { + "model_module": "@jupyter-widgets/controls", + "model_name": "DescriptionStyleModel", + "model_module_version": "1.5.0", + "state": { + "_model_module": "@jupyter-widgets/controls", + "_model_module_version": "1.5.0", + "_model_name": "DescriptionStyleModel", + "_view_count": null, + "_view_module": "@jupyter-widgets/base", + "_view_module_version": "1.2.0", + "_view_name": "StyleView", + "description_width": "" + } + }, + "e1d56e00ca5849ed9420930df8ac2aed": { + "model_module": "@jupyter-widgets/base", + "model_name": "LayoutModel", + "model_module_version": "1.2.0", + "state": { + "_model_module": "@jupyter-widgets/base", + "_model_module_version": "1.2.0", + "_model_name": "LayoutModel", + "_view_count": null, + "_view_module": "@jupyter-widgets/base", + "_view_module_version": "1.2.0", + "_view_name": "LayoutView", + "align_content": null, + "align_items": null, + "align_self": null, + "border": null, + "bottom": null, + "display": null, + "flex": null, + "flex_flow": null, + "grid_area": null, + "grid_auto_columns": null, + "grid_auto_flow": null, + "grid_auto_rows": null, + "grid_column": null, + "grid_gap": null, + "grid_row": null, + "grid_template_areas": null, + "grid_template_columns": null, + "grid_template_rows": null, + "height": null, + "justify_content": null, + "justify_items": null, + "left": null, + "margin": null, + "max_height": null, + "max_width": null, + "min_height": null, + "min_width": null, + "object_fit": null, + "object_position": null, + "order": null, + "overflow": null, + "overflow_x": null, + "overflow_y": null, + "padding": null, + "right": null, + "top": null, + "visibility": null, + "width": null + } + }, + "52891fca852246989e5ee757f502824e": { + "model_module": "@jupyter-widgets/controls", + "model_name": "DescriptionStyleModel", + "model_module_version": "1.5.0", + "state": { + "_model_module": "@jupyter-widgets/controls", + "_model_module_version": "1.5.0", + "_model_name": "DescriptionStyleModel", + "_view_count": null, + "_view_module": "@jupyter-widgets/base", + "_view_module_version": "1.2.0", + "_view_name": "StyleView", + "description_width": "" + } + } + } + } + }, + "nbformat": 4, + "nbformat_minor": 0 +} \ No newline at end of file From 6b70027570397e38a8fa59ac9a5f6dbce7306d05 Mon Sep 17 00:00:00 2001 From: Ahnjj_DEV Date: Sun, 29 Sep 2024 22:27:44 +0900 Subject: [PATCH 03/23] feat: nmt draft --- notebooks/ko/ko_agent_data_analyst.ipynb | 15 ++++++++++----- 1 file changed, 10 insertions(+), 5 deletions(-) diff --git a/notebooks/ko/ko_agent_data_analyst.ipynb b/notebooks/ko/ko_agent_data_analyst.ipynb index 00f108e2..bd6a63e7 100644 --- a/notebooks/ko/ko_agent_data_analyst.ipynb +++ b/notebooks/ko/ko_agent_data_analyst.ipynb @@ -150,7 +150,8 @@ "base_uri": "https://localhost:8080/" }, "id": "qWYp-IertEN1", - "outputId": "761d47da-a340-44c9-8f0e-16e3f63192fd" + "outputId": "761d47da-a340-44c9-8f0e-16e3f63192fd", + "collapsed": true }, "execution_count": 2, "outputs": [ @@ -176,7 +177,8 @@ "base_uri": "https://localhost:8080/" }, "id": "UCK6t2u5sKpm", - "outputId": "2de35095-1093-46a8-896c-3e508672755d" + "outputId": "2de35095-1093-46a8-896c-3e508672755d", + "collapsed": true }, "execution_count": 3, "outputs": [ @@ -212,7 +214,8 @@ "base_uri": "https://localhost:8080/" }, "id": "X2wTtXDjNYyI", - "outputId": "cea6c8c0-513a-4a1b-c4ec-5d46eca7e8b2" + "outputId": "cea6c8c0-513a-4a1b-c4ec-5d46eca7e8b2", + "collapsed": true }, "execution_count": 15, "outputs": [ @@ -234,7 +237,8 @@ "base_uri": "https://localhost:8080/", "height": 216 }, - "id": "WOLY_WBLPGQE" + "id": "WOLY_WBLPGQE", + "collapsed": true }, "outputs": [ { @@ -329,7 +333,8 @@ "colab": { "base_uri": "https://localhost:8080/", "height": 216 - } + }, + "collapsed": true }, "outputs": [ { From 014b287c58cee7b884fdc7214af5bbe7f2ca72a6 Mon Sep 17 00:00:00 2001 From: Ahnjj_DEV Date: Sun, 29 Sep 2024 22:35:20 +0900 Subject: [PATCH 04/23] feat: nmt draft --- notebooks/ko/ko_agent_data_analyst.ipynb | 115 +---------------------- 1 file changed, 2 insertions(+), 113 deletions(-) diff --git a/notebooks/ko/ko_agent_data_analyst.ipynb b/notebooks/ko/ko_agent_data_analyst.ipynb index bd6a63e7..f6e61878 100644 --- a/notebooks/ko/ko_agent_data_analyst.ipynb +++ b/notebooks/ko/ko_agent_data_analyst.ipynb @@ -116,8 +116,7 @@ "from huggingface_hub import login\n", "import os\n", "\n", - "# login(os.getenv(\"HUGGINGFACEHUB_API_TOKEN\"))\n", - "login(os.getenv(\"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\"))\n", + "login(os.getenv(\"HUGGINGFACEHUB_API_TOKEN\"))\n", "llm_engine = HfEngine(\"meta-llama/Meta-Llama-3.1-70B-Instruct\")\n", "\n", "agent = ReactCodeAgent(\n", @@ -240,19 +239,6 @@ "id": "WOLY_WBLPGQE", "collapsed": true }, - "outputs": [ - { - "output_type": "error", - "ename": "NameError", - "evalue": "name 'agent' is not defined", - "traceback": [ - "\u001b[0;31m---------------------------------------------------------------------------\u001b[0m", - "\u001b[0;31mNameError\u001b[0m Traceback (most recent call last)", - "\u001b[0;32m\u001b[0m in \u001b[0;36m\u001b[0;34m()\u001b[0m\n\u001b[1;32m 19\u001b[0m \"\"\"\n\u001b[1;32m 20\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m---> 21\u001b[0;31m analysis = agent.run(\n\u001b[0m\u001b[1;32m 22\u001b[0m \"\"\"당신은 데이터 분석 전문가입니다. 소스 파일을 로드하고 내용을 분석하세요. 아래 세가지 행동을 취해주세요. \n\u001b[1;32m 23\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n", - "\u001b[0;31mNameError\u001b[0m: name 'agent' is not defined" - ] - } - ], "source": [ "additional_notes = \"\"\"\n", "### Variable Notes\n", @@ -336,19 +322,6 @@ }, "collapsed": true }, - "outputs": [ - { - "output_type": "error", - "ename": "NameError", - "evalue": "name 'ReactCodeAgent' is not defined", - "traceback": [ - "\u001b[0;31m---------------------------------------------------------------------------\u001b[0m", - "\u001b[0;31mNameError\u001b[0m Traceback (most recent call last)", - "\u001b[0;32m\u001b[0m in \u001b[0;36m\u001b[0;34m()\u001b[0m\n\u001b[0;32m----> 1\u001b[0;31m agent = ReactCodeAgent(\n\u001b[0m\u001b[1;32m 2\u001b[0m \u001b[0mtools\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0;34m[\u001b[0m\u001b[0;34m]\u001b[0m\u001b[0;34m,\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m 3\u001b[0m \u001b[0mllm_engine\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0mllm_engine\u001b[0m\u001b[0;34m,\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m 4\u001b[0m additional_authorized_imports=[\n\u001b[1;32m 5\u001b[0m \u001b[0;34m\"numpy\"\u001b[0m\u001b[0;34m,\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n", - "\u001b[0;31mNameError\u001b[0m: name 'ReactCodeAgent' is not defined" - ] - } - ], "source": [ "agent = ReactCodeAgent(\n", " tools=[],\n", @@ -1027,90 +1000,6 @@ "description_width": "" } }, - "4c42effc89b5470fbf8e3c238ad07266": { - "model_module": "@jupyter-widgets/controls", - "model_name": "LabelModel", - "model_module_version": "1.5.0", - "state": { - "_dom_classes": [], - "_model_module": "@jupyter-widgets/controls", - "_model_module_version": "1.5.0", - "_model_name": "LabelModel", - "_view_count": null, - "_view_module": "@jupyter-widgets/controls", - "_view_module_version": "1.5.0", - "_view_name": "LabelView", - "description": "", - "description_tooltip": null, - "layout": "IPY_MODEL_85c817231fda424a84352914bde906b0", - "placeholder": "​", - "style": "IPY_MODEL_28c6dda801c14fa0a1c7d2ccfb8e25a5", - "value": "Token is valid (permission: write)." - } - }, - "fbaf43825f694399b3779640c9a3b6af": { - "model_module": "@jupyter-widgets/controls", - "model_name": "LabelModel", - "model_module_version": "1.5.0", - "state": { - "_dom_classes": [], - "_model_module": "@jupyter-widgets/controls", - "_model_module_version": "1.5.0", - "_model_name": "LabelModel", - "_view_count": null, - "_view_module": "@jupyter-widgets/controls", - "_view_module_version": "1.5.0", - "_view_name": "LabelView", - "description": "", - "description_tooltip": null, - "layout": "IPY_MODEL_f6497b8069c246339b67f7b14d1ae7c7", - "placeholder": "​", - "style": "IPY_MODEL_17ad064d85ab40ef9008e5600d0c5e3f", - "value": "Your token has been saved in your configured git credential helpers (store)." - } - }, - "d5994e087d074e0cb155f6b3607f100d": { - "model_module": "@jupyter-widgets/controls", - "model_name": "LabelModel", - "model_module_version": "1.5.0", - "state": { - "_dom_classes": [], - "_model_module": "@jupyter-widgets/controls", - "_model_module_version": "1.5.0", - "_model_name": "LabelModel", - "_view_count": null, - "_view_module": "@jupyter-widgets/controls", - "_view_module_version": "1.5.0", - "_view_name": "LabelView", - "description": "", - "description_tooltip": null, - "layout": "IPY_MODEL_87fff40c9394414c9c93f31151137ab7", - "placeholder": "​", - "style": "IPY_MODEL_98f0b669c36c47069bcf35fd17bb28cc", - "value": "Your token has been saved to /root/.cache/huggingface/token" - } - }, - "3ea6cf0074854f9bbcfa42e532784b76": { - "model_module": "@jupyter-widgets/controls", - "model_name": "LabelModel", - "model_module_version": "1.5.0", - "state": { - "_dom_classes": [], - "_model_module": "@jupyter-widgets/controls", - "_model_module_version": "1.5.0", - "_model_name": "LabelModel", - "_view_count": null, - "_view_module": "@jupyter-widgets/controls", - "_view_module_version": "1.5.0", - "_view_name": "LabelView", - "description": "", - "description_tooltip": null, - "layout": "IPY_MODEL_e1d56e00ca5849ed9420930df8ac2aed", - "placeholder": "​", - "style": "IPY_MODEL_52891fca852246989e5ee757f502824e", - "value": "Login successful" - } - }, "85c817231fda424a84352914bde906b0": { "model_module": "@jupyter-widgets/base", "model_name": "LayoutModel", @@ -1384,4 +1273,4 @@ }, "nbformat": 4, "nbformat_minor": 0 -} \ No newline at end of file +} From bd32c71ebec9e28b51769b6bf5813cc3fd8e0858 Mon Sep 17 00:00:00 2001 From: Ahnjj_DEV Date: Sun, 29 Sep 2024 22:36:17 +0900 Subject: [PATCH 05/23] Delete notebooks/ko/ko_agent_data_analyst.ipynb --- notebooks/ko/ko_agent_data_analyst.ipynb | 1276 ---------------------- 1 file changed, 1276 deletions(-) delete mode 100644 notebooks/ko/ko_agent_data_analyst.ipynb diff --git a/notebooks/ko/ko_agent_data_analyst.ipynb b/notebooks/ko/ko_agent_data_analyst.ipynb deleted file mode 100644 index f6e61878..00000000 --- a/notebooks/ko/ko_agent_data_analyst.ipynb +++ /dev/null @@ -1,1276 +0,0 @@ -{ - "cells": [ - { - "cell_type": "markdown", - "source": [ - "# 데이터분석 에이전트: 눈깜짝할 사이에 데이터에서 인사이트 얻기 ✨\n", - "_저자: [Aymeric Roucher](https://huggingface.co/m-ric)_\n", - "\n", - "> 이 튜토리얼은 고급 과정입니다. 먼저 [이 쿡북](agents)에 대한 개념을 이해하고 있어야 합니다!\n", - "\n", - "\n", - "이번 쿡북에서 만들 **데이터 분석 에이전트** 는 :\n", - " **데이터 분석 라이브러리를 사용한 코드 에이전트로,데이터로부터 인사이트를 도출하기 위해 데이터프레임을 불러오고 변환하며, 결과를 시각화합니다!**\n", - "\n", - "\n", - "예를 들어 여러분이 '[Kaggle Titanic 챌린지](https://www.kaggle.com/competitions/titanic)'의 데이터를 직접 분석해 개별 승객의 생존 여부를 예측하고 싶다고 가정해 봅시다.\n", - "하지만 직접 분석에 들어가기 전에, 자율 에이전트가 추세를 추출해주고 수치 몇 가지를 그려 인사이트를 발견해 분석을 준비해주기를 원합니다.\n", - "\n", - "이 시스템을 설정해 보겠습니다.\n", - "\n", - "아래 명령어를 실행하여 필요한 의존성을 설치하세요:" - ], - "metadata": { - "id": "ihQ3c6IWDa6G" - } - }, - { - "cell_type": "code", - "execution_count": 2, - "metadata": { - "id": "0WauABimpjta" - }, - "outputs": [], - "source": [ - "!pip install seaborn \"transformers[agents]\"" - ] - }, - { - "cell_type": "markdown", - "metadata": { - "id": "4LJXMiy3pjtb" - }, - "source": [ - "우선 에이전트를 생성합니다. 이 쿡북에서는 `ReactCodeAgent`를 사용했습니다. (더 많은 종류의 에이전트를 확인하려면 [이 문서](https://huggingface.co/docs/transformers/en/agents) 를 참조하세요.)\n", - "이 에이전트는 별도의 도구를 제공하지 않아도 스스로 코드를 실행할 수 있습니다.\n", - "\n", - "일반적으로 `additional_authorized_imports`에 라이브러리를 전달할 때, 파이썬 인터프리터는 환경에 설치된 라이브러리만 사용할 수 있기 때문에, 해당 라이브러리들이 로컬 환경에 설치되어 있는지 확인해야 합니다.\n", - "\n", - "\n", - "⚙ 해당 에이전트는 [meta-llama/Meta-Llama-3.1-70B-Instruct](https://huggingface.co/meta-llama/Meta-Llama-3.1-70B-Instruct) 모델을 사용하며, HF의 Inference API를 사용하는 `HfEngine` 클래스로 구동됩니다. Inference API를 통해 빠르고 쉽게 OS 모델을 실행할 수 있습니다." - ] - }, - { - "cell_type": "code", - "execution_count": 10, - "metadata": { - "id": "XPrHXQgFpjtb", - "outputId": "297ca99a-2d08-4ee4-b4ea-e7bfe37929d0", - "colab": { - "base_uri": "https://localhost:8080/", - "height": 145, - "referenced_widgets": [ - "38fa8b4fa3944d23b2d8eda25b16a5f9", - "475a8232ed7a4fb3a796d2d12b210fc9", - "46f71ce2028a4f9e80caab49747ecbee", - "670fcb115bc84bbdbe841f9a9e8f7e41", - "5282fffc65a848eaa86bbff88e6564aa", - "80be551e17cb47988debe26c9aec2384", - "ed0780c388844699bdbb2e435ef5190b", - "e1dfde4e36584f73a4ee42f213d87174", - "aba66871b1b0412d941172272ce51d23", - "d2e4bafa97cf4cadb0cccb9ce9101a50", - "79a67b49bbcf42e58ebb8b379df18a0b", - "8f675b0d986346d0b483338855396148", - "2e31434a8b2b4a65b613a91ead19d356", - "f125fa1fa88c40828a2ddb5114073bd2", - "74088ded4ba44402b5682b10e8e999a2", - "803311125a444cac84373336641b52de", - "33e1fda524b54aa4a8a3fb000d8539a8", - "2de7a9a97c4e4286b4781816510df846", - "eff567785fa44d5e96adff396be56281", - "b65f3953d6324668953f1593e0c14730", - "4c42effc89b5470fbf8e3c238ad07266", - "fbaf43825f694399b3779640c9a3b6af", - "d5994e087d074e0cb155f6b3607f100d", - "3ea6cf0074854f9bbcfa42e532784b76", - "85c817231fda424a84352914bde906b0", - "28c6dda801c14fa0a1c7d2ccfb8e25a5", - "f6497b8069c246339b67f7b14d1ae7c7", - "17ad064d85ab40ef9008e5600d0c5e3f", - "87fff40c9394414c9c93f31151137ab7", - "98f0b669c36c47069bcf35fd17bb28cc", - "e1d56e00ca5849ed9420930df8ac2aed", - "52891fca852246989e5ee757f502824e" - ] - } - }, - "outputs": [ - { - "output_type": "display_data", - "data": { - "text/plain": [ - "VBox(children=(HTML(value='

Copy a token from your Hugging Face\ntokens page and paste it below.
Immediately click login after copying\nyour token or it might be stored in plain text in this notebook file.
" - } - }, - "46f71ce2028a4f9e80caab49747ecbee": { - "model_module": "@jupyter-widgets/controls", - "model_name": "PasswordModel", - "model_module_version": "1.5.0", - "state": { - "_dom_classes": [], - "_model_module": "@jupyter-widgets/controls", - "_model_module_version": "1.5.0", - "_model_name": "PasswordModel", - "_view_count": null, - "_view_module": "@jupyter-widgets/controls", - "_view_module_version": "1.5.0", - "_view_name": "PasswordView", - "continuous_update": true, - "description": "Token:", - "description_tooltip": null, - "disabled": false, - "layout": "IPY_MODEL_d2e4bafa97cf4cadb0cccb9ce9101a50", - "placeholder": "​", - "style": "IPY_MODEL_79a67b49bbcf42e58ebb8b379df18a0b", - "value": "" - } - }, - "670fcb115bc84bbdbe841f9a9e8f7e41": { - "model_module": "@jupyter-widgets/controls", - "model_name": "CheckboxModel", - "model_module_version": "1.5.0", - "state": { - "_dom_classes": [], - "_model_module": "@jupyter-widgets/controls", - "_model_module_version": "1.5.0", - "_model_name": "CheckboxModel", - "_view_count": null, - "_view_module": "@jupyter-widgets/controls", - "_view_module_version": "1.5.0", - "_view_name": "CheckboxView", - "description": "Add token as git credential?", - "description_tooltip": null, - "disabled": false, - "indent": true, - "layout": "IPY_MODEL_8f675b0d986346d0b483338855396148", - "style": "IPY_MODEL_2e31434a8b2b4a65b613a91ead19d356", - "value": true - } - }, - "5282fffc65a848eaa86bbff88e6564aa": { - "model_module": "@jupyter-widgets/controls", - "model_name": "ButtonModel", - "model_module_version": "1.5.0", - "state": { - "_dom_classes": [], - "_model_module": "@jupyter-widgets/controls", - "_model_module_version": "1.5.0", - "_model_name": "ButtonModel", - "_view_count": null, - "_view_module": "@jupyter-widgets/controls", - "_view_module_version": "1.5.0", - "_view_name": "ButtonView", - "button_style": "", - "description": "Login", - "disabled": false, - "icon": "", - "layout": "IPY_MODEL_f125fa1fa88c40828a2ddb5114073bd2", - "style": "IPY_MODEL_74088ded4ba44402b5682b10e8e999a2", - "tooltip": "" - } - }, - "80be551e17cb47988debe26c9aec2384": { - "model_module": "@jupyter-widgets/controls", - "model_name": "HTMLModel", - "model_module_version": "1.5.0", - "state": { - "_dom_classes": [], - "_model_module": "@jupyter-widgets/controls", - "_model_module_version": "1.5.0", - "_model_name": "HTMLModel", - "_view_count": null, - "_view_module": "@jupyter-widgets/controls", - "_view_module_version": "1.5.0", - "_view_name": "HTMLView", - "description": "", - "description_tooltip": null, - "layout": "IPY_MODEL_803311125a444cac84373336641b52de", - "placeholder": "​", - "style": "IPY_MODEL_33e1fda524b54aa4a8a3fb000d8539a8", - "value": "\nPro Tip: If you don't already have one, you can create a dedicated\n'notebooks' token with 'write' access, that you can then easily reuse for all\nnotebooks. " - } - }, - "ed0780c388844699bdbb2e435ef5190b": { - "model_module": "@jupyter-widgets/base", - "model_name": "LayoutModel", - "model_module_version": "1.2.0", - "state": { - "_model_module": "@jupyter-widgets/base", - "_model_module_version": "1.2.0", - "_model_name": "LayoutModel", - "_view_count": null, - "_view_module": "@jupyter-widgets/base", - "_view_module_version": "1.2.0", - "_view_name": "LayoutView", - "align_content": null, - "align_items": "center", - "align_self": null, - "border": null, - "bottom": null, - "display": "flex", - "flex": null, - "flex_flow": "column", - "grid_area": null, - "grid_auto_columns": null, - "grid_auto_flow": null, - "grid_auto_rows": null, - "grid_column": null, - "grid_gap": null, - "grid_row": null, - "grid_template_areas": null, - "grid_template_columns": null, - "grid_template_rows": null, - "height": null, - "justify_content": null, - "justify_items": null, - "left": null, - "margin": null, - "max_height": null, - "max_width": null, - "min_height": null, - "min_width": null, - "object_fit": null, - "object_position": null, - "order": null, - "overflow": null, - "overflow_x": null, - "overflow_y": null, - "padding": null, - "right": null, - "top": null, - "visibility": null, - "width": "50%" - } - }, - "e1dfde4e36584f73a4ee42f213d87174": { - "model_module": "@jupyter-widgets/base", - "model_name": "LayoutModel", - "model_module_version": "1.2.0", - "state": { - "_model_module": "@jupyter-widgets/base", - "_model_module_version": "1.2.0", - "_model_name": "LayoutModel", - "_view_count": null, - "_view_module": "@jupyter-widgets/base", - "_view_module_version": "1.2.0", - "_view_name": "LayoutView", - "align_content": null, - "align_items": null, - "align_self": null, - "border": null, - "bottom": null, - "display": null, - "flex": null, - "flex_flow": null, - "grid_area": null, - "grid_auto_columns": null, - "grid_auto_flow": null, - "grid_auto_rows": null, - "grid_column": null, - "grid_gap": null, - "grid_row": null, - "grid_template_areas": null, - "grid_template_columns": null, - "grid_template_rows": null, - "height": null, - "justify_content": null, - "justify_items": null, - "left": null, - "margin": null, - "max_height": null, - "max_width": null, - "min_height": null, - "min_width": null, - "object_fit": null, - "object_position": null, - "order": null, - "overflow": null, - "overflow_x": null, - "overflow_y": null, - "padding": null, - "right": null, - "top": null, - "visibility": null, - "width": null - } - }, - "aba66871b1b0412d941172272ce51d23": { - "model_module": "@jupyter-widgets/controls", - "model_name": "DescriptionStyleModel", - "model_module_version": "1.5.0", - "state": { - "_model_module": "@jupyter-widgets/controls", - "_model_module_version": "1.5.0", - "_model_name": "DescriptionStyleModel", - "_view_count": null, - "_view_module": "@jupyter-widgets/base", - "_view_module_version": "1.2.0", - "_view_name": "StyleView", - "description_width": "" - } - }, - "d2e4bafa97cf4cadb0cccb9ce9101a50": { - "model_module": "@jupyter-widgets/base", - "model_name": "LayoutModel", - "model_module_version": "1.2.0", - "state": { - "_model_module": "@jupyter-widgets/base", - "_model_module_version": "1.2.0", - "_model_name": "LayoutModel", - "_view_count": null, - "_view_module": "@jupyter-widgets/base", - "_view_module_version": "1.2.0", - "_view_name": "LayoutView", - "align_content": null, - "align_items": null, - "align_self": null, - "border": null, - "bottom": null, - "display": null, - "flex": null, - "flex_flow": null, - "grid_area": null, - "grid_auto_columns": null, - "grid_auto_flow": null, - "grid_auto_rows": null, - "grid_column": null, - "grid_gap": null, - "grid_row": null, - "grid_template_areas": null, - "grid_template_columns": null, - "grid_template_rows": null, - "height": null, - "justify_content": null, - "justify_items": null, - "left": null, - "margin": null, - "max_height": null, - "max_width": null, - "min_height": null, - "min_width": null, - "object_fit": null, - "object_position": null, - "order": null, - "overflow": null, - "overflow_x": null, - "overflow_y": null, - "padding": null, - "right": null, - "top": null, - "visibility": null, - "width": null - } - }, - "79a67b49bbcf42e58ebb8b379df18a0b": { - "model_module": "@jupyter-widgets/controls", - "model_name": "DescriptionStyleModel", - "model_module_version": "1.5.0", - "state": { - "_model_module": "@jupyter-widgets/controls", - "_model_module_version": "1.5.0", - "_model_name": "DescriptionStyleModel", - "_view_count": null, - "_view_module": "@jupyter-widgets/base", - "_view_module_version": "1.2.0", - "_view_name": "StyleView", - "description_width": "" - } - }, - "8f675b0d986346d0b483338855396148": { - "model_module": "@jupyter-widgets/base", - "model_name": "LayoutModel", - "model_module_version": "1.2.0", - "state": { - "_model_module": "@jupyter-widgets/base", - "_model_module_version": "1.2.0", - "_model_name": "LayoutModel", - "_view_count": null, - "_view_module": "@jupyter-widgets/base", - "_view_module_version": "1.2.0", - "_view_name": "LayoutView", - "align_content": null, - "align_items": null, - "align_self": null, - "border": null, - "bottom": null, - "display": null, - "flex": null, - "flex_flow": null, - "grid_area": null, - "grid_auto_columns": null, - "grid_auto_flow": null, - "grid_auto_rows": null, - "grid_column": null, - "grid_gap": null, - "grid_row": null, - "grid_template_areas": null, - "grid_template_columns": null, - "grid_template_rows": null, - "height": null, - "justify_content": null, - "justify_items": null, - "left": null, - "margin": null, - "max_height": null, - "max_width": null, - "min_height": null, - "min_width": null, - "object_fit": null, - "object_position": null, - "order": null, - "overflow": null, - "overflow_x": null, - "overflow_y": null, - "padding": null, - "right": null, - "top": null, - "visibility": null, - "width": null - } - }, - "2e31434a8b2b4a65b613a91ead19d356": { - "model_module": "@jupyter-widgets/controls", - "model_name": "DescriptionStyleModel", - "model_module_version": "1.5.0", - "state": { - "_model_module": "@jupyter-widgets/controls", - "_model_module_version": "1.5.0", - "_model_name": "DescriptionStyleModel", - "_view_count": null, - "_view_module": "@jupyter-widgets/base", - "_view_module_version": "1.2.0", - "_view_name": "StyleView", - "description_width": "" - } - }, - "f125fa1fa88c40828a2ddb5114073bd2": { - "model_module": "@jupyter-widgets/base", - "model_name": "LayoutModel", - "model_module_version": "1.2.0", - "state": { - "_model_module": "@jupyter-widgets/base", - "_model_module_version": "1.2.0", - "_model_name": "LayoutModel", - "_view_count": null, - "_view_module": "@jupyter-widgets/base", - "_view_module_version": "1.2.0", - "_view_name": "LayoutView", - "align_content": null, - "align_items": null, - "align_self": null, - "border": null, - "bottom": null, - "display": null, - "flex": null, - "flex_flow": null, - "grid_area": null, - "grid_auto_columns": null, - "grid_auto_flow": null, - "grid_auto_rows": null, - "grid_column": null, - "grid_gap": null, - "grid_row": null, - "grid_template_areas": null, - "grid_template_columns": null, - "grid_template_rows": null, - "height": null, - "justify_content": null, - "justify_items": null, - "left": null, - "margin": null, - "max_height": null, - "max_width": null, - "min_height": null, - "min_width": null, - "object_fit": null, - "object_position": null, - "order": null, - "overflow": null, - "overflow_x": null, - "overflow_y": null, - "padding": null, - "right": null, - "top": null, - "visibility": null, - "width": null - } - }, - "74088ded4ba44402b5682b10e8e999a2": { - "model_module": "@jupyter-widgets/controls", - "model_name": "ButtonStyleModel", - "model_module_version": "1.5.0", - "state": { - "_model_module": "@jupyter-widgets/controls", - "_model_module_version": "1.5.0", - "_model_name": "ButtonStyleModel", - "_view_count": null, - "_view_module": "@jupyter-widgets/base", - "_view_module_version": "1.2.0", - "_view_name": "StyleView", - "button_color": null, - "font_weight": "" - } - }, - "803311125a444cac84373336641b52de": { - "model_module": "@jupyter-widgets/base", - "model_name": "LayoutModel", - "model_module_version": "1.2.0", - "state": { - "_model_module": "@jupyter-widgets/base", - "_model_module_version": "1.2.0", - "_model_name": "LayoutModel", - "_view_count": null, - "_view_module": "@jupyter-widgets/base", - "_view_module_version": "1.2.0", - "_view_name": "LayoutView", - "align_content": null, - "align_items": null, - "align_self": null, - "border": null, - "bottom": null, - "display": null, - "flex": null, - "flex_flow": null, - "grid_area": null, - "grid_auto_columns": null, - "grid_auto_flow": null, - "grid_auto_rows": null, - "grid_column": null, - "grid_gap": null, - "grid_row": null, - "grid_template_areas": null, - "grid_template_columns": null, - "grid_template_rows": null, - "height": null, - "justify_content": null, - "justify_items": null, - "left": null, - "margin": null, - "max_height": null, - "max_width": null, - "min_height": null, - "min_width": null, - "object_fit": null, - "object_position": null, - "order": null, - "overflow": null, - "overflow_x": null, - "overflow_y": null, - "padding": null, - "right": null, - "top": null, - "visibility": null, - "width": null - } - }, - "33e1fda524b54aa4a8a3fb000d8539a8": { - "model_module": "@jupyter-widgets/controls", - "model_name": "DescriptionStyleModel", - "model_module_version": "1.5.0", - "state": { - "_model_module": "@jupyter-widgets/controls", - "_model_module_version": "1.5.0", - "_model_name": "DescriptionStyleModel", - "_view_count": null, - "_view_module": "@jupyter-widgets/base", - "_view_module_version": "1.2.0", - "_view_name": "StyleView", - "description_width": "" - } - }, - "2de7a9a97c4e4286b4781816510df846": { - "model_module": "@jupyter-widgets/controls", - "model_name": "LabelModel", - "model_module_version": "1.5.0", - "state": { - "_dom_classes": [], - "_model_module": "@jupyter-widgets/controls", - "_model_module_version": "1.5.0", - "_model_name": "LabelModel", - "_view_count": null, - "_view_module": "@jupyter-widgets/controls", - "_view_module_version": "1.5.0", - "_view_name": "LabelView", - "description": "", - "description_tooltip": null, - "layout": "IPY_MODEL_eff567785fa44d5e96adff396be56281", - "placeholder": "​", - "style": "IPY_MODEL_b65f3953d6324668953f1593e0c14730", - "value": "Connecting..." - } - }, - "eff567785fa44d5e96adff396be56281": { - "model_module": "@jupyter-widgets/base", - "model_name": "LayoutModel", - "model_module_version": "1.2.0", - "state": { - "_model_module": "@jupyter-widgets/base", - "_model_module_version": "1.2.0", - "_model_name": "LayoutModel", - "_view_count": null, - "_view_module": "@jupyter-widgets/base", - "_view_module_version": "1.2.0", - "_view_name": "LayoutView", - "align_content": null, - "align_items": null, - "align_self": null, - "border": null, - "bottom": null, - "display": null, - "flex": null, - "flex_flow": null, - "grid_area": null, - "grid_auto_columns": null, - "grid_auto_flow": null, - "grid_auto_rows": null, - "grid_column": null, - "grid_gap": null, - "grid_row": null, - "grid_template_areas": null, - "grid_template_columns": null, - "grid_template_rows": null, - "height": null, - "justify_content": null, - "justify_items": null, - "left": null, - "margin": null, - "max_height": null, - "max_width": null, - "min_height": null, - "min_width": null, - "object_fit": null, - "object_position": null, - "order": null, - "overflow": null, - "overflow_x": null, - "overflow_y": null, - "padding": null, - "right": null, - "top": null, - "visibility": null, - "width": null - } - }, - "b65f3953d6324668953f1593e0c14730": { - "model_module": "@jupyter-widgets/controls", - "model_name": "DescriptionStyleModel", - "model_module_version": "1.5.0", - "state": { - "_model_module": "@jupyter-widgets/controls", - "_model_module_version": "1.5.0", - "_model_name": "DescriptionStyleModel", - "_view_count": null, - "_view_module": "@jupyter-widgets/base", - "_view_module_version": "1.2.0", - "_view_name": "StyleView", - "description_width": "" - } - }, - "85c817231fda424a84352914bde906b0": { - "model_module": "@jupyter-widgets/base", - "model_name": "LayoutModel", - "model_module_version": "1.2.0", - "state": { - "_model_module": "@jupyter-widgets/base", - "_model_module_version": "1.2.0", - "_model_name": "LayoutModel", - "_view_count": null, - "_view_module": "@jupyter-widgets/base", - "_view_module_version": "1.2.0", - "_view_name": "LayoutView", - "align_content": null, - "align_items": null, - "align_self": null, - "border": null, - "bottom": null, - "display": null, - "flex": null, - "flex_flow": null, - "grid_area": null, - "grid_auto_columns": null, - "grid_auto_flow": null, - "grid_auto_rows": null, - "grid_column": null, - "grid_gap": null, - "grid_row": null, - "grid_template_areas": null, - "grid_template_columns": null, - "grid_template_rows": null, - "height": null, - "justify_content": null, - "justify_items": null, - "left": null, - "margin": null, - "max_height": null, - "max_width": null, - "min_height": null, - "min_width": null, - "object_fit": null, - "object_position": null, - "order": null, - "overflow": null, - "overflow_x": null, - "overflow_y": null, - "padding": null, - "right": null, - "top": null, - "visibility": null, - "width": null - } - }, - "28c6dda801c14fa0a1c7d2ccfb8e25a5": { - "model_module": "@jupyter-widgets/controls", - "model_name": "DescriptionStyleModel", - "model_module_version": "1.5.0", - "state": { - "_model_module": "@jupyter-widgets/controls", - "_model_module_version": "1.5.0", - "_model_name": "DescriptionStyleModel", - "_view_count": null, - "_view_module": "@jupyter-widgets/base", - "_view_module_version": "1.2.0", - "_view_name": "StyleView", - "description_width": "" - } - }, - "f6497b8069c246339b67f7b14d1ae7c7": { - "model_module": "@jupyter-widgets/base", - "model_name": "LayoutModel", - "model_module_version": "1.2.0", - "state": { - "_model_module": "@jupyter-widgets/base", - "_model_module_version": "1.2.0", - "_model_name": "LayoutModel", - "_view_count": null, - "_view_module": "@jupyter-widgets/base", - "_view_module_version": "1.2.0", - "_view_name": "LayoutView", - "align_content": null, - "align_items": null, - "align_self": null, - "border": null, - "bottom": null, - "display": null, - "flex": null, - "flex_flow": null, - "grid_area": null, - "grid_auto_columns": null, - "grid_auto_flow": null, - "grid_auto_rows": null, - "grid_column": null, - "grid_gap": null, - "grid_row": null, - "grid_template_areas": null, - "grid_template_columns": null, - "grid_template_rows": null, - "height": null, - "justify_content": null, - "justify_items": null, - "left": null, - "margin": null, - "max_height": null, - "max_width": null, - "min_height": null, - "min_width": null, - "object_fit": null, - "object_position": null, - "order": null, - "overflow": null, - "overflow_x": null, - "overflow_y": null, - "padding": null, - "right": null, - "top": null, - "visibility": null, - "width": null - } - }, - "17ad064d85ab40ef9008e5600d0c5e3f": { - "model_module": "@jupyter-widgets/controls", - "model_name": "DescriptionStyleModel", - "model_module_version": "1.5.0", - "state": { - "_model_module": "@jupyter-widgets/controls", - "_model_module_version": "1.5.0", - "_model_name": "DescriptionStyleModel", - "_view_count": null, - "_view_module": "@jupyter-widgets/base", - "_view_module_version": "1.2.0", - "_view_name": "StyleView", - "description_width": "" - } - }, - "87fff40c9394414c9c93f31151137ab7": { - "model_module": "@jupyter-widgets/base", - "model_name": "LayoutModel", - "model_module_version": "1.2.0", - "state": { - "_model_module": "@jupyter-widgets/base", - "_model_module_version": "1.2.0", - "_model_name": "LayoutModel", - "_view_count": null, - "_view_module": "@jupyter-widgets/base", - "_view_module_version": "1.2.0", - "_view_name": "LayoutView", - "align_content": null, - "align_items": null, - "align_self": null, - "border": null, - "bottom": null, - "display": null, - "flex": null, - "flex_flow": null, - "grid_area": null, - "grid_auto_columns": null, - "grid_auto_flow": null, - "grid_auto_rows": null, - "grid_column": null, - "grid_gap": null, - "grid_row": null, - "grid_template_areas": null, - "grid_template_columns": null, - "grid_template_rows": null, - "height": null, - "justify_content": null, - "justify_items": null, - "left": null, - "margin": null, - "max_height": null, - "max_width": null, - "min_height": null, - "min_width": null, - "object_fit": null, - "object_position": null, - "order": null, - "overflow": null, - "overflow_x": null, - "overflow_y": null, - "padding": null, - "right": null, - "top": null, - "visibility": null, - "width": null - } - }, - "98f0b669c36c47069bcf35fd17bb28cc": { - "model_module": "@jupyter-widgets/controls", - "model_name": "DescriptionStyleModel", - "model_module_version": "1.5.0", - "state": { - "_model_module": "@jupyter-widgets/controls", - "_model_module_version": "1.5.0", - "_model_name": "DescriptionStyleModel", - "_view_count": null, - "_view_module": "@jupyter-widgets/base", - "_view_module_version": "1.2.0", - "_view_name": "StyleView", - "description_width": "" - } - }, - "e1d56e00ca5849ed9420930df8ac2aed": { - "model_module": "@jupyter-widgets/base", - "model_name": "LayoutModel", - "model_module_version": "1.2.0", - "state": { - "_model_module": "@jupyter-widgets/base", - "_model_module_version": "1.2.0", - "_model_name": "LayoutModel", - "_view_count": null, - "_view_module": "@jupyter-widgets/base", - "_view_module_version": "1.2.0", - "_view_name": "LayoutView", - "align_content": null, - "align_items": null, - "align_self": null, - "border": null, - "bottom": null, - "display": null, - "flex": null, - "flex_flow": null, - "grid_area": null, - "grid_auto_columns": null, - "grid_auto_flow": null, - "grid_auto_rows": null, - "grid_column": null, - "grid_gap": null, - "grid_row": null, - "grid_template_areas": null, - "grid_template_columns": null, - "grid_template_rows": null, - "height": null, - "justify_content": null, - "justify_items": null, - "left": null, - "margin": null, - "max_height": null, - "max_width": null, - "min_height": null, - "min_width": null, - "object_fit": null, - "object_position": null, - "order": null, - "overflow": null, - "overflow_x": null, - "overflow_y": null, - "padding": null, - "right": null, - "top": null, - "visibility": null, - "width": null - } - }, - "52891fca852246989e5ee757f502824e": { - "model_module": "@jupyter-widgets/controls", - "model_name": "DescriptionStyleModel", - "model_module_version": "1.5.0", - "state": { - "_model_module": "@jupyter-widgets/controls", - "_model_module_version": "1.5.0", - "_model_name": "DescriptionStyleModel", - "_view_count": null, - "_view_module": "@jupyter-widgets/base", - "_view_module_version": "1.2.0", - "_view_name": "StyleView", - "description_width": "" - } - } - } - } - }, - "nbformat": 4, - "nbformat_minor": 0 -} From d030dcd86137bbbd2aa8d54dbdada06d33eb86e8 Mon Sep 17 00:00:00 2001 From: Ahnjj_DEV Date: Sun, 29 Sep 2024 22:36:33 +0900 Subject: [PATCH 06/23] feat: nmt draft --- notebooks/ko/ko_agent_data_analyst.ipynb | 1387 ++++++++++++++++++++++ 1 file changed, 1387 insertions(+) create mode 100644 notebooks/ko/ko_agent_data_analyst.ipynb diff --git a/notebooks/ko/ko_agent_data_analyst.ipynb b/notebooks/ko/ko_agent_data_analyst.ipynb new file mode 100644 index 00000000..bd6a63e7 --- /dev/null +++ b/notebooks/ko/ko_agent_data_analyst.ipynb @@ -0,0 +1,1387 @@ +{ + "cells": [ + { + "cell_type": "markdown", + "source": [ + "# 데이터분석 에이전트: 눈깜짝할 사이에 데이터에서 인사이트 얻기 ✨\n", + "_저자: [Aymeric Roucher](https://huggingface.co/m-ric)_\n", + "\n", + "> 이 튜토리얼은 고급 과정입니다. 먼저 [이 쿡북](agents)에 대한 개념을 이해하고 있어야 합니다!\n", + "\n", + "\n", + "이번 쿡북에서 만들 **데이터 분석 에이전트** 는 :\n", + " **데이터 분석 라이브러리를 사용한 코드 에이전트로,데이터로부터 인사이트를 도출하기 위해 데이터프레임을 불러오고 변환하며, 결과를 시각화합니다!**\n", + "\n", + "\n", + "예를 들어 여러분이 '[Kaggle Titanic 챌린지](https://www.kaggle.com/competitions/titanic)'의 데이터를 직접 분석해 개별 승객의 생존 여부를 예측하고 싶다고 가정해 봅시다.\n", + "하지만 직접 분석에 들어가기 전에, 자율 에이전트가 추세를 추출해주고 수치 몇 가지를 그려 인사이트를 발견해 분석을 준비해주기를 원합니다.\n", + "\n", + "이 시스템을 설정해 보겠습니다.\n", + "\n", + "아래 명령어를 실행하여 필요한 의존성을 설치하세요:" + ], + "metadata": { + "id": "ihQ3c6IWDa6G" + } + }, + { + "cell_type": "code", + "execution_count": 2, + "metadata": { + "id": "0WauABimpjta" + }, + "outputs": [], + "source": [ + "!pip install seaborn \"transformers[agents]\"" + ] + }, + { + "cell_type": "markdown", + "metadata": { + "id": "4LJXMiy3pjtb" + }, + "source": [ + "우선 에이전트를 생성합니다. 이 쿡북에서는 `ReactCodeAgent`를 사용했습니다. (더 많은 종류의 에이전트를 확인하려면 [이 문서](https://huggingface.co/docs/transformers/en/agents) 를 참조하세요.)\n", + "이 에이전트는 별도의 도구를 제공하지 않아도 스스로 코드를 실행할 수 있습니다.\n", + "\n", + "일반적으로 `additional_authorized_imports`에 라이브러리를 전달할 때, 파이썬 인터프리터는 환경에 설치된 라이브러리만 사용할 수 있기 때문에, 해당 라이브러리들이 로컬 환경에 설치되어 있는지 확인해야 합니다.\n", + "\n", + "\n", + "⚙ 해당 에이전트는 [meta-llama/Meta-Llama-3.1-70B-Instruct](https://huggingface.co/meta-llama/Meta-Llama-3.1-70B-Instruct) 모델을 사용하며, HF의 Inference API를 사용하는 `HfEngine` 클래스로 구동됩니다. Inference API를 통해 빠르고 쉽게 OS 모델을 실행할 수 있습니다." + ] + }, + { + "cell_type": "code", + "execution_count": 10, + "metadata": { + "id": "XPrHXQgFpjtb", + "outputId": "297ca99a-2d08-4ee4-b4ea-e7bfe37929d0", + "colab": { + "base_uri": "https://localhost:8080/", + "height": 145, + "referenced_widgets": [ + "38fa8b4fa3944d23b2d8eda25b16a5f9", + "475a8232ed7a4fb3a796d2d12b210fc9", + "46f71ce2028a4f9e80caab49747ecbee", + "670fcb115bc84bbdbe841f9a9e8f7e41", + "5282fffc65a848eaa86bbff88e6564aa", + "80be551e17cb47988debe26c9aec2384", + "ed0780c388844699bdbb2e435ef5190b", + "e1dfde4e36584f73a4ee42f213d87174", + "aba66871b1b0412d941172272ce51d23", + "d2e4bafa97cf4cadb0cccb9ce9101a50", + "79a67b49bbcf42e58ebb8b379df18a0b", + "8f675b0d986346d0b483338855396148", + "2e31434a8b2b4a65b613a91ead19d356", + "f125fa1fa88c40828a2ddb5114073bd2", + "74088ded4ba44402b5682b10e8e999a2", + "803311125a444cac84373336641b52de", + "33e1fda524b54aa4a8a3fb000d8539a8", + "2de7a9a97c4e4286b4781816510df846", + "eff567785fa44d5e96adff396be56281", + "b65f3953d6324668953f1593e0c14730", + "4c42effc89b5470fbf8e3c238ad07266", + "fbaf43825f694399b3779640c9a3b6af", + "d5994e087d074e0cb155f6b3607f100d", + "3ea6cf0074854f9bbcfa42e532784b76", + "85c817231fda424a84352914bde906b0", + "28c6dda801c14fa0a1c7d2ccfb8e25a5", + "f6497b8069c246339b67f7b14d1ae7c7", + "17ad064d85ab40ef9008e5600d0c5e3f", + "87fff40c9394414c9c93f31151137ab7", + "98f0b669c36c47069bcf35fd17bb28cc", + "e1d56e00ca5849ed9420930df8ac2aed", + "52891fca852246989e5ee757f502824e" + ] + } + }, + "outputs": [ + { + "output_type": "display_data", + "data": { + "text/plain": [ + "VBox(children=(HTML(value='
\u001b[0m in \u001b[0;36m\u001b[0;34m()\u001b[0m\n\u001b[1;32m 19\u001b[0m \"\"\"\n\u001b[1;32m 20\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m---> 21\u001b[0;31m analysis = agent.run(\n\u001b[0m\u001b[1;32m 22\u001b[0m \"\"\"당신은 데이터 분석 전문가입니다. 소스 파일을 로드하고 내용을 분석하세요. 아래 세가지 행동을 취해주세요. \n\u001b[1;32m 23\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n", + "\u001b[0;31mNameError\u001b[0m: name 'agent' is not defined" + ] + } + ], + "source": [ + "additional_notes = \"\"\"\n", + "### Variable Notes\n", + "PassengerId : 승객 아이디\n", + "Survived : 생존여부 (0: 사망, 1: 생존)\n", + "pclass: 사회경제적 지위(SES)의 대리 변수\n", + "1 = 상류층\n", + "2 = 중산층\n", + "3 = 하류층\n", + "Sex : 성별 (male: 남성, female: 여성)\n", + "age: 나이(Age)가 1 미만일 경우 소수로 표시됩니다. 나이가 추정된 경우, xx.5 형태로 표시됩니다.\n", + "sibsp: 이 데이터셋은 가족 관계를 다음과 같이 정의합니다...\n", + "형제 = 형제, 자매, 이복형제, 이복자매\n", + "배우자 = 남편, 아내 (애인과 약혼자는 간주하지 않았습니다.)\n", + "parch: 이 데이터셋은 가족 관계를 다음과 같이 정의합니다...\n", + "부모 = 어머니, 아버지\n", + "자녀 = 딸, 아들, 양녀, 양자\n", + "유모와 여행을 온 몇 어린이들의 경우, parch=0 로 표현합니다.\n", + "Fare: 티켓 요금\n", + "\"\"\"\n", + "\n", + "analysis = agent.run(\n", + " \"\"\"당신은 데이터 분석 전문가입니다. 소스 파일을 로드하고 내용을 분석하세요. 아래 세가지 행동을 취해주세요.\n", + "\n", + "첫번째, 주어진 변수를 바탕으로 데이터에서 흥미로운 질문 3개를 선정하고, 각각 답해보세요. 예를 들어, survival rate(생존율)과의 특정 상관관계에 관한 질문을 만들 수 있습니다. (질문은 반드시 최소한 3개의 번호가 매겨진 상세한 항목)\n", + "두번째, 3가지 질문과 관련된 figures를 그리세요. matplotlib/seaborn을 사용해 './figures/' 폴더에 저장하세요. 각 그림을 그리기 전에 plt.clf()로 그림을 지워주세요.\n", + "세번째, 위의 답변에서 구한 상관관계와 경향을 요약하세요. 각 숫자에서 실생활 인사이트를 도출하세요. 예를 들어, \"is_december와 boredness의 상관관계는 1.3453이며, 이는 겨울철에 사람들이 더 지루해진다는 것을 시사합니다\"와 같은 식으로요.\n", + "\"\"\",\n", + " additional_notes=additional_notes,\n", + " source_file=\"titanic/train.csv\",\n", + ")" + ] + }, + { + "cell_type": "code", + "execution_count": 17, + "metadata": { + "outputId": "4e259705-b542-4129-f7ea-08ac78566bb1", + "colab": { + "base_uri": "https://localhost:8080/" + }, + "id": "8hA-jMsePGQF" + }, + "outputs": [ + { + "output_type": "stream", + "name": "stdout", + "text": [ + "타이타닉 데이터 세트 분석 결과, 사회경제적 지위와 성별의 생존율에 미치는 영향을 분석 Mayer muchos이 있습니다.\n" + ] + } + ], + "source": [ + "print(analysis)" + ] + }, + { + "cell_type": "markdown", + "metadata": { + "id": "hcT-BISRpjtd" + }, + "source": [ + "놀랍지 않나요? 에이전트에게 시각화 도구를 제공해 자신이 만든 그래프를 분석하게 할 수도 있습니다!\n", + "\n", + "## 데이터과학자 에이전트 : 예측을 실행해보자 🛠️\n", + "\n", + "👉 이제 더 깊이 들어가 봅시다: **데이터를 기반으로 모델이 예측을 수행하도록 합니다.**\n", + "\n", + "예측 수행을 위해 `additional_authorized_imports`에 `sklearn`도 추가해줍니다." + ] + }, + { + "cell_type": "code", + "execution_count": 1, + "metadata": { + "id": "1qSXRraDpjtd", + "outputId": "25afdf3e-8ec7-4de7-e2a1-9d7253b5f4af", + "colab": { + "base_uri": "https://localhost:8080/", + "height": 216 + }, + "collapsed": true + }, + "outputs": [ + { + "output_type": "error", + "ename": "NameError", + "evalue": "name 'ReactCodeAgent' is not defined", + "traceback": [ + "\u001b[0;31m---------------------------------------------------------------------------\u001b[0m", + "\u001b[0;31mNameError\u001b[0m Traceback (most recent call last)", + "\u001b[0;32m\u001b[0m in \u001b[0;36m\u001b[0;34m()\u001b[0m\n\u001b[0;32m----> 1\u001b[0;31m agent = ReactCodeAgent(\n\u001b[0m\u001b[1;32m 2\u001b[0m \u001b[0mtools\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0;34m[\u001b[0m\u001b[0;34m]\u001b[0m\u001b[0;34m,\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m 3\u001b[0m \u001b[0mllm_engine\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0mllm_engine\u001b[0m\u001b[0;34m,\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m 4\u001b[0m additional_authorized_imports=[\n\u001b[1;32m 5\u001b[0m \u001b[0;34m\"numpy\"\u001b[0m\u001b[0;34m,\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n", + "\u001b[0;31mNameError\u001b[0m: name 'ReactCodeAgent' is not defined" + ] + } + ], + "source": [ + "agent = ReactCodeAgent(\n", + " tools=[],\n", + " llm_engine=llm_engine,\n", + " additional_authorized_imports=[\n", + " \"numpy\",\n", + " \"pandas\",\n", + " \"matplotlib.pyplot\",\n", + " \"seaborn\",\n", + " \"sklearn\",\n", + " ],\n", + " max_iterations=12,\n", + ")\n", + "\n", + "output = agent.run(\n", + " \"\"\"당신은 전문가 수준의 머신러닝 엔지니어입니다.\n", + "'titanic/train.csv' 파일을 사용하여 생존 여부를 예측하는 머신러닝 모델을 학습시키세요.\n", + "'titanic/test.csv' 파일의 행에 대한 예측을 수행한 후, 결과를 './output.csv'에 출력하세요.\n", + "함수와 모듈을 사용하기 전에 반드시 임포트하세요!\n", + "\"\"\",\n", + " additional_notes=additional_notes + \"\\n\" + analysis,\n", + ")" + ] + }, + { + "cell_type": "markdown", + "metadata": { + "id": "Iimn7AWtpjtd" + }, + "source": [ + "위에서 에이전트가 출력한 테스트 예측을 Kaggle에 제출하면 **0.78229**으로, 이는 17,360명 중 2824등에 해당하며, 저자가 몇 년 전 이 데이터분석 챌린지를 처음 시도해 힘들게 얻었던 결과보다 더 나은 성과입니다.\n", + "\n", + "결과는 다를 수 있지만, 몇 초 만에 에이전트를 사용해 이 정도 성과를 낼 수 있다는 점이 매우 인상적입니다.\n", + "\n", + "🚀 위 시도는 에이전트를 활용한 단순한 데이터 분석 사례일 뿐입니다. 사용 사례에 맞게 충분히 개선할 수 있습니다!" + ] + }, + { + "cell_type": "code", + "source": [], + "metadata": { + "id": "7Qnz16z1feCf" + }, + "execution_count": null, + "outputs": [] + } + ], + "metadata": { + "kernelspec": { + "display_name": "disposable", + "language": "python", + "name": "python3" + }, + "language_info": { + "codemirror_mode": { + "name": "ipython", + "version": 3 + }, + "file_extension": ".py", + "mimetype": "text/x-python", + "name": "python", + "nbconvert_exporter": "python", + "pygments_lexer": "ipython3", + "version": "3.12.2" + }, + "colab": { + "provenance": [] + }, + "widgets": { + "application/vnd.jupyter.widget-state+json": { + "38fa8b4fa3944d23b2d8eda25b16a5f9": { + "model_module": "@jupyter-widgets/controls", + "model_name": "VBoxModel", + "model_module_version": "1.5.0", + "state": { + "_dom_classes": [], + "_model_module": "@jupyter-widgets/controls", + "_model_module_version": "1.5.0", + "_model_name": "VBoxModel", + "_view_count": null, + "_view_module": "@jupyter-widgets/controls", + "_view_module_version": "1.5.0", + "_view_name": "VBoxView", + "box_style": "", + "children": [ + "IPY_MODEL_4c42effc89b5470fbf8e3c238ad07266", + "IPY_MODEL_fbaf43825f694399b3779640c9a3b6af", + "IPY_MODEL_d5994e087d074e0cb155f6b3607f100d", + "IPY_MODEL_3ea6cf0074854f9bbcfa42e532784b76" + ], + "layout": "IPY_MODEL_ed0780c388844699bdbb2e435ef5190b" + } + }, + "475a8232ed7a4fb3a796d2d12b210fc9": { + "model_module": "@jupyter-widgets/controls", + "model_name": "HTMLModel", + "model_module_version": "1.5.0", + "state": { + "_dom_classes": [], + "_model_module": "@jupyter-widgets/controls", + "_model_module_version": "1.5.0", + "_model_name": "HTMLModel", + "_view_count": null, + "_view_module": "@jupyter-widgets/controls", + "_view_module_version": "1.5.0", + "_view_name": "HTMLView", + "description": "", + "description_tooltip": null, + "layout": "IPY_MODEL_e1dfde4e36584f73a4ee42f213d87174", + "placeholder": "​", + "style": "IPY_MODEL_aba66871b1b0412d941172272ce51d23", + "value": "

Copy a token from your Hugging Face\ntokens page and paste it below.
Immediately click login after copying\nyour token or it might be stored in plain text in this notebook file.
" + } + }, + "46f71ce2028a4f9e80caab49747ecbee": { + "model_module": "@jupyter-widgets/controls", + "model_name": "PasswordModel", + "model_module_version": "1.5.0", + "state": { + "_dom_classes": [], + "_model_module": "@jupyter-widgets/controls", + "_model_module_version": "1.5.0", + "_model_name": "PasswordModel", + "_view_count": null, + "_view_module": "@jupyter-widgets/controls", + "_view_module_version": "1.5.0", + "_view_name": "PasswordView", + "continuous_update": true, + "description": "Token:", + "description_tooltip": null, + "disabled": false, + "layout": "IPY_MODEL_d2e4bafa97cf4cadb0cccb9ce9101a50", + "placeholder": "​", + "style": "IPY_MODEL_79a67b49bbcf42e58ebb8b379df18a0b", + "value": "" + } + }, + "670fcb115bc84bbdbe841f9a9e8f7e41": { + "model_module": "@jupyter-widgets/controls", + "model_name": "CheckboxModel", + "model_module_version": "1.5.0", + "state": { + "_dom_classes": [], + "_model_module": "@jupyter-widgets/controls", + "_model_module_version": "1.5.0", + "_model_name": "CheckboxModel", + "_view_count": null, + "_view_module": "@jupyter-widgets/controls", + "_view_module_version": "1.5.0", + "_view_name": "CheckboxView", + "description": "Add token as git credential?", + "description_tooltip": null, + "disabled": false, + "indent": true, + "layout": "IPY_MODEL_8f675b0d986346d0b483338855396148", + "style": "IPY_MODEL_2e31434a8b2b4a65b613a91ead19d356", + "value": true + } + }, + "5282fffc65a848eaa86bbff88e6564aa": { + "model_module": "@jupyter-widgets/controls", + "model_name": "ButtonModel", + "model_module_version": "1.5.0", + "state": { + "_dom_classes": [], + "_model_module": "@jupyter-widgets/controls", + "_model_module_version": "1.5.0", + "_model_name": "ButtonModel", + "_view_count": null, + "_view_module": "@jupyter-widgets/controls", + "_view_module_version": "1.5.0", + "_view_name": "ButtonView", + "button_style": "", + "description": "Login", + "disabled": false, + "icon": "", + "layout": "IPY_MODEL_f125fa1fa88c40828a2ddb5114073bd2", + "style": "IPY_MODEL_74088ded4ba44402b5682b10e8e999a2", + "tooltip": "" + } + }, + "80be551e17cb47988debe26c9aec2384": { + "model_module": "@jupyter-widgets/controls", + "model_name": "HTMLModel", + "model_module_version": "1.5.0", + "state": { + "_dom_classes": [], + "_model_module": "@jupyter-widgets/controls", + "_model_module_version": "1.5.0", + "_model_name": "HTMLModel", + "_view_count": null, + "_view_module": "@jupyter-widgets/controls", + "_view_module_version": "1.5.0", + "_view_name": "HTMLView", + "description": "", + "description_tooltip": null, + "layout": "IPY_MODEL_803311125a444cac84373336641b52de", + "placeholder": "​", + "style": "IPY_MODEL_33e1fda524b54aa4a8a3fb000d8539a8", + "value": "\nPro Tip: If you don't already have one, you can create a dedicated\n'notebooks' token with 'write' access, that you can then easily reuse for all\nnotebooks.
" + } + }, + "ed0780c388844699bdbb2e435ef5190b": { + "model_module": "@jupyter-widgets/base", + "model_name": "LayoutModel", + "model_module_version": "1.2.0", + "state": { + "_model_module": "@jupyter-widgets/base", + "_model_module_version": "1.2.0", + "_model_name": "LayoutModel", + "_view_count": null, + "_view_module": "@jupyter-widgets/base", + "_view_module_version": "1.2.0", + "_view_name": "LayoutView", + "align_content": null, + "align_items": "center", + "align_self": null, + "border": null, + "bottom": null, + "display": "flex", + "flex": null, + "flex_flow": "column", + "grid_area": null, + "grid_auto_columns": null, + "grid_auto_flow": null, + "grid_auto_rows": null, + "grid_column": null, + "grid_gap": null, + "grid_row": null, + "grid_template_areas": null, + "grid_template_columns": null, + "grid_template_rows": null, + "height": null, + "justify_content": null, + "justify_items": null, + "left": null, + "margin": null, + "max_height": null, + "max_width": null, + "min_height": null, + "min_width": null, + "object_fit": null, + "object_position": null, + "order": null, + "overflow": null, + "overflow_x": null, + "overflow_y": null, + "padding": null, + "right": null, + "top": null, + "visibility": null, + "width": "50%" + } + }, + "e1dfde4e36584f73a4ee42f213d87174": { + "model_module": "@jupyter-widgets/base", + "model_name": "LayoutModel", + "model_module_version": "1.2.0", + "state": { + "_model_module": "@jupyter-widgets/base", + "_model_module_version": "1.2.0", + "_model_name": "LayoutModel", + "_view_count": null, + "_view_module": "@jupyter-widgets/base", + "_view_module_version": "1.2.0", + "_view_name": "LayoutView", + "align_content": null, + "align_items": null, + "align_self": null, + "border": null, + "bottom": null, + "display": null, + "flex": null, + "flex_flow": null, + "grid_area": null, + "grid_auto_columns": null, + "grid_auto_flow": null, + "grid_auto_rows": null, + "grid_column": null, + "grid_gap": null, + "grid_row": null, + "grid_template_areas": null, + "grid_template_columns": null, + "grid_template_rows": null, + "height": null, + "justify_content": null, + "justify_items": null, + "left": null, + "margin": null, + "max_height": null, + "max_width": null, + "min_height": null, + "min_width": null, + "object_fit": null, + "object_position": null, + "order": null, + "overflow": null, + "overflow_x": null, + "overflow_y": null, + "padding": null, + "right": null, + "top": null, + "visibility": null, + "width": null + } + }, + "aba66871b1b0412d941172272ce51d23": { + "model_module": "@jupyter-widgets/controls", + "model_name": "DescriptionStyleModel", + "model_module_version": "1.5.0", + "state": { + "_model_module": "@jupyter-widgets/controls", + "_model_module_version": "1.5.0", + "_model_name": "DescriptionStyleModel", + "_view_count": null, + "_view_module": "@jupyter-widgets/base", + "_view_module_version": "1.2.0", + "_view_name": "StyleView", + "description_width": "" + } + }, + "d2e4bafa97cf4cadb0cccb9ce9101a50": { + "model_module": "@jupyter-widgets/base", + "model_name": "LayoutModel", + "model_module_version": "1.2.0", + "state": { + "_model_module": "@jupyter-widgets/base", + "_model_module_version": "1.2.0", + "_model_name": "LayoutModel", + "_view_count": null, + "_view_module": "@jupyter-widgets/base", + "_view_module_version": "1.2.0", + "_view_name": "LayoutView", + "align_content": null, + "align_items": null, + "align_self": null, + "border": null, + "bottom": null, + "display": null, + "flex": null, + "flex_flow": null, + "grid_area": null, + "grid_auto_columns": null, + "grid_auto_flow": null, + "grid_auto_rows": null, + "grid_column": null, + "grid_gap": null, + "grid_row": null, + "grid_template_areas": null, + "grid_template_columns": null, + "grid_template_rows": null, + "height": null, + "justify_content": null, + "justify_items": null, + "left": null, + "margin": null, + "max_height": null, + "max_width": null, + "min_height": null, + "min_width": null, + "object_fit": null, + "object_position": null, + "order": null, + "overflow": null, + "overflow_x": null, + "overflow_y": null, + "padding": null, + "right": null, + "top": null, + "visibility": null, + "width": null + } + }, + "79a67b49bbcf42e58ebb8b379df18a0b": { + "model_module": "@jupyter-widgets/controls", + "model_name": "DescriptionStyleModel", + "model_module_version": "1.5.0", + "state": { + "_model_module": "@jupyter-widgets/controls", + "_model_module_version": "1.5.0", + "_model_name": "DescriptionStyleModel", + "_view_count": null, + "_view_module": "@jupyter-widgets/base", + "_view_module_version": "1.2.0", + "_view_name": "StyleView", + "description_width": "" + } + }, + "8f675b0d986346d0b483338855396148": { + "model_module": "@jupyter-widgets/base", + "model_name": "LayoutModel", + "model_module_version": "1.2.0", + "state": { + "_model_module": "@jupyter-widgets/base", + "_model_module_version": "1.2.0", + "_model_name": "LayoutModel", + "_view_count": null, + "_view_module": "@jupyter-widgets/base", + "_view_module_version": "1.2.0", + "_view_name": "LayoutView", + "align_content": null, + "align_items": null, + "align_self": null, + "border": null, + "bottom": null, + "display": null, + "flex": null, + "flex_flow": null, + "grid_area": null, + "grid_auto_columns": null, + "grid_auto_flow": null, + "grid_auto_rows": null, + "grid_column": null, + "grid_gap": null, + "grid_row": null, + "grid_template_areas": null, + "grid_template_columns": null, + "grid_template_rows": null, + "height": null, + "justify_content": null, + "justify_items": null, + "left": null, + "margin": null, + "max_height": null, + "max_width": null, + "min_height": null, + "min_width": null, + "object_fit": null, + "object_position": null, + "order": null, + "overflow": null, + "overflow_x": null, + "overflow_y": null, + "padding": null, + "right": null, + "top": null, + "visibility": null, + "width": null + } + }, + "2e31434a8b2b4a65b613a91ead19d356": { + "model_module": "@jupyter-widgets/controls", + "model_name": "DescriptionStyleModel", + "model_module_version": "1.5.0", + "state": { + "_model_module": "@jupyter-widgets/controls", + "_model_module_version": "1.5.0", + "_model_name": "DescriptionStyleModel", + "_view_count": null, + "_view_module": "@jupyter-widgets/base", + "_view_module_version": "1.2.0", + "_view_name": "StyleView", + "description_width": "" + } + }, + "f125fa1fa88c40828a2ddb5114073bd2": { + "model_module": "@jupyter-widgets/base", + "model_name": "LayoutModel", + "model_module_version": "1.2.0", + "state": { + "_model_module": "@jupyter-widgets/base", + "_model_module_version": "1.2.0", + "_model_name": "LayoutModel", + "_view_count": null, + "_view_module": "@jupyter-widgets/base", + "_view_module_version": "1.2.0", + "_view_name": "LayoutView", + "align_content": null, + "align_items": null, + "align_self": null, + "border": null, + "bottom": null, + "display": null, + "flex": null, + "flex_flow": null, + "grid_area": null, + "grid_auto_columns": null, + "grid_auto_flow": null, + "grid_auto_rows": null, + "grid_column": null, + "grid_gap": null, + "grid_row": null, + "grid_template_areas": null, + "grid_template_columns": null, + "grid_template_rows": null, + "height": null, + "justify_content": null, + "justify_items": null, + "left": null, + "margin": null, + "max_height": null, + "max_width": null, + "min_height": null, + "min_width": null, + "object_fit": null, + "object_position": null, + "order": null, + "overflow": null, + "overflow_x": null, + "overflow_y": null, + "padding": null, + "right": null, + "top": null, + "visibility": null, + "width": null + } + }, + "74088ded4ba44402b5682b10e8e999a2": { + "model_module": "@jupyter-widgets/controls", + "model_name": "ButtonStyleModel", + "model_module_version": "1.5.0", + "state": { + "_model_module": "@jupyter-widgets/controls", + "_model_module_version": "1.5.0", + "_model_name": "ButtonStyleModel", + "_view_count": null, + "_view_module": "@jupyter-widgets/base", + "_view_module_version": "1.2.0", + "_view_name": "StyleView", + "button_color": null, + "font_weight": "" + } + }, + "803311125a444cac84373336641b52de": { + "model_module": "@jupyter-widgets/base", + "model_name": "LayoutModel", + "model_module_version": "1.2.0", + "state": { + "_model_module": "@jupyter-widgets/base", + "_model_module_version": "1.2.0", + "_model_name": "LayoutModel", + "_view_count": null, + "_view_module": "@jupyter-widgets/base", + "_view_module_version": "1.2.0", + "_view_name": "LayoutView", + "align_content": null, + "align_items": null, + "align_self": null, + "border": null, + "bottom": null, + "display": null, + "flex": null, + "flex_flow": null, + "grid_area": null, + "grid_auto_columns": null, + "grid_auto_flow": null, + "grid_auto_rows": null, + "grid_column": null, + "grid_gap": null, + "grid_row": null, + "grid_template_areas": null, + "grid_template_columns": null, + "grid_template_rows": null, + "height": null, + "justify_content": null, + "justify_items": null, + "left": null, + "margin": null, + "max_height": null, + "max_width": null, + "min_height": null, + "min_width": null, + "object_fit": null, + "object_position": null, + "order": null, + "overflow": null, + "overflow_x": null, + "overflow_y": null, + "padding": null, + "right": null, + "top": null, + "visibility": null, + "width": null + } + }, + "33e1fda524b54aa4a8a3fb000d8539a8": { + "model_module": "@jupyter-widgets/controls", + "model_name": "DescriptionStyleModel", + "model_module_version": "1.5.0", + "state": { + "_model_module": "@jupyter-widgets/controls", + "_model_module_version": "1.5.0", + "_model_name": "DescriptionStyleModel", + "_view_count": null, + "_view_module": "@jupyter-widgets/base", + "_view_module_version": "1.2.0", + "_view_name": "StyleView", + "description_width": "" + } + }, + "2de7a9a97c4e4286b4781816510df846": { + "model_module": "@jupyter-widgets/controls", + "model_name": "LabelModel", + "model_module_version": "1.5.0", + "state": { + "_dom_classes": [], + "_model_module": "@jupyter-widgets/controls", + "_model_module_version": "1.5.0", + "_model_name": "LabelModel", + "_view_count": null, + "_view_module": "@jupyter-widgets/controls", + "_view_module_version": "1.5.0", + "_view_name": "LabelView", + "description": "", + "description_tooltip": null, + "layout": "IPY_MODEL_eff567785fa44d5e96adff396be56281", + "placeholder": "​", + "style": "IPY_MODEL_b65f3953d6324668953f1593e0c14730", + "value": "Connecting..." + } + }, + "eff567785fa44d5e96adff396be56281": { + "model_module": "@jupyter-widgets/base", + "model_name": "LayoutModel", + "model_module_version": "1.2.0", + "state": { + "_model_module": "@jupyter-widgets/base", + "_model_module_version": "1.2.0", + "_model_name": "LayoutModel", + "_view_count": null, + "_view_module": "@jupyter-widgets/base", + "_view_module_version": "1.2.0", + "_view_name": "LayoutView", + "align_content": null, + "align_items": null, + "align_self": null, + "border": null, + "bottom": null, + "display": null, + "flex": null, + "flex_flow": null, + "grid_area": null, + "grid_auto_columns": null, + "grid_auto_flow": null, + "grid_auto_rows": null, + "grid_column": null, + "grid_gap": null, + "grid_row": null, + "grid_template_areas": null, + "grid_template_columns": null, + "grid_template_rows": null, + "height": null, + "justify_content": null, + "justify_items": null, + "left": null, + "margin": null, + "max_height": null, + "max_width": null, + "min_height": null, + "min_width": null, + "object_fit": null, + "object_position": null, + "order": null, + "overflow": null, + "overflow_x": null, + "overflow_y": null, + "padding": null, + "right": null, + "top": null, + "visibility": null, + "width": null + } + }, + "b65f3953d6324668953f1593e0c14730": { + "model_module": "@jupyter-widgets/controls", + "model_name": "DescriptionStyleModel", + "model_module_version": "1.5.0", + "state": { + "_model_module": "@jupyter-widgets/controls", + "_model_module_version": "1.5.0", + "_model_name": "DescriptionStyleModel", + "_view_count": null, + "_view_module": "@jupyter-widgets/base", + "_view_module_version": "1.2.0", + "_view_name": "StyleView", + "description_width": "" + } + }, + "4c42effc89b5470fbf8e3c238ad07266": { + "model_module": "@jupyter-widgets/controls", + "model_name": "LabelModel", + "model_module_version": "1.5.0", + "state": { + "_dom_classes": [], + "_model_module": "@jupyter-widgets/controls", + "_model_module_version": "1.5.0", + "_model_name": "LabelModel", + "_view_count": null, + "_view_module": "@jupyter-widgets/controls", + "_view_module_version": "1.5.0", + "_view_name": "LabelView", + "description": "", + "description_tooltip": null, + "layout": "IPY_MODEL_85c817231fda424a84352914bde906b0", + "placeholder": "​", + "style": "IPY_MODEL_28c6dda801c14fa0a1c7d2ccfb8e25a5", + "value": "Token is valid (permission: write)." + } + }, + "fbaf43825f694399b3779640c9a3b6af": { + "model_module": "@jupyter-widgets/controls", + "model_name": "LabelModel", + "model_module_version": "1.5.0", + "state": { + "_dom_classes": [], + "_model_module": "@jupyter-widgets/controls", + "_model_module_version": "1.5.0", + "_model_name": "LabelModel", + "_view_count": null, + "_view_module": "@jupyter-widgets/controls", + "_view_module_version": "1.5.0", + "_view_name": "LabelView", + "description": "", + "description_tooltip": null, + "layout": "IPY_MODEL_f6497b8069c246339b67f7b14d1ae7c7", + "placeholder": "​", + "style": "IPY_MODEL_17ad064d85ab40ef9008e5600d0c5e3f", + "value": "Your token has been saved in your configured git credential helpers (store)." + } + }, + "d5994e087d074e0cb155f6b3607f100d": { + "model_module": "@jupyter-widgets/controls", + "model_name": "LabelModel", + "model_module_version": "1.5.0", + "state": { + "_dom_classes": [], + "_model_module": "@jupyter-widgets/controls", + "_model_module_version": "1.5.0", + "_model_name": "LabelModel", + "_view_count": null, + "_view_module": "@jupyter-widgets/controls", + "_view_module_version": "1.5.0", + "_view_name": "LabelView", + "description": "", + "description_tooltip": null, + "layout": "IPY_MODEL_87fff40c9394414c9c93f31151137ab7", + "placeholder": "​", + "style": "IPY_MODEL_98f0b669c36c47069bcf35fd17bb28cc", + "value": "Your token has been saved to /root/.cache/huggingface/token" + } + }, + "3ea6cf0074854f9bbcfa42e532784b76": { + "model_module": "@jupyter-widgets/controls", + "model_name": "LabelModel", + "model_module_version": "1.5.0", + "state": { + "_dom_classes": [], + "_model_module": "@jupyter-widgets/controls", + "_model_module_version": "1.5.0", + "_model_name": "LabelModel", + "_view_count": null, + "_view_module": "@jupyter-widgets/controls", + "_view_module_version": "1.5.0", + "_view_name": "LabelView", + "description": "", + "description_tooltip": null, + "layout": "IPY_MODEL_e1d56e00ca5849ed9420930df8ac2aed", + "placeholder": "​", + "style": "IPY_MODEL_52891fca852246989e5ee757f502824e", + "value": "Login successful" + } + }, + "85c817231fda424a84352914bde906b0": { + "model_module": "@jupyter-widgets/base", + "model_name": "LayoutModel", + "model_module_version": "1.2.0", + "state": { + "_model_module": "@jupyter-widgets/base", + "_model_module_version": "1.2.0", + "_model_name": "LayoutModel", + "_view_count": null, + "_view_module": "@jupyter-widgets/base", + "_view_module_version": "1.2.0", + "_view_name": "LayoutView", + "align_content": null, + "align_items": null, + "align_self": null, + "border": null, + "bottom": null, + "display": null, + "flex": null, + "flex_flow": null, + "grid_area": null, + "grid_auto_columns": null, + "grid_auto_flow": null, + "grid_auto_rows": null, + "grid_column": null, + "grid_gap": null, + "grid_row": null, + "grid_template_areas": null, + "grid_template_columns": null, + "grid_template_rows": null, + "height": null, + "justify_content": null, + "justify_items": null, + "left": null, + "margin": null, + "max_height": null, + "max_width": null, + "min_height": null, + "min_width": null, + "object_fit": null, + "object_position": null, + "order": null, + "overflow": null, + "overflow_x": null, + "overflow_y": null, + "padding": null, + "right": null, + "top": null, + "visibility": null, + "width": null + } + }, + "28c6dda801c14fa0a1c7d2ccfb8e25a5": { + "model_module": "@jupyter-widgets/controls", + "model_name": "DescriptionStyleModel", + "model_module_version": "1.5.0", + "state": { + "_model_module": "@jupyter-widgets/controls", + "_model_module_version": "1.5.0", + "_model_name": "DescriptionStyleModel", + "_view_count": null, + "_view_module": "@jupyter-widgets/base", + "_view_module_version": "1.2.0", + "_view_name": "StyleView", + "description_width": "" + } + }, + "f6497b8069c246339b67f7b14d1ae7c7": { + "model_module": "@jupyter-widgets/base", + "model_name": "LayoutModel", + "model_module_version": "1.2.0", + "state": { + "_model_module": "@jupyter-widgets/base", + "_model_module_version": "1.2.0", + "_model_name": "LayoutModel", + "_view_count": null, + "_view_module": "@jupyter-widgets/base", + "_view_module_version": "1.2.0", + "_view_name": "LayoutView", + "align_content": null, + "align_items": null, + "align_self": null, + "border": null, + "bottom": null, + "display": null, + "flex": null, + "flex_flow": null, + "grid_area": null, + "grid_auto_columns": null, + "grid_auto_flow": null, + "grid_auto_rows": null, + "grid_column": null, + "grid_gap": null, + "grid_row": null, + "grid_template_areas": null, + "grid_template_columns": null, + "grid_template_rows": null, + "height": null, + "justify_content": null, + "justify_items": null, + "left": null, + "margin": null, + "max_height": null, + "max_width": null, + "min_height": null, + "min_width": null, + "object_fit": null, + "object_position": null, + "order": null, + "overflow": null, + "overflow_x": null, + "overflow_y": null, + "padding": null, + "right": null, + "top": null, + "visibility": null, + "width": null + } + }, + "17ad064d85ab40ef9008e5600d0c5e3f": { + "model_module": "@jupyter-widgets/controls", + "model_name": "DescriptionStyleModel", + "model_module_version": "1.5.0", + "state": { + "_model_module": "@jupyter-widgets/controls", + "_model_module_version": "1.5.0", + "_model_name": "DescriptionStyleModel", + "_view_count": null, + "_view_module": "@jupyter-widgets/base", + "_view_module_version": "1.2.0", + "_view_name": "StyleView", + "description_width": "" + } + }, + "87fff40c9394414c9c93f31151137ab7": { + "model_module": "@jupyter-widgets/base", + "model_name": "LayoutModel", + "model_module_version": "1.2.0", + "state": { + "_model_module": "@jupyter-widgets/base", + "_model_module_version": "1.2.0", + "_model_name": "LayoutModel", + "_view_count": null, + "_view_module": "@jupyter-widgets/base", + "_view_module_version": "1.2.0", + "_view_name": "LayoutView", + "align_content": null, + "align_items": null, + "align_self": null, + "border": null, + "bottom": null, + "display": null, + "flex": null, + "flex_flow": null, + "grid_area": null, + "grid_auto_columns": null, + "grid_auto_flow": null, + "grid_auto_rows": null, + "grid_column": null, + "grid_gap": null, + "grid_row": null, + "grid_template_areas": null, + "grid_template_columns": null, + "grid_template_rows": null, + "height": null, + "justify_content": null, + "justify_items": null, + "left": null, + "margin": null, + "max_height": null, + "max_width": null, + "min_height": null, + "min_width": null, + "object_fit": null, + "object_position": null, + "order": null, + "overflow": null, + "overflow_x": null, + "overflow_y": null, + "padding": null, + "right": null, + "top": null, + "visibility": null, + "width": null + } + }, + "98f0b669c36c47069bcf35fd17bb28cc": { + "model_module": "@jupyter-widgets/controls", + "model_name": "DescriptionStyleModel", + "model_module_version": "1.5.0", + "state": { + "_model_module": "@jupyter-widgets/controls", + "_model_module_version": "1.5.0", + "_model_name": "DescriptionStyleModel", + "_view_count": null, + "_view_module": "@jupyter-widgets/base", + "_view_module_version": "1.2.0", + "_view_name": "StyleView", + "description_width": "" + } + }, + "e1d56e00ca5849ed9420930df8ac2aed": { + "model_module": "@jupyter-widgets/base", + "model_name": "LayoutModel", + "model_module_version": "1.2.0", + "state": { + "_model_module": "@jupyter-widgets/base", + "_model_module_version": "1.2.0", + "_model_name": "LayoutModel", + "_view_count": null, + "_view_module": "@jupyter-widgets/base", + "_view_module_version": "1.2.0", + "_view_name": "LayoutView", + "align_content": null, + "align_items": null, + "align_self": null, + "border": null, + "bottom": null, + "display": null, + "flex": null, + "flex_flow": null, + "grid_area": null, + "grid_auto_columns": null, + "grid_auto_flow": null, + "grid_auto_rows": null, + "grid_column": null, + "grid_gap": null, + "grid_row": null, + "grid_template_areas": null, + "grid_template_columns": null, + "grid_template_rows": null, + "height": null, + "justify_content": null, + "justify_items": null, + "left": null, + "margin": null, + "max_height": null, + "max_width": null, + "min_height": null, + "min_width": null, + "object_fit": null, + "object_position": null, + "order": null, + "overflow": null, + "overflow_x": null, + "overflow_y": null, + "padding": null, + "right": null, + "top": null, + "visibility": null, + "width": null + } + }, + "52891fca852246989e5ee757f502824e": { + "model_module": "@jupyter-widgets/controls", + "model_name": "DescriptionStyleModel", + "model_module_version": "1.5.0", + "state": { + "_model_module": "@jupyter-widgets/controls", + "_model_module_version": "1.5.0", + "_model_name": "DescriptionStyleModel", + "_view_count": null, + "_view_module": "@jupyter-widgets/base", + "_view_module_version": "1.2.0", + "_view_name": "StyleView", + "description_width": "" + } + } + } + } + }, + "nbformat": 4, + "nbformat_minor": 0 +} \ No newline at end of file From f9088dfb7ae67c46b6f8d5f36ea8ea5a0b1931ee Mon Sep 17 00:00:00 2001 From: Ahnjj_DEV Date: Sun, 29 Sep 2024 22:38:07 +0900 Subject: [PATCH 07/23] fix: manual edits: delete error --- notebooks/ko/ko_agent_data_analyst.ipynb | 15 +-------------- 1 file changed, 1 insertion(+), 14 deletions(-) diff --git a/notebooks/ko/ko_agent_data_analyst.ipynb b/notebooks/ko/ko_agent_data_analyst.ipynb index bd6a63e7..1397774c 100644 --- a/notebooks/ko/ko_agent_data_analyst.ipynb +++ b/notebooks/ko/ko_agent_data_analyst.ipynb @@ -240,19 +240,6 @@ "id": "WOLY_WBLPGQE", "collapsed": true }, - "outputs": [ - { - "output_type": "error", - "ename": "NameError", - "evalue": "name 'agent' is not defined", - "traceback": [ - "\u001b[0;31m---------------------------------------------------------------------------\u001b[0m", - "\u001b[0;31mNameError\u001b[0m Traceback (most recent call last)", - "\u001b[0;32m\u001b[0m in \u001b[0;36m\u001b[0;34m()\u001b[0m\n\u001b[1;32m 19\u001b[0m \"\"\"\n\u001b[1;32m 20\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m---> 21\u001b[0;31m analysis = agent.run(\n\u001b[0m\u001b[1;32m 22\u001b[0m \"\"\"당신은 데이터 분석 전문가입니다. 소스 파일을 로드하고 내용을 분석하세요. 아래 세가지 행동을 취해주세요. \n\u001b[1;32m 23\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n", - "\u001b[0;31mNameError\u001b[0m: name 'agent' is not defined" - ] - } - ], "source": [ "additional_notes = \"\"\"\n", "### Variable Notes\n", @@ -1384,4 +1371,4 @@ }, "nbformat": 4, "nbformat_minor": 0 -} \ No newline at end of file +} From cce753556eba5407b964be50f512cd9c87dbfc7b Mon Sep 17 00:00:00 2001 From: Ahnjj_DEV Date: Sun, 29 Sep 2024 22:38:21 +0900 Subject: [PATCH 08/23] Delete notebooks/ko/ko_agent_data_analyst.ipynb --- notebooks/ko/ko_agent_data_analyst.ipynb | 1374 ---------------------- 1 file changed, 1374 deletions(-) delete mode 100644 notebooks/ko/ko_agent_data_analyst.ipynb diff --git a/notebooks/ko/ko_agent_data_analyst.ipynb b/notebooks/ko/ko_agent_data_analyst.ipynb deleted file mode 100644 index 1397774c..00000000 --- a/notebooks/ko/ko_agent_data_analyst.ipynb +++ /dev/null @@ -1,1374 +0,0 @@ -{ - "cells": [ - { - "cell_type": "markdown", - "source": [ - "# 데이터분석 에이전트: 눈깜짝할 사이에 데이터에서 인사이트 얻기 ✨\n", - "_저자: [Aymeric Roucher](https://huggingface.co/m-ric)_\n", - "\n", - "> 이 튜토리얼은 고급 과정입니다. 먼저 [이 쿡북](agents)에 대한 개념을 이해하고 있어야 합니다!\n", - "\n", - "\n", - "이번 쿡북에서 만들 **데이터 분석 에이전트** 는 :\n", - " **데이터 분석 라이브러리를 사용한 코드 에이전트로,데이터로부터 인사이트를 도출하기 위해 데이터프레임을 불러오고 변환하며, 결과를 시각화합니다!**\n", - "\n", - "\n", - "예를 들어 여러분이 '[Kaggle Titanic 챌린지](https://www.kaggle.com/competitions/titanic)'의 데이터를 직접 분석해 개별 승객의 생존 여부를 예측하고 싶다고 가정해 봅시다.\n", - "하지만 직접 분석에 들어가기 전에, 자율 에이전트가 추세를 추출해주고 수치 몇 가지를 그려 인사이트를 발견해 분석을 준비해주기를 원합니다.\n", - "\n", - "이 시스템을 설정해 보겠습니다.\n", - "\n", - "아래 명령어를 실행하여 필요한 의존성을 설치하세요:" - ], - "metadata": { - "id": "ihQ3c6IWDa6G" - } - }, - { - "cell_type": "code", - "execution_count": 2, - "metadata": { - "id": "0WauABimpjta" - }, - "outputs": [], - "source": [ - "!pip install seaborn \"transformers[agents]\"" - ] - }, - { - "cell_type": "markdown", - "metadata": { - "id": "4LJXMiy3pjtb" - }, - "source": [ - "우선 에이전트를 생성합니다. 이 쿡북에서는 `ReactCodeAgent`를 사용했습니다. (더 많은 종류의 에이전트를 확인하려면 [이 문서](https://huggingface.co/docs/transformers/en/agents) 를 참조하세요.)\n", - "이 에이전트는 별도의 도구를 제공하지 않아도 스스로 코드를 실행할 수 있습니다.\n", - "\n", - "일반적으로 `additional_authorized_imports`에 라이브러리를 전달할 때, 파이썬 인터프리터는 환경에 설치된 라이브러리만 사용할 수 있기 때문에, 해당 라이브러리들이 로컬 환경에 설치되어 있는지 확인해야 합니다.\n", - "\n", - "\n", - "⚙ 해당 에이전트는 [meta-llama/Meta-Llama-3.1-70B-Instruct](https://huggingface.co/meta-llama/Meta-Llama-3.1-70B-Instruct) 모델을 사용하며, HF의 Inference API를 사용하는 `HfEngine` 클래스로 구동됩니다. Inference API를 통해 빠르고 쉽게 OS 모델을 실행할 수 있습니다." - ] - }, - { - "cell_type": "code", - "execution_count": 10, - "metadata": { - "id": "XPrHXQgFpjtb", - "outputId": "297ca99a-2d08-4ee4-b4ea-e7bfe37929d0", - "colab": { - "base_uri": "https://localhost:8080/", - "height": 145, - "referenced_widgets": [ - "38fa8b4fa3944d23b2d8eda25b16a5f9", - "475a8232ed7a4fb3a796d2d12b210fc9", - "46f71ce2028a4f9e80caab49747ecbee", - "670fcb115bc84bbdbe841f9a9e8f7e41", - "5282fffc65a848eaa86bbff88e6564aa", - "80be551e17cb47988debe26c9aec2384", - "ed0780c388844699bdbb2e435ef5190b", - "e1dfde4e36584f73a4ee42f213d87174", - "aba66871b1b0412d941172272ce51d23", - "d2e4bafa97cf4cadb0cccb9ce9101a50", - "79a67b49bbcf42e58ebb8b379df18a0b", - "8f675b0d986346d0b483338855396148", - "2e31434a8b2b4a65b613a91ead19d356", - "f125fa1fa88c40828a2ddb5114073bd2", - "74088ded4ba44402b5682b10e8e999a2", - "803311125a444cac84373336641b52de", - "33e1fda524b54aa4a8a3fb000d8539a8", - "2de7a9a97c4e4286b4781816510df846", - "eff567785fa44d5e96adff396be56281", - "b65f3953d6324668953f1593e0c14730", - "4c42effc89b5470fbf8e3c238ad07266", - "fbaf43825f694399b3779640c9a3b6af", - "d5994e087d074e0cb155f6b3607f100d", - "3ea6cf0074854f9bbcfa42e532784b76", - "85c817231fda424a84352914bde906b0", - "28c6dda801c14fa0a1c7d2ccfb8e25a5", - "f6497b8069c246339b67f7b14d1ae7c7", - "17ad064d85ab40ef9008e5600d0c5e3f", - "87fff40c9394414c9c93f31151137ab7", - "98f0b669c36c47069bcf35fd17bb28cc", - "e1d56e00ca5849ed9420930df8ac2aed", - "52891fca852246989e5ee757f502824e" - ] - } - }, - "outputs": [ - { - "output_type": "display_data", - "data": { - "text/plain": [ - "VBox(children=(HTML(value='
\u001b[0m in \u001b[0;36m\u001b[0;34m()\u001b[0m\n\u001b[0;32m----> 1\u001b[0;31m agent = ReactCodeAgent(\n\u001b[0m\u001b[1;32m 2\u001b[0m \u001b[0mtools\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0;34m[\u001b[0m\u001b[0;34m]\u001b[0m\u001b[0;34m,\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m 3\u001b[0m \u001b[0mllm_engine\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0mllm_engine\u001b[0m\u001b[0;34m,\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m 4\u001b[0m additional_authorized_imports=[\n\u001b[1;32m 5\u001b[0m \u001b[0;34m\"numpy\"\u001b[0m\u001b[0;34m,\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n", - "\u001b[0;31mNameError\u001b[0m: name 'ReactCodeAgent' is not defined" - ] - } - ], - "source": [ - "agent = ReactCodeAgent(\n", - " tools=[],\n", - " llm_engine=llm_engine,\n", - " additional_authorized_imports=[\n", - " \"numpy\",\n", - " \"pandas\",\n", - " \"matplotlib.pyplot\",\n", - " \"seaborn\",\n", - " \"sklearn\",\n", - " ],\n", - " max_iterations=12,\n", - ")\n", - "\n", - "output = agent.run(\n", - " \"\"\"당신은 전문가 수준의 머신러닝 엔지니어입니다.\n", - "'titanic/train.csv' 파일을 사용하여 생존 여부를 예측하는 머신러닝 모델을 학습시키세요.\n", - "'titanic/test.csv' 파일의 행에 대한 예측을 수행한 후, 결과를 './output.csv'에 출력하세요.\n", - "함수와 모듈을 사용하기 전에 반드시 임포트하세요!\n", - "\"\"\",\n", - " additional_notes=additional_notes + \"\\n\" + analysis,\n", - ")" - ] - }, - { - "cell_type": "markdown", - "metadata": { - "id": "Iimn7AWtpjtd" - }, - "source": [ - "위에서 에이전트가 출력한 테스트 예측을 Kaggle에 제출하면 **0.78229**으로, 이는 17,360명 중 2824등에 해당하며, 저자가 몇 년 전 이 데이터분석 챌린지를 처음 시도해 힘들게 얻었던 결과보다 더 나은 성과입니다.\n", - "\n", - "결과는 다를 수 있지만, 몇 초 만에 에이전트를 사용해 이 정도 성과를 낼 수 있다는 점이 매우 인상적입니다.\n", - "\n", - "🚀 위 시도는 에이전트를 활용한 단순한 데이터 분석 사례일 뿐입니다. 사용 사례에 맞게 충분히 개선할 수 있습니다!" - ] - }, - { - "cell_type": "code", - "source": [], - "metadata": { - "id": "7Qnz16z1feCf" - }, - "execution_count": null, - "outputs": [] - } - ], - "metadata": { - "kernelspec": { - "display_name": "disposable", - "language": "python", - "name": "python3" - }, - "language_info": { - "codemirror_mode": { - "name": "ipython", - "version": 3 - }, - "file_extension": ".py", - "mimetype": "text/x-python", - "name": "python", - "nbconvert_exporter": "python", - "pygments_lexer": "ipython3", - "version": "3.12.2" - }, - "colab": { - "provenance": [] - }, - "widgets": { - "application/vnd.jupyter.widget-state+json": { - "38fa8b4fa3944d23b2d8eda25b16a5f9": { - "model_module": "@jupyter-widgets/controls", - "model_name": "VBoxModel", - "model_module_version": "1.5.0", - "state": { - "_dom_classes": [], - "_model_module": "@jupyter-widgets/controls", - "_model_module_version": "1.5.0", - "_model_name": "VBoxModel", - "_view_count": null, - "_view_module": "@jupyter-widgets/controls", - "_view_module_version": "1.5.0", - "_view_name": "VBoxView", - "box_style": "", - "children": [ - "IPY_MODEL_4c42effc89b5470fbf8e3c238ad07266", - "IPY_MODEL_fbaf43825f694399b3779640c9a3b6af", - "IPY_MODEL_d5994e087d074e0cb155f6b3607f100d", - "IPY_MODEL_3ea6cf0074854f9bbcfa42e532784b76" - ], - "layout": "IPY_MODEL_ed0780c388844699bdbb2e435ef5190b" - } - }, - "475a8232ed7a4fb3a796d2d12b210fc9": { - "model_module": "@jupyter-widgets/controls", - "model_name": "HTMLModel", - "model_module_version": "1.5.0", - "state": { - "_dom_classes": [], - "_model_module": "@jupyter-widgets/controls", - "_model_module_version": "1.5.0", - "_model_name": "HTMLModel", - "_view_count": null, - "_view_module": "@jupyter-widgets/controls", - "_view_module_version": "1.5.0", - "_view_name": "HTMLView", - "description": "", - "description_tooltip": null, - "layout": "IPY_MODEL_e1dfde4e36584f73a4ee42f213d87174", - "placeholder": "​", - "style": "IPY_MODEL_aba66871b1b0412d941172272ce51d23", - "value": "

Copy a token from your Hugging Face\ntokens page and paste it below.
Immediately click login after copying\nyour token or it might be stored in plain text in this notebook file.
" - } - }, - "46f71ce2028a4f9e80caab49747ecbee": { - "model_module": "@jupyter-widgets/controls", - "model_name": "PasswordModel", - "model_module_version": "1.5.0", - "state": { - "_dom_classes": [], - "_model_module": "@jupyter-widgets/controls", - "_model_module_version": "1.5.0", - "_model_name": "PasswordModel", - "_view_count": null, - "_view_module": "@jupyter-widgets/controls", - "_view_module_version": "1.5.0", - "_view_name": "PasswordView", - "continuous_update": true, - "description": "Token:", - "description_tooltip": null, - "disabled": false, - "layout": "IPY_MODEL_d2e4bafa97cf4cadb0cccb9ce9101a50", - "placeholder": "​", - "style": "IPY_MODEL_79a67b49bbcf42e58ebb8b379df18a0b", - "value": "" - } - }, - "670fcb115bc84bbdbe841f9a9e8f7e41": { - "model_module": "@jupyter-widgets/controls", - "model_name": "CheckboxModel", - "model_module_version": "1.5.0", - "state": { - "_dom_classes": [], - "_model_module": "@jupyter-widgets/controls", - "_model_module_version": "1.5.0", - "_model_name": "CheckboxModel", - "_view_count": null, - "_view_module": "@jupyter-widgets/controls", - "_view_module_version": "1.5.0", - "_view_name": "CheckboxView", - "description": "Add token as git credential?", - "description_tooltip": null, - "disabled": false, - "indent": true, - "layout": "IPY_MODEL_8f675b0d986346d0b483338855396148", - "style": "IPY_MODEL_2e31434a8b2b4a65b613a91ead19d356", - "value": true - } - }, - "5282fffc65a848eaa86bbff88e6564aa": { - "model_module": "@jupyter-widgets/controls", - "model_name": "ButtonModel", - "model_module_version": "1.5.0", - "state": { - "_dom_classes": [], - "_model_module": "@jupyter-widgets/controls", - "_model_module_version": "1.5.0", - "_model_name": "ButtonModel", - "_view_count": null, - "_view_module": "@jupyter-widgets/controls", - "_view_module_version": "1.5.0", - "_view_name": "ButtonView", - "button_style": "", - "description": "Login", - "disabled": false, - "icon": "", - "layout": "IPY_MODEL_f125fa1fa88c40828a2ddb5114073bd2", - "style": "IPY_MODEL_74088ded4ba44402b5682b10e8e999a2", - "tooltip": "" - } - }, - "80be551e17cb47988debe26c9aec2384": { - "model_module": "@jupyter-widgets/controls", - "model_name": "HTMLModel", - "model_module_version": "1.5.0", - "state": { - "_dom_classes": [], - "_model_module": "@jupyter-widgets/controls", - "_model_module_version": "1.5.0", - "_model_name": "HTMLModel", - "_view_count": null, - "_view_module": "@jupyter-widgets/controls", - "_view_module_version": "1.5.0", - "_view_name": "HTMLView", - "description": "", - "description_tooltip": null, - "layout": "IPY_MODEL_803311125a444cac84373336641b52de", - "placeholder": "​", - "style": "IPY_MODEL_33e1fda524b54aa4a8a3fb000d8539a8", - "value": "\nPro Tip: If you don't already have one, you can create a dedicated\n'notebooks' token with 'write' access, that you can then easily reuse for all\nnotebooks.
" - } - }, - "ed0780c388844699bdbb2e435ef5190b": { - "model_module": "@jupyter-widgets/base", - "model_name": "LayoutModel", - "model_module_version": "1.2.0", - "state": { - "_model_module": "@jupyter-widgets/base", - "_model_module_version": "1.2.0", - "_model_name": "LayoutModel", - "_view_count": null, - "_view_module": "@jupyter-widgets/base", - "_view_module_version": "1.2.0", - "_view_name": "LayoutView", - "align_content": null, - "align_items": "center", - "align_self": null, - "border": null, - "bottom": null, - "display": "flex", - "flex": null, - "flex_flow": "column", - "grid_area": null, - "grid_auto_columns": null, - "grid_auto_flow": null, - "grid_auto_rows": null, - "grid_column": null, - "grid_gap": null, - "grid_row": null, - "grid_template_areas": null, - "grid_template_columns": null, - "grid_template_rows": null, - "height": null, - "justify_content": null, - "justify_items": null, - "left": null, - "margin": null, - "max_height": null, - "max_width": null, - "min_height": null, - "min_width": null, - "object_fit": null, - "object_position": null, - "order": null, - "overflow": null, - "overflow_x": null, - "overflow_y": null, - "padding": null, - "right": null, - "top": null, - "visibility": null, - "width": "50%" - } - }, - "e1dfde4e36584f73a4ee42f213d87174": { - "model_module": "@jupyter-widgets/base", - "model_name": "LayoutModel", - "model_module_version": "1.2.0", - "state": { - "_model_module": "@jupyter-widgets/base", - "_model_module_version": "1.2.0", - "_model_name": "LayoutModel", - "_view_count": null, - "_view_module": "@jupyter-widgets/base", - "_view_module_version": "1.2.0", - "_view_name": "LayoutView", - "align_content": null, - "align_items": null, - "align_self": null, - "border": null, - "bottom": null, - "display": null, - "flex": null, - "flex_flow": null, - "grid_area": null, - "grid_auto_columns": null, - "grid_auto_flow": null, - "grid_auto_rows": null, - "grid_column": null, - "grid_gap": null, - "grid_row": null, - "grid_template_areas": null, - "grid_template_columns": null, - "grid_template_rows": null, - "height": null, - "justify_content": null, - "justify_items": null, - "left": null, - "margin": null, - "max_height": null, - "max_width": null, - "min_height": null, - "min_width": null, - "object_fit": null, - "object_position": null, - "order": null, - "overflow": null, - "overflow_x": null, - "overflow_y": null, - "padding": null, - "right": null, - "top": null, - "visibility": null, - "width": null - } - }, - "aba66871b1b0412d941172272ce51d23": { - "model_module": "@jupyter-widgets/controls", - "model_name": "DescriptionStyleModel", - "model_module_version": "1.5.0", - "state": { - "_model_module": "@jupyter-widgets/controls", - "_model_module_version": "1.5.0", - "_model_name": "DescriptionStyleModel", - "_view_count": null, - "_view_module": "@jupyter-widgets/base", - "_view_module_version": "1.2.0", - "_view_name": "StyleView", - "description_width": "" - } - }, - "d2e4bafa97cf4cadb0cccb9ce9101a50": { - "model_module": "@jupyter-widgets/base", - "model_name": "LayoutModel", - "model_module_version": "1.2.0", - "state": { - "_model_module": "@jupyter-widgets/base", - "_model_module_version": "1.2.0", - "_model_name": "LayoutModel", - "_view_count": null, - "_view_module": "@jupyter-widgets/base", - "_view_module_version": "1.2.0", - "_view_name": "LayoutView", - "align_content": null, - "align_items": null, - "align_self": null, - "border": null, - "bottom": null, - "display": null, - "flex": null, - "flex_flow": null, - "grid_area": null, - "grid_auto_columns": null, - "grid_auto_flow": null, - "grid_auto_rows": null, - "grid_column": null, - "grid_gap": null, - "grid_row": null, - "grid_template_areas": null, - "grid_template_columns": null, - "grid_template_rows": null, - "height": null, - "justify_content": null, - "justify_items": null, - "left": null, - "margin": null, - "max_height": null, - "max_width": null, - "min_height": null, - "min_width": null, - "object_fit": null, - "object_position": null, - "order": null, - "overflow": null, - "overflow_x": null, - "overflow_y": null, - "padding": null, - "right": null, - "top": null, - "visibility": null, - "width": null - } - }, - "79a67b49bbcf42e58ebb8b379df18a0b": { - "model_module": "@jupyter-widgets/controls", - "model_name": "DescriptionStyleModel", - "model_module_version": "1.5.0", - "state": { - "_model_module": "@jupyter-widgets/controls", - "_model_module_version": "1.5.0", - "_model_name": "DescriptionStyleModel", - "_view_count": null, - "_view_module": "@jupyter-widgets/base", - "_view_module_version": "1.2.0", - "_view_name": "StyleView", - "description_width": "" - } - }, - "8f675b0d986346d0b483338855396148": { - "model_module": "@jupyter-widgets/base", - "model_name": "LayoutModel", - "model_module_version": "1.2.0", - "state": { - "_model_module": "@jupyter-widgets/base", - "_model_module_version": "1.2.0", - "_model_name": "LayoutModel", - "_view_count": null, - "_view_module": "@jupyter-widgets/base", - "_view_module_version": "1.2.0", - "_view_name": "LayoutView", - "align_content": null, - "align_items": null, - "align_self": null, - "border": null, - "bottom": null, - "display": null, - "flex": null, - "flex_flow": null, - "grid_area": null, - "grid_auto_columns": null, - "grid_auto_flow": null, - "grid_auto_rows": null, - "grid_column": null, - "grid_gap": null, - "grid_row": null, - "grid_template_areas": null, - "grid_template_columns": null, - "grid_template_rows": null, - "height": null, - "justify_content": null, - "justify_items": null, - "left": null, - "margin": null, - "max_height": null, - "max_width": null, - "min_height": null, - "min_width": null, - "object_fit": null, - "object_position": null, - "order": null, - "overflow": null, - "overflow_x": null, - "overflow_y": null, - "padding": null, - "right": null, - "top": null, - "visibility": null, - "width": null - } - }, - "2e31434a8b2b4a65b613a91ead19d356": { - "model_module": "@jupyter-widgets/controls", - "model_name": "DescriptionStyleModel", - "model_module_version": "1.5.0", - "state": { - "_model_module": "@jupyter-widgets/controls", - "_model_module_version": "1.5.0", - "_model_name": "DescriptionStyleModel", - "_view_count": null, - "_view_module": "@jupyter-widgets/base", - "_view_module_version": "1.2.0", - "_view_name": "StyleView", - "description_width": "" - } - }, - "f125fa1fa88c40828a2ddb5114073bd2": { - "model_module": "@jupyter-widgets/base", - "model_name": "LayoutModel", - "model_module_version": "1.2.0", - "state": { - "_model_module": "@jupyter-widgets/base", - "_model_module_version": "1.2.0", - "_model_name": "LayoutModel", - "_view_count": null, - "_view_module": "@jupyter-widgets/base", - "_view_module_version": "1.2.0", - "_view_name": "LayoutView", - "align_content": null, - "align_items": null, - "align_self": null, - "border": null, - "bottom": null, - "display": null, - "flex": null, - "flex_flow": null, - "grid_area": null, - "grid_auto_columns": null, - "grid_auto_flow": null, - "grid_auto_rows": null, - "grid_column": null, - "grid_gap": null, - "grid_row": null, - "grid_template_areas": null, - "grid_template_columns": null, - "grid_template_rows": null, - "height": null, - "justify_content": null, - "justify_items": null, - "left": null, - "margin": null, - "max_height": null, - "max_width": null, - "min_height": null, - "min_width": null, - "object_fit": null, - "object_position": null, - "order": null, - "overflow": null, - "overflow_x": null, - "overflow_y": null, - "padding": null, - "right": null, - "top": null, - "visibility": null, - "width": null - } - }, - "74088ded4ba44402b5682b10e8e999a2": { - "model_module": "@jupyter-widgets/controls", - "model_name": "ButtonStyleModel", - "model_module_version": "1.5.0", - "state": { - "_model_module": "@jupyter-widgets/controls", - "_model_module_version": "1.5.0", - "_model_name": "ButtonStyleModel", - "_view_count": null, - "_view_module": "@jupyter-widgets/base", - "_view_module_version": "1.2.0", - "_view_name": "StyleView", - "button_color": null, - "font_weight": "" - } - }, - "803311125a444cac84373336641b52de": { - "model_module": "@jupyter-widgets/base", - "model_name": "LayoutModel", - "model_module_version": "1.2.0", - "state": { - "_model_module": "@jupyter-widgets/base", - "_model_module_version": "1.2.0", - "_model_name": "LayoutModel", - "_view_count": null, - "_view_module": "@jupyter-widgets/base", - "_view_module_version": "1.2.0", - "_view_name": "LayoutView", - "align_content": null, - "align_items": null, - "align_self": null, - "border": null, - "bottom": null, - "display": null, - "flex": null, - "flex_flow": null, - "grid_area": null, - "grid_auto_columns": null, - "grid_auto_flow": null, - "grid_auto_rows": null, - "grid_column": null, - "grid_gap": null, - "grid_row": null, - "grid_template_areas": null, - "grid_template_columns": null, - "grid_template_rows": null, - "height": null, - "justify_content": null, - "justify_items": null, - "left": null, - "margin": null, - "max_height": null, - "max_width": null, - "min_height": null, - "min_width": null, - "object_fit": null, - "object_position": null, - "order": null, - "overflow": null, - "overflow_x": null, - "overflow_y": null, - "padding": null, - "right": null, - "top": null, - "visibility": null, - "width": null - } - }, - "33e1fda524b54aa4a8a3fb000d8539a8": { - "model_module": "@jupyter-widgets/controls", - "model_name": "DescriptionStyleModel", - "model_module_version": "1.5.0", - "state": { - "_model_module": "@jupyter-widgets/controls", - "_model_module_version": "1.5.0", - "_model_name": "DescriptionStyleModel", - "_view_count": null, - "_view_module": "@jupyter-widgets/base", - "_view_module_version": "1.2.0", - "_view_name": "StyleView", - "description_width": "" - } - }, - "2de7a9a97c4e4286b4781816510df846": { - "model_module": "@jupyter-widgets/controls", - "model_name": "LabelModel", - "model_module_version": "1.5.0", - "state": { - "_dom_classes": [], - "_model_module": "@jupyter-widgets/controls", - "_model_module_version": "1.5.0", - "_model_name": "LabelModel", - "_view_count": null, - "_view_module": "@jupyter-widgets/controls", - "_view_module_version": "1.5.0", - "_view_name": "LabelView", - "description": "", - "description_tooltip": null, - "layout": "IPY_MODEL_eff567785fa44d5e96adff396be56281", - "placeholder": "​", - "style": "IPY_MODEL_b65f3953d6324668953f1593e0c14730", - "value": "Connecting..." - } - }, - "eff567785fa44d5e96adff396be56281": { - "model_module": "@jupyter-widgets/base", - "model_name": "LayoutModel", - "model_module_version": "1.2.0", - "state": { - "_model_module": "@jupyter-widgets/base", - "_model_module_version": "1.2.0", - "_model_name": "LayoutModel", - "_view_count": null, - "_view_module": "@jupyter-widgets/base", - "_view_module_version": "1.2.0", - "_view_name": "LayoutView", - "align_content": null, - "align_items": null, - "align_self": null, - "border": null, - "bottom": null, - "display": null, - "flex": null, - "flex_flow": null, - "grid_area": null, - "grid_auto_columns": null, - "grid_auto_flow": null, - "grid_auto_rows": null, - "grid_column": null, - "grid_gap": null, - "grid_row": null, - "grid_template_areas": null, - "grid_template_columns": null, - "grid_template_rows": null, - "height": null, - "justify_content": null, - "justify_items": null, - "left": null, - "margin": null, - "max_height": null, - "max_width": null, - "min_height": null, - "min_width": null, - "object_fit": null, - "object_position": null, - "order": null, - "overflow": null, - "overflow_x": null, - "overflow_y": null, - "padding": null, - "right": null, - "top": null, - "visibility": null, - "width": null - } - }, - "b65f3953d6324668953f1593e0c14730": { - "model_module": "@jupyter-widgets/controls", - "model_name": "DescriptionStyleModel", - "model_module_version": "1.5.0", - "state": { - "_model_module": "@jupyter-widgets/controls", - "_model_module_version": "1.5.0", - "_model_name": "DescriptionStyleModel", - "_view_count": null, - "_view_module": "@jupyter-widgets/base", - "_view_module_version": "1.2.0", - "_view_name": "StyleView", - "description_width": "" - } - }, - "4c42effc89b5470fbf8e3c238ad07266": { - "model_module": "@jupyter-widgets/controls", - "model_name": "LabelModel", - "model_module_version": "1.5.0", - "state": { - "_dom_classes": [], - "_model_module": "@jupyter-widgets/controls", - "_model_module_version": "1.5.0", - "_model_name": "LabelModel", - "_view_count": null, - "_view_module": "@jupyter-widgets/controls", - "_view_module_version": "1.5.0", - "_view_name": "LabelView", - "description": "", - "description_tooltip": null, - "layout": "IPY_MODEL_85c817231fda424a84352914bde906b0", - "placeholder": "​", - "style": "IPY_MODEL_28c6dda801c14fa0a1c7d2ccfb8e25a5", - "value": "Token is valid (permission: write)." - } - }, - "fbaf43825f694399b3779640c9a3b6af": { - "model_module": "@jupyter-widgets/controls", - "model_name": "LabelModel", - "model_module_version": "1.5.0", - "state": { - "_dom_classes": [], - "_model_module": "@jupyter-widgets/controls", - "_model_module_version": "1.5.0", - "_model_name": "LabelModel", - "_view_count": null, - "_view_module": "@jupyter-widgets/controls", - "_view_module_version": "1.5.0", - "_view_name": "LabelView", - "description": "", - "description_tooltip": null, - "layout": "IPY_MODEL_f6497b8069c246339b67f7b14d1ae7c7", - "placeholder": "​", - "style": "IPY_MODEL_17ad064d85ab40ef9008e5600d0c5e3f", - "value": "Your token has been saved in your configured git credential helpers (store)." - } - }, - "d5994e087d074e0cb155f6b3607f100d": { - "model_module": "@jupyter-widgets/controls", - "model_name": "LabelModel", - "model_module_version": "1.5.0", - "state": { - "_dom_classes": [], - "_model_module": "@jupyter-widgets/controls", - "_model_module_version": "1.5.0", - "_model_name": "LabelModel", - "_view_count": null, - "_view_module": "@jupyter-widgets/controls", - "_view_module_version": "1.5.0", - "_view_name": "LabelView", - "description": "", - "description_tooltip": null, - "layout": "IPY_MODEL_87fff40c9394414c9c93f31151137ab7", - "placeholder": "​", - "style": "IPY_MODEL_98f0b669c36c47069bcf35fd17bb28cc", - "value": "Your token has been saved to /root/.cache/huggingface/token" - } - }, - "3ea6cf0074854f9bbcfa42e532784b76": { - "model_module": "@jupyter-widgets/controls", - "model_name": "LabelModel", - "model_module_version": "1.5.0", - "state": { - "_dom_classes": [], - "_model_module": "@jupyter-widgets/controls", - "_model_module_version": "1.5.0", - "_model_name": "LabelModel", - "_view_count": null, - "_view_module": "@jupyter-widgets/controls", - "_view_module_version": "1.5.0", - "_view_name": "LabelView", - "description": "", - "description_tooltip": null, - "layout": "IPY_MODEL_e1d56e00ca5849ed9420930df8ac2aed", - "placeholder": "​", - "style": "IPY_MODEL_52891fca852246989e5ee757f502824e", - "value": "Login successful" - } - }, - "85c817231fda424a84352914bde906b0": { - "model_module": "@jupyter-widgets/base", - "model_name": "LayoutModel", - "model_module_version": "1.2.0", - "state": { - "_model_module": "@jupyter-widgets/base", - "_model_module_version": "1.2.0", - "_model_name": "LayoutModel", - "_view_count": null, - "_view_module": "@jupyter-widgets/base", - "_view_module_version": "1.2.0", - "_view_name": "LayoutView", - "align_content": null, - "align_items": null, - "align_self": null, - "border": null, - "bottom": null, - "display": null, - "flex": null, - "flex_flow": null, - "grid_area": null, - "grid_auto_columns": null, - "grid_auto_flow": null, - "grid_auto_rows": null, - "grid_column": null, - "grid_gap": null, - "grid_row": null, - "grid_template_areas": null, - "grid_template_columns": null, - "grid_template_rows": null, - "height": null, - "justify_content": null, - "justify_items": null, - "left": null, - "margin": null, - "max_height": null, - "max_width": null, - "min_height": null, - "min_width": null, - "object_fit": null, - "object_position": null, - "order": null, - "overflow": null, - "overflow_x": null, - "overflow_y": null, - "padding": null, - "right": null, - "top": null, - "visibility": null, - "width": null - } - }, - "28c6dda801c14fa0a1c7d2ccfb8e25a5": { - "model_module": "@jupyter-widgets/controls", - "model_name": "DescriptionStyleModel", - "model_module_version": "1.5.0", - "state": { - "_model_module": "@jupyter-widgets/controls", - "_model_module_version": "1.5.0", - "_model_name": "DescriptionStyleModel", - "_view_count": null, - "_view_module": "@jupyter-widgets/base", - "_view_module_version": "1.2.0", - "_view_name": "StyleView", - "description_width": "" - } - }, - "f6497b8069c246339b67f7b14d1ae7c7": { - "model_module": "@jupyter-widgets/base", - "model_name": "LayoutModel", - "model_module_version": "1.2.0", - "state": { - "_model_module": "@jupyter-widgets/base", - "_model_module_version": "1.2.0", - "_model_name": "LayoutModel", - "_view_count": null, - "_view_module": "@jupyter-widgets/base", - "_view_module_version": "1.2.0", - "_view_name": "LayoutView", - "align_content": null, - "align_items": null, - "align_self": null, - "border": null, - "bottom": null, - "display": null, - "flex": null, - "flex_flow": null, - "grid_area": null, - "grid_auto_columns": null, - "grid_auto_flow": null, - "grid_auto_rows": null, - "grid_column": null, - "grid_gap": null, - "grid_row": null, - "grid_template_areas": null, - "grid_template_columns": null, - "grid_template_rows": null, - "height": null, - "justify_content": null, - "justify_items": null, - "left": null, - "margin": null, - "max_height": null, - "max_width": null, - "min_height": null, - "min_width": null, - "object_fit": null, - "object_position": null, - "order": null, - "overflow": null, - "overflow_x": null, - "overflow_y": null, - "padding": null, - "right": null, - "top": null, - "visibility": null, - "width": null - } - }, - "17ad064d85ab40ef9008e5600d0c5e3f": { - "model_module": "@jupyter-widgets/controls", - "model_name": "DescriptionStyleModel", - "model_module_version": "1.5.0", - "state": { - "_model_module": "@jupyter-widgets/controls", - "_model_module_version": "1.5.0", - "_model_name": "DescriptionStyleModel", - "_view_count": null, - "_view_module": "@jupyter-widgets/base", - "_view_module_version": "1.2.0", - "_view_name": "StyleView", - "description_width": "" - } - }, - "87fff40c9394414c9c93f31151137ab7": { - "model_module": "@jupyter-widgets/base", - "model_name": "LayoutModel", - "model_module_version": "1.2.0", - "state": { - "_model_module": "@jupyter-widgets/base", - "_model_module_version": "1.2.0", - "_model_name": "LayoutModel", - "_view_count": null, - "_view_module": "@jupyter-widgets/base", - "_view_module_version": "1.2.0", - "_view_name": "LayoutView", - "align_content": null, - "align_items": null, - "align_self": null, - "border": null, - "bottom": null, - "display": null, - "flex": null, - "flex_flow": null, - "grid_area": null, - "grid_auto_columns": null, - "grid_auto_flow": null, - "grid_auto_rows": null, - "grid_column": null, - "grid_gap": null, - "grid_row": null, - "grid_template_areas": null, - "grid_template_columns": null, - "grid_template_rows": null, - "height": null, - "justify_content": null, - "justify_items": null, - "left": null, - "margin": null, - "max_height": null, - "max_width": null, - "min_height": null, - "min_width": null, - "object_fit": null, - "object_position": null, - "order": null, - "overflow": null, - "overflow_x": null, - "overflow_y": null, - "padding": null, - "right": null, - "top": null, - "visibility": null, - "width": null - } - }, - "98f0b669c36c47069bcf35fd17bb28cc": { - "model_module": "@jupyter-widgets/controls", - "model_name": "DescriptionStyleModel", - "model_module_version": "1.5.0", - "state": { - "_model_module": "@jupyter-widgets/controls", - "_model_module_version": "1.5.0", - "_model_name": "DescriptionStyleModel", - "_view_count": null, - "_view_module": "@jupyter-widgets/base", - "_view_module_version": "1.2.0", - "_view_name": "StyleView", - "description_width": "" - } - }, - "e1d56e00ca5849ed9420930df8ac2aed": { - "model_module": "@jupyter-widgets/base", - "model_name": "LayoutModel", - "model_module_version": "1.2.0", - "state": { - "_model_module": "@jupyter-widgets/base", - "_model_module_version": "1.2.0", - "_model_name": "LayoutModel", - "_view_count": null, - "_view_module": "@jupyter-widgets/base", - "_view_module_version": "1.2.0", - "_view_name": "LayoutView", - "align_content": null, - "align_items": null, - "align_self": null, - "border": null, - "bottom": null, - "display": null, - "flex": null, - "flex_flow": null, - "grid_area": null, - "grid_auto_columns": null, - "grid_auto_flow": null, - "grid_auto_rows": null, - "grid_column": null, - "grid_gap": null, - "grid_row": null, - "grid_template_areas": null, - "grid_template_columns": null, - "grid_template_rows": null, - "height": null, - "justify_content": null, - "justify_items": null, - "left": null, - "margin": null, - "max_height": null, - "max_width": null, - "min_height": null, - "min_width": null, - "object_fit": null, - "object_position": null, - "order": null, - "overflow": null, - "overflow_x": null, - "overflow_y": null, - "padding": null, - "right": null, - "top": null, - "visibility": null, - "width": null - } - }, - "52891fca852246989e5ee757f502824e": { - "model_module": "@jupyter-widgets/controls", - "model_name": "DescriptionStyleModel", - "model_module_version": "1.5.0", - "state": { - "_model_module": "@jupyter-widgets/controls", - "_model_module_version": "1.5.0", - "_model_name": "DescriptionStyleModel", - "_view_count": null, - "_view_module": "@jupyter-widgets/base", - "_view_module_version": "1.2.0", - "_view_name": "StyleView", - "description_width": "" - } - } - } - } - }, - "nbformat": 4, - "nbformat_minor": 0 -} From 8240508966a3454d6397479c404babd741be1eb4 Mon Sep 17 00:00:00 2001 From: Ahnjj_DEV Date: Sun, 29 Sep 2024 22:39:47 +0900 Subject: [PATCH 09/23] feat: nmt draft --- notebooks/ko/ko_agent_data_analyst.ipynb | 298 +++++++++++++++++++++++ 1 file changed, 298 insertions(+) create mode 100644 notebooks/ko/ko_agent_data_analyst.ipynb diff --git a/notebooks/ko/ko_agent_data_analyst.ipynb b/notebooks/ko/ko_agent_data_analyst.ipynb new file mode 100644 index 00000000..fcdc5059 --- /dev/null +++ b/notebooks/ko/ko_agent_data_analyst.ipynb @@ -0,0 +1,298 @@ +{ + "cells": [ + { + "cell_type": "markdown", + "source": [ + "# 데이터분석 에이전트: 눈깜짝할 사이에 데이터에서 인사이트 얻기 ✨\n", + "_저자: [Aymeric Roucher](https://huggingface.co/m-ric)_\n", + "\n", + "> 이 튜토리얼은 고급 과정입니다. 먼저 [이 쿡북](agents)에 대한 개념을 이해하고 있어야 합니다!\n", + "\n", + "\n", + "이번 쿡북에서 만들 **데이터 분석 에이전트** 는 :\n", + " **데이터 분석 라이브러리를 사용한 코드 에이전트로,데이터로부터 인사이트를 도출하기 위해 데이터프레임을 불러오고 변환하며, 결과를 시각화합니다!**\n", + "\n", + "\n", + "예를 들어 여러분이 '[Kaggle Titanic 챌린지](https://www.kaggle.com/competitions/titanic)'의 데이터를 직접 분석해 개별 승객의 생존 여부를 예측하고 싶다고 가정해 봅시다.\n", + "하지만 직접 분석에 들어가기 전에, 자율 에이전트가 추세를 추출해주고 수치 몇 가지를 그려 인사이트를 발견해 분석을 준비해주기를 원합니다.\n", + "\n", + "이 시스템을 설정해 보겠습니다.\n", + "\n", + "아래 명령어를 실행하여 필요한 의존성을 설치하세요:" + ], + "metadata": { + "id": "ihQ3c6IWDa6G" + } + }, + { + "cell_type": "code", + "execution_count": 2, + "metadata": { + "id": "0WauABimpjta" + }, + "outputs": [], + "source": [ + "!pip install seaborn \"transformers[agents]\"" + ] + }, + { + "cell_type": "markdown", + "metadata": { + "id": "4LJXMiy3pjtb" + }, + "source": [ + "우선 에이전트를 생성합니다. 이 쿡북에서는 `ReactCodeAgent`를 사용했습니다. (더 많은 종류의 에이전트를 확인하려면 [이 문서](https://huggingface.co/docs/transformers/en/agents) 를 참조하세요.)\n", + "이 에이전트는 별도의 도구를 제공하지 않아도 스스로 코드를 실행할 수 있습니다.\n", + "\n", + "일반적으로 `additional_authorized_imports`에 라이브러리를 전달할 때, 파이썬 인터프리터는 환경에 설치된 라이브러리만 사용할 수 있기 때문에, 해당 라이브러리들이 로컬 환경에 설치되어 있는지 확인해야 합니다.\n", + "\n", + "\n", + "⚙ 해당 에이전트는 [meta-llama/Meta-Llama-3.1-70B-Instruct](https://huggingface.co/meta-llama/Meta-Llama-3.1-70B-Instruct) 모델을 사용하며, HF의 Inference API를 사용하는 `HfEngine` 클래스로 구동됩니다. Inference API를 통해 빠르고 쉽게 OS 모델을 실행할 수 있습니다." + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "id": "XPrHXQgFpjtb" + }, + "outputs": [], + "source": [ + "from transformers.agents import HfEngine, ReactCodeAgent\n", + "from huggingface_hub import login\n", + "import os\n", + "\n", + "# login(os.getenv(\"HUGGINGFACEHUB_API_TOKEN\"))\n", + "login(os.getenv(\"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\"))\n", + "llm_engine = HfEngine(\"meta-llama/Meta-Llama-3.1-70B-Instruct\")\n", + "\n", + "agent = ReactCodeAgent(\n", + " tools=[],\n", + " llm_engine=llm_engine,\n", + " additional_authorized_imports=[\"numpy\", \"pandas\", \"matplotlib.pyplot\", \"seaborn\"],\n", + " max_iterations=10,\n", + ")" + ] + }, + { + "cell_type": "markdown", + "metadata": { + "id": "iGSuFGGwpjtb" + }, + "source": [ + "## 데이터 분석 📊🤔\n", + "\n", + "에이전트 실행시, 실제 캐글 대회에서 사용된 추가적인 노트를 `run`메소드의 kwarg로 넘겨주었습니다.\n" + ] + }, + { + "cell_type": "code", + "source": [ + "from google.colab import drive\n", + "drive.mount('/content/drive') # 구글 드라이브 마운트" + ], + "metadata": { + "id": "qWYp-IertEN1", + "collapsed": true + }, + "execution_count": null, + "outputs": [] + }, + { + "cell_type": "code", + "source": [ + "import os\n", + "\n", + "os.chdir('/content/drive/My Drive/Colab Notebooks') # 원하는 경로로 변경\n", + "print(os.getcwd()) # 변경된 경로 확인" + ], + "metadata": { + "id": "UCK6t2u5sKpm", + "collapsed": true + }, + "execution_count": null, + "outputs": [] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "id": "pywHujGvpjtb" + }, + "outputs": [], + "source": [ + "# 디렉토리 생성\n", + "os.mkdir(\"./figures\")" + ] + }, + { + "cell_type": "code", + "source": [ + "os.chdir('/content/drive/My Drive/Colab Notebooks/figures') # 원하는 경로로 변경\n", + "print(os.getcwd()) # 변경된 경로 확인" + ], + "metadata": { + "id": "X2wTtXDjNYyI", + "collapsed": true + }, + "execution_count": null, + "outputs": [] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "id": "WOLY_WBLPGQE", + "collapsed": true + }, + "outputs": [], + "source": [ + "additional_notes = \"\"\"\n", + "### Variable Notes\n", + "PassengerId : 승객 아이디\n", + "Survived : 생존여부 (0: 사망, 1: 생존)\n", + "pclass: 사회경제적 지위(SES)의 대리 변수\n", + "1 = 상류층\n", + "2 = 중산층\n", + "3 = 하류층\n", + "Sex : 성별 (male: 남성, female: 여성)\n", + "age: 나이(Age)가 1 미만일 경우 소수로 표시됩니다. 나이가 추정된 경우, xx.5 형태로 표시됩니다.\n", + "sibsp: 이 데이터셋은 가족 관계를 다음과 같이 정의합니다...\n", + "형제 = 형제, 자매, 이복형제, 이복자매\n", + "배우자 = 남편, 아내 (애인과 약혼자는 간주하지 않았습니다.)\n", + "parch: 이 데이터셋은 가족 관계를 다음과 같이 정의합니다...\n", + "부모 = 어머니, 아버지\n", + "자녀 = 딸, 아들, 양녀, 양자\n", + "유모와 여행을 온 몇 어린이들의 경우, parch=0 로 표현합니다.\n", + "Fare: 티켓 요금\n", + "\"\"\"\n", + "\n", + "analysis = agent.run(\n", + " \"\"\"당신은 데이터 분석 전문가입니다. 소스 파일을 로드하고 내용을 분석하세요. 아래 세가지 행동을 취해주세요.\n", + "\n", + "첫번째, 주어진 변수를 바탕으로 데이터에서 흥미로운 질문 3개를 선정하고, 각각 답해보세요. 예를 들어, survival rate(생존율)과의 특정 상관관계에 관한 질문을 만들 수 있습니다. (질문은 반드시 최소한 3개의 번호가 매겨진 상세한 항목)\n", + "두번째, 3가지 질문과 관련된 figures를 그리세요. matplotlib/seaborn을 사용해 './figures/' 폴더에 저장하세요. 각 그림을 그리기 전에 plt.clf()로 그림을 지워주세요.\n", + "세번째, 위의 답변에서 구한 상관관계와 경향을 요약하세요. 각 숫자에서 실생활 인사이트를 도출하세요. 예를 들어, \"is_december와 boredness의 상관관계는 1.3453이며, 이는 겨울철에 사람들이 더 지루해진다는 것을 시사합니다\"와 같은 식으로요.\n", + "\"\"\",\n", + " additional_notes=additional_notes,\n", + " source_file=\"titanic/train.csv\",\n", + ")" + ] + }, + { + "cell_type": "code", + "execution_count": 17, + "metadata": { + "outputId": "4e259705-b542-4129-f7ea-08ac78566bb1", + "colab": { + "base_uri": "https://localhost:8080/" + }, + "id": "8hA-jMsePGQF" + }, + "outputs": [ + { + "output_type": "stream", + "name": "stdout", + "text": [ + "타이타닉 데이터 세트 분석 결과, 사회경제적 지위와 성별의 생존율에 미치는 영향을 분석 Mayer muchos이 있습니다.\n" + ] + } + ], + "source": [ + "print(analysis)" + ] + }, + { + "cell_type": "markdown", + "metadata": { + "id": "hcT-BISRpjtd" + }, + "source": [ + "놀랍지 않나요? 에이전트에게 시각화 도구를 제공해 자신이 만든 그래프를 분석하게 할 수도 있습니다!\n", + "\n", + "## 데이터과학자 에이전트 : 예측을 실행해보자 🛠️\n", + "\n", + "👉 이제 더 깊이 들어가 봅시다: **데이터를 기반으로 모델이 예측을 수행하도록 합니다.**\n", + "\n", + "예측 수행을 위해 `additional_authorized_imports`에 `sklearn`도 추가해줍니다." + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "id": "1qSXRraDpjtd" + }, + "outputs": [], + "source": [ + "agent = ReactCodeAgent(\n", + " tools=[],\n", + " llm_engine=llm_engine,\n", + " additional_authorized_imports=[\n", + " \"numpy\",\n", + " \"pandas\",\n", + " \"matplotlib.pyplot\",\n", + " \"seaborn\",\n", + " \"sklearn\",\n", + " ],\n", + " max_iterations=12,\n", + ")\n", + "\n", + "output = agent.run(\n", + " \"\"\"당신은 전문가 수준의 머신러닝 엔지니어입니다.\n", + "'titanic/train.csv' 파일을 사용하여 생존 여부를 예측하는 머신러닝 모델을 학습시키세요.\n", + "'titanic/test.csv' 파일의 행에 대한 예측을 수행한 후, 결과를 './output.csv'에 출력하세요.\n", + "함수와 모듈을 사용하기 전에 반드시 임포트하세요!\n", + "\"\"\",\n", + " additional_notes=additional_notes + \"\\n\" + analysis,\n", + ")" + ] + }, + { + "cell_type": "markdown", + "metadata": { + "id": "Iimn7AWtpjtd" + }, + "source": [ + "위에서 에이전트가 출력한 테스트 예측을 Kaggle에 제출하면 **0.78229**으로, 이는 17,360명 중 2824등에 해당하며, 저자가 몇 년 전 이 데이터분석 챌린지를 처음 시도해 힘들게 얻었던 결과보다 더 나은 성과입니다.\n", + "\n", + "결과는 다를 수 있지만, 몇 초 만에 에이전트를 사용해 이 정도 성과를 낼 수 있다는 점이 매우 인상적입니다.\n", + "\n", + "🚀 위 시도는 에이전트를 활용한 단순한 데이터 분석 사례일 뿐입니다. 사용 사례에 맞게 충분히 개선할 수 있습니다!" + ] + }, + { + "cell_type": "code", + "source": [], + "metadata": { + "id": "7Qnz16z1feCf" + }, + "execution_count": null, + "outputs": [] + } + ], + "metadata": { + "kernelspec": { + "display_name": "disposable", + "language": "python", + "name": "python3" + }, + "language_info": { + "codemirror_mode": { + "name": "ipython", + "version": 3 + }, + "file_extension": ".py", + "mimetype": "text/x-python", + "name": "python", + "nbconvert_exporter": "python", + "pygments_lexer": "ipython3", + "version": "3.12.2" + }, + "colab": { + "provenance": [] + } + }, + "nbformat": 4, + "nbformat_minor": 0 +} \ No newline at end of file From 4654a106d58cf9d7880d6ab206c1bbeb598f0484 Mon Sep 17 00:00:00 2001 From: Ahnjj_DEV Date: Sun, 29 Sep 2024 22:41:08 +0900 Subject: [PATCH 10/23] Delete notebooks/ko/ko_agent_data_analyst.ipynb --- notebooks/ko/ko_agent_data_analyst.ipynb | 298 ----------------------- 1 file changed, 298 deletions(-) delete mode 100644 notebooks/ko/ko_agent_data_analyst.ipynb diff --git a/notebooks/ko/ko_agent_data_analyst.ipynb b/notebooks/ko/ko_agent_data_analyst.ipynb deleted file mode 100644 index fcdc5059..00000000 --- a/notebooks/ko/ko_agent_data_analyst.ipynb +++ /dev/null @@ -1,298 +0,0 @@ -{ - "cells": [ - { - "cell_type": "markdown", - "source": [ - "# 데이터분석 에이전트: 눈깜짝할 사이에 데이터에서 인사이트 얻기 ✨\n", - "_저자: [Aymeric Roucher](https://huggingface.co/m-ric)_\n", - "\n", - "> 이 튜토리얼은 고급 과정입니다. 먼저 [이 쿡북](agents)에 대한 개념을 이해하고 있어야 합니다!\n", - "\n", - "\n", - "이번 쿡북에서 만들 **데이터 분석 에이전트** 는 :\n", - " **데이터 분석 라이브러리를 사용한 코드 에이전트로,데이터로부터 인사이트를 도출하기 위해 데이터프레임을 불러오고 변환하며, 결과를 시각화합니다!**\n", - "\n", - "\n", - "예를 들어 여러분이 '[Kaggle Titanic 챌린지](https://www.kaggle.com/competitions/titanic)'의 데이터를 직접 분석해 개별 승객의 생존 여부를 예측하고 싶다고 가정해 봅시다.\n", - "하지만 직접 분석에 들어가기 전에, 자율 에이전트가 추세를 추출해주고 수치 몇 가지를 그려 인사이트를 발견해 분석을 준비해주기를 원합니다.\n", - "\n", - "이 시스템을 설정해 보겠습니다.\n", - "\n", - "아래 명령어를 실행하여 필요한 의존성을 설치하세요:" - ], - "metadata": { - "id": "ihQ3c6IWDa6G" - } - }, - { - "cell_type": "code", - "execution_count": 2, - "metadata": { - "id": "0WauABimpjta" - }, - "outputs": [], - "source": [ - "!pip install seaborn \"transformers[agents]\"" - ] - }, - { - "cell_type": "markdown", - "metadata": { - "id": "4LJXMiy3pjtb" - }, - "source": [ - "우선 에이전트를 생성합니다. 이 쿡북에서는 `ReactCodeAgent`를 사용했습니다. (더 많은 종류의 에이전트를 확인하려면 [이 문서](https://huggingface.co/docs/transformers/en/agents) 를 참조하세요.)\n", - "이 에이전트는 별도의 도구를 제공하지 않아도 스스로 코드를 실행할 수 있습니다.\n", - "\n", - "일반적으로 `additional_authorized_imports`에 라이브러리를 전달할 때, 파이썬 인터프리터는 환경에 설치된 라이브러리만 사용할 수 있기 때문에, 해당 라이브러리들이 로컬 환경에 설치되어 있는지 확인해야 합니다.\n", - "\n", - "\n", - "⚙ 해당 에이전트는 [meta-llama/Meta-Llama-3.1-70B-Instruct](https://huggingface.co/meta-llama/Meta-Llama-3.1-70B-Instruct) 모델을 사용하며, HF의 Inference API를 사용하는 `HfEngine` 클래스로 구동됩니다. Inference API를 통해 빠르고 쉽게 OS 모델을 실행할 수 있습니다." - ] - }, - { - "cell_type": "code", - "execution_count": null, - "metadata": { - "id": "XPrHXQgFpjtb" - }, - "outputs": [], - "source": [ - "from transformers.agents import HfEngine, ReactCodeAgent\n", - "from huggingface_hub import login\n", - "import os\n", - "\n", - "# login(os.getenv(\"HUGGINGFACEHUB_API_TOKEN\"))\n", - "login(os.getenv(\"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\"))\n", - "llm_engine = HfEngine(\"meta-llama/Meta-Llama-3.1-70B-Instruct\")\n", - "\n", - "agent = ReactCodeAgent(\n", - " tools=[],\n", - " llm_engine=llm_engine,\n", - " additional_authorized_imports=[\"numpy\", \"pandas\", \"matplotlib.pyplot\", \"seaborn\"],\n", - " max_iterations=10,\n", - ")" - ] - }, - { - "cell_type": "markdown", - "metadata": { - "id": "iGSuFGGwpjtb" - }, - "source": [ - "## 데이터 분석 📊🤔\n", - "\n", - "에이전트 실행시, 실제 캐글 대회에서 사용된 추가적인 노트를 `run`메소드의 kwarg로 넘겨주었습니다.\n" - ] - }, - { - "cell_type": "code", - "source": [ - "from google.colab import drive\n", - "drive.mount('/content/drive') # 구글 드라이브 마운트" - ], - "metadata": { - "id": "qWYp-IertEN1", - "collapsed": true - }, - "execution_count": null, - "outputs": [] - }, - { - "cell_type": "code", - "source": [ - "import os\n", - "\n", - "os.chdir('/content/drive/My Drive/Colab Notebooks') # 원하는 경로로 변경\n", - "print(os.getcwd()) # 변경된 경로 확인" - ], - "metadata": { - "id": "UCK6t2u5sKpm", - "collapsed": true - }, - "execution_count": null, - "outputs": [] - }, - { - "cell_type": "code", - "execution_count": null, - "metadata": { - "id": "pywHujGvpjtb" - }, - "outputs": [], - "source": [ - "# 디렉토리 생성\n", - "os.mkdir(\"./figures\")" - ] - }, - { - "cell_type": "code", - "source": [ - "os.chdir('/content/drive/My Drive/Colab Notebooks/figures') # 원하는 경로로 변경\n", - "print(os.getcwd()) # 변경된 경로 확인" - ], - "metadata": { - "id": "X2wTtXDjNYyI", - "collapsed": true - }, - "execution_count": null, - "outputs": [] - }, - { - "cell_type": "code", - "execution_count": null, - "metadata": { - "id": "WOLY_WBLPGQE", - "collapsed": true - }, - "outputs": [], - "source": [ - "additional_notes = \"\"\"\n", - "### Variable Notes\n", - "PassengerId : 승객 아이디\n", - "Survived : 생존여부 (0: 사망, 1: 생존)\n", - "pclass: 사회경제적 지위(SES)의 대리 변수\n", - "1 = 상류층\n", - "2 = 중산층\n", - "3 = 하류층\n", - "Sex : 성별 (male: 남성, female: 여성)\n", - "age: 나이(Age)가 1 미만일 경우 소수로 표시됩니다. 나이가 추정된 경우, xx.5 형태로 표시됩니다.\n", - "sibsp: 이 데이터셋은 가족 관계를 다음과 같이 정의합니다...\n", - "형제 = 형제, 자매, 이복형제, 이복자매\n", - "배우자 = 남편, 아내 (애인과 약혼자는 간주하지 않았습니다.)\n", - "parch: 이 데이터셋은 가족 관계를 다음과 같이 정의합니다...\n", - "부모 = 어머니, 아버지\n", - "자녀 = 딸, 아들, 양녀, 양자\n", - "유모와 여행을 온 몇 어린이들의 경우, parch=0 로 표현합니다.\n", - "Fare: 티켓 요금\n", - "\"\"\"\n", - "\n", - "analysis = agent.run(\n", - " \"\"\"당신은 데이터 분석 전문가입니다. 소스 파일을 로드하고 내용을 분석하세요. 아래 세가지 행동을 취해주세요.\n", - "\n", - "첫번째, 주어진 변수를 바탕으로 데이터에서 흥미로운 질문 3개를 선정하고, 각각 답해보세요. 예를 들어, survival rate(생존율)과의 특정 상관관계에 관한 질문을 만들 수 있습니다. (질문은 반드시 최소한 3개의 번호가 매겨진 상세한 항목)\n", - "두번째, 3가지 질문과 관련된 figures를 그리세요. matplotlib/seaborn을 사용해 './figures/' 폴더에 저장하세요. 각 그림을 그리기 전에 plt.clf()로 그림을 지워주세요.\n", - "세번째, 위의 답변에서 구한 상관관계와 경향을 요약하세요. 각 숫자에서 실생활 인사이트를 도출하세요. 예를 들어, \"is_december와 boredness의 상관관계는 1.3453이며, 이는 겨울철에 사람들이 더 지루해진다는 것을 시사합니다\"와 같은 식으로요.\n", - "\"\"\",\n", - " additional_notes=additional_notes,\n", - " source_file=\"titanic/train.csv\",\n", - ")" - ] - }, - { - "cell_type": "code", - "execution_count": 17, - "metadata": { - "outputId": "4e259705-b542-4129-f7ea-08ac78566bb1", - "colab": { - "base_uri": "https://localhost:8080/" - }, - "id": "8hA-jMsePGQF" - }, - "outputs": [ - { - "output_type": "stream", - "name": "stdout", - "text": [ - "타이타닉 데이터 세트 분석 결과, 사회경제적 지위와 성별의 생존율에 미치는 영향을 분석 Mayer muchos이 있습니다.\n" - ] - } - ], - "source": [ - "print(analysis)" - ] - }, - { - "cell_type": "markdown", - "metadata": { - "id": "hcT-BISRpjtd" - }, - "source": [ - "놀랍지 않나요? 에이전트에게 시각화 도구를 제공해 자신이 만든 그래프를 분석하게 할 수도 있습니다!\n", - "\n", - "## 데이터과학자 에이전트 : 예측을 실행해보자 🛠️\n", - "\n", - "👉 이제 더 깊이 들어가 봅시다: **데이터를 기반으로 모델이 예측을 수행하도록 합니다.**\n", - "\n", - "예측 수행을 위해 `additional_authorized_imports`에 `sklearn`도 추가해줍니다." - ] - }, - { - "cell_type": "code", - "execution_count": null, - "metadata": { - "id": "1qSXRraDpjtd" - }, - "outputs": [], - "source": [ - "agent = ReactCodeAgent(\n", - " tools=[],\n", - " llm_engine=llm_engine,\n", - " additional_authorized_imports=[\n", - " \"numpy\",\n", - " \"pandas\",\n", - " \"matplotlib.pyplot\",\n", - " \"seaborn\",\n", - " \"sklearn\",\n", - " ],\n", - " max_iterations=12,\n", - ")\n", - "\n", - "output = agent.run(\n", - " \"\"\"당신은 전문가 수준의 머신러닝 엔지니어입니다.\n", - "'titanic/train.csv' 파일을 사용하여 생존 여부를 예측하는 머신러닝 모델을 학습시키세요.\n", - "'titanic/test.csv' 파일의 행에 대한 예측을 수행한 후, 결과를 './output.csv'에 출력하세요.\n", - "함수와 모듈을 사용하기 전에 반드시 임포트하세요!\n", - "\"\"\",\n", - " additional_notes=additional_notes + \"\\n\" + analysis,\n", - ")" - ] - }, - { - "cell_type": "markdown", - "metadata": { - "id": "Iimn7AWtpjtd" - }, - "source": [ - "위에서 에이전트가 출력한 테스트 예측을 Kaggle에 제출하면 **0.78229**으로, 이는 17,360명 중 2824등에 해당하며, 저자가 몇 년 전 이 데이터분석 챌린지를 처음 시도해 힘들게 얻었던 결과보다 더 나은 성과입니다.\n", - "\n", - "결과는 다를 수 있지만, 몇 초 만에 에이전트를 사용해 이 정도 성과를 낼 수 있다는 점이 매우 인상적입니다.\n", - "\n", - "🚀 위 시도는 에이전트를 활용한 단순한 데이터 분석 사례일 뿐입니다. 사용 사례에 맞게 충분히 개선할 수 있습니다!" - ] - }, - { - "cell_type": "code", - "source": [], - "metadata": { - "id": "7Qnz16z1feCf" - }, - "execution_count": null, - "outputs": [] - } - ], - "metadata": { - "kernelspec": { - "display_name": "disposable", - "language": "python", - "name": "python3" - }, - "language_info": { - "codemirror_mode": { - "name": "ipython", - "version": 3 - }, - "file_extension": ".py", - "mimetype": "text/x-python", - "name": "python", - "nbconvert_exporter": "python", - "pygments_lexer": "ipython3", - "version": "3.12.2" - }, - "colab": { - "provenance": [] - } - }, - "nbformat": 4, - "nbformat_minor": 0 -} \ No newline at end of file From 42e703203a69e7fafee0387b67cb076ad987fee5 Mon Sep 17 00:00:00 2001 From: Ahnjj_DEV Date: Sun, 29 Sep 2024 22:41:28 +0900 Subject: [PATCH 11/23] feat: nmt draft --- notebooks/ko/ko_agent_data_analyst.ipynb | 286 +++++++++++++++++++++++ 1 file changed, 286 insertions(+) create mode 100644 notebooks/ko/ko_agent_data_analyst.ipynb diff --git a/notebooks/ko/ko_agent_data_analyst.ipynb b/notebooks/ko/ko_agent_data_analyst.ipynb new file mode 100644 index 00000000..14b1d6e4 --- /dev/null +++ b/notebooks/ko/ko_agent_data_analyst.ipynb @@ -0,0 +1,286 @@ +{ + "cells": [ + { + "cell_type": "markdown", + "source": [ + "# 데이터분석 에이전트: 눈깜짝할 사이에 데이터에서 인사이트 얻기 ✨\n", + "_저자: [Aymeric Roucher](https://huggingface.co/m-ric)_\n", + "\n", + "> 이 튜토리얼은 고급 과정입니다. 먼저 [이 쿡북](agents)에 대한 개념을 이해하고 있어야 합니다!\n", + "\n", + "\n", + "이번 쿡북에서 만들 **데이터 분석 에이전트** 는 :\n", + " **데이터 분석 라이브러리를 사용한 코드 에이전트로,데이터로부터 인사이트를 도출하기 위해 데이터프레임을 불러오고 변환하며, 결과를 시각화합니다!**\n", + "\n", + "\n", + "예를 들어 여러분이 '[Kaggle Titanic 챌린지](https://www.kaggle.com/competitions/titanic)'의 데이터를 직접 분석해 개별 승객의 생존 여부를 예측하고 싶다고 가정해 봅시다.\n", + "하지만 직접 분석에 들어가기 전에, 자율 에이전트가 추세를 추출해주고 수치 몇 가지를 그려 인사이트를 발견해 분석을 준비해주기를 원합니다.\n", + "\n", + "이 시스템을 설정해 보겠습니다.\n", + "\n", + "아래 명령어를 실행하여 필요한 의존성을 설치하세요:" + ], + "metadata": { + "id": "ihQ3c6IWDa6G" + } + }, + { + "cell_type": "code", + "execution_count": 2, + "metadata": { + "id": "0WauABimpjta" + }, + "outputs": [], + "source": [ + "!pip install seaborn \"transformers[agents]\"" + ] + }, + { + "cell_type": "markdown", + "metadata": { + "id": "4LJXMiy3pjtb" + }, + "source": [ + "우선 에이전트를 생성합니다. 이 쿡북에서는 `ReactCodeAgent`를 사용했습니다. (더 많은 종류의 에이전트를 확인하려면 [이 문서](https://huggingface.co/docs/transformers/en/agents) 를 참조하세요.)\n", + "이 에이전트는 별도의 도구를 제공하지 않아도 스스로 코드를 실행할 수 있습니다.\n", + "\n", + "일반적으로 `additional_authorized_imports`에 라이브러리를 전달할 때, 파이썬 인터프리터는 환경에 설치된 라이브러리만 사용할 수 있기 때문에, 해당 라이브러리들이 로컬 환경에 설치되어 있는지 확인해야 합니다.\n", + "\n", + "\n", + "⚙ 해당 에이전트는 [meta-llama/Meta-Llama-3.1-70B-Instruct](https://huggingface.co/meta-llama/Meta-Llama-3.1-70B-Instruct) 모델을 사용하며, HF의 Inference API를 사용하는 `HfEngine` 클래스로 구동됩니다. Inference API를 통해 빠르고 쉽게 OS 모델을 실행할 수 있습니다." + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "id": "XPrHXQgFpjtb" + }, + "outputs": [], + "source": [ + "from transformers.agents import HfEngine, ReactCodeAgent\n", + "from huggingface_hub import login\n", + "import os\n", + "\n", + "# login(os.getenv(\"HUGGINGFACEHUB_API_TOKEN\"))\n", + "login(os.getenv(\"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\"))\n", + "llm_engine = HfEngine(\"meta-llama/Meta-Llama-3.1-70B-Instruct\")\n", + "\n", + "agent = ReactCodeAgent(\n", + " tools=[],\n", + " llm_engine=llm_engine,\n", + " additional_authorized_imports=[\"numpy\", \"pandas\", \"matplotlib.pyplot\", \"seaborn\"],\n", + " max_iterations=10,\n", + ")" + ] + }, + { + "cell_type": "markdown", + "metadata": { + "id": "iGSuFGGwpjtb" + }, + "source": [ + "## 데이터 분석 📊🤔\n", + "\n", + "에이전트 실행시, 실제 캐글 대회에서 사용된 추가적인 노트를 `run`메소드의 kwarg로 넘겨주었습니다.\n" + ] + }, + { + "cell_type": "code", + "source": [ + "from google.colab import drive\n", + "drive.mount('/content/drive') # 구글 드라이브 마운트" + ], + "metadata": { + "id": "qWYp-IertEN1", + "collapsed": true + }, + "execution_count": null, + "outputs": [] + }, + { + "cell_type": "code", + "source": [ + "import os\n", + "\n", + "os.chdir('/content/drive/My Drive/Colab Notebooks') # 원하는 경로로 변경\n", + "print(os.getcwd()) # 변경된 경로 확인" + ], + "metadata": { + "id": "UCK6t2u5sKpm", + "collapsed": true + }, + "execution_count": null, + "outputs": [] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "id": "pywHujGvpjtb" + }, + "outputs": [], + "source": [ + "# 디렉토리 생성\n", + "os.mkdir(\"./figures\")" + ] + }, + { + "cell_type": "code", + "source": [ + "os.chdir('/content/drive/My Drive/Colab Notebooks/figures') # 원하는 경로로 변경\n", + "print(os.getcwd()) # 변경된 경로 확인" + ], + "metadata": { + "id": "X2wTtXDjNYyI", + "collapsed": true + }, + "execution_count": null, + "outputs": [] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "id": "WOLY_WBLPGQE", + "collapsed": true + }, + "outputs": [], + "source": [ + "additional_notes = \"\"\"\n", + "### Variable Notes\n", + "PassengerId : 승객 아이디\n", + "Survived : 생존여부 (0: 사망, 1: 생존)\n", + "pclass: 사회경제적 지위(SES)의 대리 변수\n", + "1 = 상류층\n", + "2 = 중산층\n", + "3 = 하류층\n", + "Sex : 성별 (male: 남성, female: 여성)\n", + "age: 나이(Age)가 1 미만일 경우 소수로 표시됩니다. 나이가 추정된 경우, xx.5 형태로 표시됩니다.\n", + "sibsp: 이 데이터셋은 가족 관계를 다음과 같이 정의합니다...\n", + "형제 = 형제, 자매, 이복형제, 이복자매\n", + "배우자 = 남편, 아내 (애인과 약혼자는 간주하지 않았습니다.)\n", + "parch: 이 데이터셋은 가족 관계를 다음과 같이 정의합니다...\n", + "부모 = 어머니, 아버지\n", + "자녀 = 딸, 아들, 양녀, 양자\n", + "유모와 여행을 온 몇 어린이들의 경우, parch=0 로 표현합니다.\n", + "Fare: 티켓 요금\n", + "\"\"\"\n", + "\n", + "analysis = agent.run(\n", + " \"\"\"당신은 데이터 분석 전문가입니다. 소스 파일을 로드하고 내용을 분석하세요. 아래 세가지 행동을 취해주세요.\n", + "\n", + "첫번째, 주어진 변수를 바탕으로 데이터에서 흥미로운 질문 3개를 선정하고, 각각 답해보세요. 예를 들어, survival rate(생존율)과의 특정 상관관계에 관한 질문을 만들 수 있습니다. (질문은 반드시 최소한 3개의 번호가 매겨진 상세한 항목)\n", + "두번째, 3가지 질문과 관련된 figures를 그리세요. matplotlib/seaborn을 사용해 './figures/' 폴더에 저장하세요. 각 그림을 그리기 전에 plt.clf()로 그림을 지워주세요.\n", + "세번째, 위의 답변에서 구한 상관관계와 경향을 요약하세요. 각 숫자에서 실생활 인사이트를 도출하세요. 예를 들어, \"is_december와 boredness의 상관관계는 1.3453이며, 이는 겨울철에 사람들이 더 지루해진다는 것을 시사합니다\"와 같은 식으로요.\n", + "\"\"\",\n", + " additional_notes=additional_notes,\n", + " source_file=\"titanic/train.csv\",\n", + ")" + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "id": "8hA-jMsePGQF" + }, + "outputs": [], + "source": [ + "print(analysis)" + ] + }, + { + "cell_type": "markdown", + "metadata": { + "id": "hcT-BISRpjtd" + }, + "source": [ + "놀랍지 않나요? 에이전트에게 시각화 도구를 제공해 자신이 만든 그래프를 분석하게 할 수도 있습니다!\n", + "\n", + "## 데이터과학자 에이전트 : 예측을 실행해보자 🛠️\n", + "\n", + "👉 이제 더 깊이 들어가 봅시다: **데이터를 기반으로 모델이 예측을 수행하도록 합니다.**\n", + "\n", + "예측 수행을 위해 `additional_authorized_imports`에 `sklearn`도 추가해줍니다." + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "id": "1qSXRraDpjtd" + }, + "outputs": [], + "source": [ + "agent = ReactCodeAgent(\n", + " tools=[],\n", + " llm_engine=llm_engine,\n", + " additional_authorized_imports=[\n", + " \"numpy\",\n", + " \"pandas\",\n", + " \"matplotlib.pyplot\",\n", + " \"seaborn\",\n", + " \"sklearn\",\n", + " ],\n", + " max_iterations=12,\n", + ")\n", + "\n", + "output = agent.run(\n", + " \"\"\"당신은 전문가 수준의 머신러닝 엔지니어입니다.\n", + "'titanic/train.csv' 파일을 사용하여 생존 여부를 예측하는 머신러닝 모델을 학습시키세요.\n", + "'titanic/test.csv' 파일의 행에 대한 예측을 수행한 후, 결과를 './output.csv'에 출력하세요.\n", + "함수와 모듈을 사용하기 전에 반드시 임포트하세요!\n", + "\"\"\",\n", + " additional_notes=additional_notes + \"\\n\" + analysis,\n", + ")" + ] + }, + { + "cell_type": "markdown", + "metadata": { + "id": "Iimn7AWtpjtd" + }, + "source": [ + "위에서 에이전트가 출력한 테스트 예측을 Kaggle에 제출하면 **0.78229**으로, 이는 17,360명 중 2824등에 해당하며, 저자가 몇 년 전 이 데이터분석 챌린지를 처음 시도해 힘들게 얻었던 결과보다 더 나은 성과입니다.\n", + "\n", + "결과는 다를 수 있지만, 몇 초 만에 에이전트를 사용해 이 정도 성과를 낼 수 있다는 점이 매우 인상적입니다.\n", + "\n", + "🚀 위 시도는 에이전트를 활용한 단순한 데이터 분석 사례일 뿐입니다. 사용 사례에 맞게 충분히 개선할 수 있습니다!" + ] + }, + { + "cell_type": "code", + "source": [], + "metadata": { + "id": "7Qnz16z1feCf" + }, + "execution_count": null, + "outputs": [] + } + ], + "metadata": { + "kernelspec": { + "display_name": "disposable", + "language": "python", + "name": "python3" + }, + "language_info": { + "codemirror_mode": { + "name": "ipython", + "version": 3 + }, + "file_extension": ".py", + "mimetype": "text/x-python", + "name": "python", + "nbconvert_exporter": "python", + "pygments_lexer": "ipython3", + "version": "3.12.2" + }, + "colab": { + "provenance": [] + } + }, + "nbformat": 4, + "nbformat_minor": 0 +} \ No newline at end of file From 952fbf81c7d512c4224238362ba4d86b1d703151 Mon Sep 17 00:00:00 2001 From: Ahnjj_DEV Date: Sun, 29 Sep 2024 22:44:02 +0900 Subject: [PATCH 12/23] Update index.md --- notebooks/ko/index.md | 3 ++- 1 file changed, 2 insertions(+), 1 deletion(-) diff --git a/notebooks/ko/index.md b/notebooks/ko/index.md index c854534c..ca61214d 100644 --- a/notebooks/ko/index.md +++ b/notebooks/ko/index.md @@ -6,7 +6,8 @@ 최근 추가된 노트북을 살펴보세요: -- [한국어 Advanced RAG 구현: Hugging Face와 LangChain 활용한 Cookbook](advanced_ko_rag) +- [한국어 Advanced RAG 구현: Hugging Face와 LangChain 활용한 Cookbook](adv[anced_ko_rag) +- [데이터분석 에이전트: 눈깜짝할 사이에 데이터에서 인사이트 얻기](https://huggingface.co/learn/cookbook/en/agent_data_analyst) 더 다양한 노트북을 확인하고 싶다면 Cookbook's [GitHub 리포지토리](https://github.com/huggingface/cookbook)에 방문해보세요. From da94ebd15a98586f6f0be41f0e1aabe7229de117 Mon Sep 17 00:00:00 2001 From: Ahnjj_DEV Date: Thu, 3 Oct 2024 15:08:05 +0900 Subject: [PATCH 13/23] Update ko_agent_data_analyst.ipynb --- notebooks/ko/ko_agent_data_analyst.ipynb | 131 ++++++++++++++--------- 1 file changed, 78 insertions(+), 53 deletions(-) diff --git a/notebooks/ko/ko_agent_data_analyst.ipynb b/notebooks/ko/ko_agent_data_analyst.ipynb index 14b1d6e4..c9324533 100644 --- a/notebooks/ko/ko_agent_data_analyst.ipynb +++ b/notebooks/ko/ko_agent_data_analyst.ipynb @@ -6,15 +6,14 @@ "# 데이터분석 에이전트: 눈깜짝할 사이에 데이터에서 인사이트 얻기 ✨\n", "_저자: [Aymeric Roucher](https://huggingface.co/m-ric)_\n", "\n", - "> 이 튜토리얼은 고급 과정입니다. 먼저 [이 쿡북](agents)에 대한 개념을 이해하고 있어야 합니다!\n", + "> 이 튜토리얼은 고급 과정입니다. 사전에 [이 쿡북](agents)에 대한 개념을 이해하고 있어야 합니다!\n", "\n", - "\n", - "이번 쿡북에서 만들 **데이터 분석 에이전트** 는 :\n", - " **데이터 분석 라이브러리를 사용한 코드 에이전트로,데이터로부터 인사이트를 도출하기 위해 데이터프레임을 불러오고 변환하며, 결과를 시각화합니다!**\n", + "이번에 만들 **데이터 분석 에이전트**는 :\n", + " **데이터 분석 라이브러리를 사용한 코드 에이전트로,데이터프레임을 불러오고 변환해 데이터로부터 인사이트를 찾아내고,결과를 시각화합니다!**\n", "\n", "\n", "예를 들어 여러분이 '[Kaggle Titanic 챌린지](https://www.kaggle.com/competitions/titanic)'의 데이터를 직접 분석해 개별 승객의 생존 여부를 예측하고 싶다고 가정해 봅시다.\n", - "하지만 직접 분석에 들어가기 전에, 자율 에이전트가 추세를 추출해주고 수치 몇 가지를 그려 인사이트를 발견해 분석을 준비해주기를 원합니다.\n", + "하지만 직접 분석에 들어가기 전에, 자율 에이전트가 수치도 추출해주고 그에 맞게 그래프도 그려주어 인사이트를 뽑아내주면 좋겠군요.\n", "\n", "이 시스템을 설정해 보겠습니다.\n", "\n", @@ -26,7 +25,7 @@ }, { "cell_type": "code", - "execution_count": 2, + "execution_count": null, "metadata": { "id": "0WauABimpjta" }, @@ -42,7 +41,7 @@ }, "source": [ "우선 에이전트를 생성합니다. 이 쿡북에서는 `ReactCodeAgent`를 사용했습니다. (더 많은 종류의 에이전트를 확인하려면 [이 문서](https://huggingface.co/docs/transformers/en/agents) 를 참조하세요.)\n", - "이 에이전트는 별도의 도구를 제공하지 않아도 스스로 코드를 실행할 수 있습니다.\n", + "이 에이전트는 별도의 도구를 제공하지 않아도 스스로 코드를 작성하고 실행할 수 있습니다.\n", "\n", "일반적으로 `additional_authorized_imports`에 라이브러리를 전달할 때, 파이썬 인터프리터는 환경에 설치된 라이브러리만 사용할 수 있기 때문에, 해당 라이브러리들이 로컬 환경에 설치되어 있는지 확인해야 합니다.\n", "\n", @@ -62,8 +61,7 @@ "from huggingface_hub import login\n", "import os\n", "\n", - "# login(os.getenv(\"HUGGINGFACEHUB_API_TOKEN\"))\n", - "login(os.getenv(\"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\"))\n", + "login(os.getenv(\"HUGGINGFACEHUB_API_TOKEN\"))\n", "llm_engine = HfEngine(\"meta-llama/Meta-Llama-3.1-70B-Instruct\")\n", "\n", "agent = ReactCodeAgent(\n", @@ -81,8 +79,7 @@ }, "source": [ "## 데이터 분석 📊🤔\n", - "\n", - "에이전트 실행시, 실제 캐글 대회에서 사용된 추가적인 노트를 `run`메소드의 kwarg로 넘겨주었습니다.\n" + "저자는 구글 코랩을 사용하였으므로, 드라이브를 마운트하고 분석에 사용할 디렉토리를 생성했습니다." ] }, { @@ -128,7 +125,7 @@ { "cell_type": "code", "source": [ - "os.chdir('/content/drive/My Drive/Colab Notebooks/figures') # 원하는 경로로 변경\n", + "os.chdir('/content/drive/My Drive/Colab Notebooks/figures') # 생성한 디렉토리 경로로 변경\n", "print(os.getcwd()) # 변경된 경로 확인" ], "metadata": { @@ -139,57 +136,94 @@ "outputs": [] }, { - "cell_type": "code", - "execution_count": null, + "cell_type": "markdown", + "source": [ + "실제 캐글 대회에서 사용된 추가 노트를 에이전트를 실행할 때 `run`메소드의 kwarg로 넘겨주었습니다." + ], "metadata": { - "id": "WOLY_WBLPGQE", - "collapsed": true - }, - "outputs": [], + "id": "gnruiFV_62KL" + } + }, + { + "cell_type": "code", "source": [ "additional_notes = \"\"\"\n", "### Variable Notes\n", - "PassengerId : 승객 아이디\n", - "Survived : 생존여부 (0: 사망, 1: 생존)\n", - "pclass: 사회경제적 지위(SES)의 대리 변수\n", + "승객ID : 승객 아이디\n", + "생존여부 : (0: 사망, 1: 생존)\n", + "클래스: 사회경제적 지위\n", "1 = 상류층\n", "2 = 중산층\n", "3 = 하류층\n", - "Sex : 성별 (male: 남성, female: 여성)\n", - "age: 나이(Age)가 1 미만일 경우 소수로 표시됩니다. 나이가 추정된 경우, xx.5 형태로 표시됩니다.\n", - "sibsp: 이 데이터셋은 가족 관계를 다음과 같이 정의합니다...\n", - "형제 = 형제, 자매, 이복형제, 이복자매\n", + "성별 : 남성, 여성\n", + "나이 : 나이가 1 미만일 경우 소수로 표시됩니다. 나이가 추정된 경우, xx.5 형태로 표시됩니다.\n", + "형제배우자: 이 데이터셋은 가족 관계를 다음과 같이 정의합니다...\n", + "형제자매 = 형제, 자매, 이복형제, 이복자매\n", "배우자 = 남편, 아내 (애인과 약혼자는 간주하지 않았습니다.)\n", - "parch: 이 데이터셋은 가족 관계를 다음과 같이 정의합니다...\n", + "부모자식: 이 데이터셋은 가족 관계를 다음과 같이 정의합니다...\n", "부모 = 어머니, 아버지\n", - "자녀 = 딸, 아들, 양녀, 양자\n", - "유모와 여행을 온 몇 어린이들의 경우, parch=0 로 표현합니다.\n", - "Fare: 티켓 요금\n", + "자식 = 딸, 아들, 양녀, 양자\n", + "유모와 여행을 온 몇 어린이들의 경우, 부모자식=0 로 표현합니다.\n", + "요금: 티켓 요금\n", "\"\"\"\n", "\n", "analysis = agent.run(\n", - " \"\"\"당신은 데이터 분석 전문가입니다. 소스 파일을 로드하고 내용을 분석하세요. 아래 세가지 행동을 취해주세요.\n", + " \"\"\"당신은 데이터 분석 전문가입니다. 소스 파일을 로드하고 내용을 분석해주세요.\n", + "먼저 주어진 변수와 생존율과의 상관관계에 대해 흥미로운 질문 3가지를 나열하고, 해당 질문에 하나씩 답하고 관련된 숫자를 찾아내세요.\n", + "matplotlib/seaborn을 사용해 3가지 질문에 관련된 그래프를 그리고, './figures/' 폴더에 저장하십시오. 다른 그래프를 그리기 전에 plt.clf()로 각 그래프를 지워야 합니다. 그래프의 라벨명은 영어로 해주세요.\n", "\n", - "첫번째, 주어진 변수를 바탕으로 데이터에서 흥미로운 질문 3개를 선정하고, 각각 답해보세요. 예를 들어, survival rate(생존율)과의 특정 상관관계에 관한 질문을 만들 수 있습니다. (질문은 반드시 최소한 3개의 번호가 매겨진 상세한 항목)\n", - "두번째, 3가지 질문과 관련된 figures를 그리세요. matplotlib/seaborn을 사용해 './figures/' 폴더에 저장하세요. 각 그림을 그리기 전에 plt.clf()로 그림을 지워주세요.\n", - "세번째, 위의 답변에서 구한 상관관계와 경향을 요약하세요. 각 숫자에서 실생활 인사이트를 도출하세요. 예를 들어, \"is_december와 boredness의 상관관계는 1.3453이며, 이는 겨울철에 사람들이 더 지루해진다는 것을 시사합니다\"와 같은 식으로요.\n", + "최종 답변 : 숫자로부터 찾은 상관관계와 인사이트를 요약해주세요.\n", + "(인사이트 예시: \"is_december와 boredness 간의 상관관계는 1.3453으로, 이는 사람들이 겨울에 더 지루함을 느낄 가능성이 높다는 것을 시사합니다.\")\n", + "최종 답변은 최소한 3개의 번호가 매겨진 항목이어야합니다.\n", "\"\"\",\n", " additional_notes=additional_notes,\n", - " source_file=\"titanic/train.csv\",\n", + " source_file=\"titanic_ko/train.csv\",\n", ")" - ] + ], + "metadata": { + "id": "Xe5jfSWStgrc", + "collapsed": true + }, + "execution_count": null, + "outputs": [] }, { "cell_type": "code", - "execution_count": null, + "execution_count": 21, "metadata": { - "id": "8hA-jMsePGQF" + "id": "8hA-jMsePGQF", + "colab": { + "base_uri": "https://localhost:8080/" + }, + "outputId": "be0dd5c4-8bda-4723-9acf-394ed044297e" }, - "outputs": [], + "outputs": [ + { + "output_type": "stream", + "name": "stdout", + "text": [ + "성별과 생존여부 간의 상관관계: \n", + "남성: 0.188908\n", + "여성: 0.742038\n", + "클래스와 생존여부 간의 상관관계: \n", + "1등급: 0.629630\n", + "2등급: 0.472826\n", + "3등급: 0.242363\n", + "나이와 생존여부 간의 상관관계-confidence level: -0.077221\n" + ] + } + ], "source": [ "print(analysis)" ] }, + { + "cell_type": "markdown", + "source": [], + "metadata": { + "id": "6BnDH9SG3uH4" + } + }, { "cell_type": "markdown", "metadata": { @@ -198,9 +232,9 @@ "source": [ "놀랍지 않나요? 에이전트에게 시각화 도구를 제공해 자신이 만든 그래프를 분석하게 할 수도 있습니다!\n", "\n", - "## 데이터과학자 에이전트 : 예측을 실행해보자 🛠️\n", + "## 데이터과학자 에이전트 : 예측 수행하기 🛠️\n", "\n", - "👉 이제 더 깊이 들어가 봅시다: **데이터를 기반으로 모델이 예측을 수행하도록 합니다.**\n", + "👉 이제 더 깊이 들어가 봅시다 : **데이터를 기반으로 모델이 예측을 수행하도록 합니다.**\n", "\n", "예측 수행을 위해 `additional_authorized_imports`에 `sklearn`도 추가해줍니다." ] @@ -228,8 +262,8 @@ "\n", "output = agent.run(\n", " \"\"\"당신은 전문가 수준의 머신러닝 엔지니어입니다.\n", - "'titanic/train.csv' 파일을 사용하여 생존 여부를 예측하는 머신러닝 모델을 학습시키세요.\n", - "'titanic/test.csv' 파일의 행에 대한 예측을 수행한 후, 결과를 './output.csv'에 출력하세요.\n", + "'titanic_ko/train.csv' 파일을 사용하여 '생존여부'를 예측하는 머신러닝 모델을 학습시키세요.\n", + "'titanic_ko/test.csv' 파일의 행에 대한 예측을 수행한 후, 결과를 'titanic_ko/output.csv'에 출력하세요.\n", "함수와 모듈을 사용하기 전에 반드시 임포트하세요!\n", "\"\"\",\n", " additional_notes=additional_notes + \"\\n\" + analysis,\n", @@ -246,17 +280,8 @@ "\n", "결과는 다를 수 있지만, 몇 초 만에 에이전트를 사용해 이 정도 성과를 낼 수 있다는 점이 매우 인상적입니다.\n", "\n", - "🚀 위 시도는 에이전트를 활용한 단순한 데이터 분석 사례일 뿐입니다. 사용 사례에 맞게 충분히 개선할 수 있습니다!" + "🚀 이것은 에이전트를 활용한 단순한 데이터 분석 사례일 뿐입니다. 사용 사례에 맞게 충분히 개선할 수 있습니다 🤗" ] - }, - { - "cell_type": "code", - "source": [], - "metadata": { - "id": "7Qnz16z1feCf" - }, - "execution_count": null, - "outputs": [] } ], "metadata": { @@ -283,4 +308,4 @@ }, "nbformat": 4, "nbformat_minor": 0 -} \ No newline at end of file +} From bc504abcd55ffdf300853f1782ef67630fd69a64 Mon Sep 17 00:00:00 2001 From: Ahnjj_DEV Date: Thu, 3 Oct 2024 15:12:15 +0900 Subject: [PATCH 14/23] docs: ko: agent_data_analyst.ipynb --- notebooks/ko/agent_data_analyst.ipynb | 311 ++++++++++++++++++++++++++ 1 file changed, 311 insertions(+) create mode 100644 notebooks/ko/agent_data_analyst.ipynb diff --git a/notebooks/ko/agent_data_analyst.ipynb b/notebooks/ko/agent_data_analyst.ipynb new file mode 100644 index 00000000..613c707c --- /dev/null +++ b/notebooks/ko/agent_data_analyst.ipynb @@ -0,0 +1,311 @@ +{ + "cells": [ + { + "cell_type": "markdown", + "source": [ + "# 데이터분석 에이전트: 눈깜짝할 사이에 데이터에서 인사이트 얻기 ✨\n", + "_저자: [Aymeric Roucher](https://huggingface.co/m-ric)_\n", + "\n", + "> 이 튜토리얼은 고급 과정입니다. 사전에 [이 쿡북](agents)에 대한 개념을 이해하고 있어야 합니다!\n", + "\n", + "이번에 만들 **데이터 분석 에이전트**는 :\n", + " **데이터 분석 라이브러리를 사용한 코드 에이전트로,데이터프레임을 불러오고 변환해 데이터로부터 인사이트를 찾아내고,결과를 시각화합니다!**\n", + "\n", + "\n", + "예를 들어 여러분이 '[Kaggle Titanic 챌린지](https://www.kaggle.com/competitions/titanic)'의 데이터를 직접 분석해 개별 승객의 생존 여부를 예측하고 싶다고 가정해 봅시다.\n", + "하지만 직접 분석에 들어가기 전에, 자율 에이전트가 수치도 추출해주고 그에 맞게 그래프도 그려주어 인사이트를 뽑아내주면 좋겠군요.\n", + "\n", + "이 시스템을 설정해 보겠습니다.\n", + "\n", + "아래 명령어를 실행하여 필요한 의존성을 설치하세요:" + ], + "metadata": { + "id": "ihQ3c6IWDa6G" + } + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "id": "0WauABimpjta" + }, + "outputs": [], + "source": [ + "!pip install seaborn \"transformers[agents]\"" + ] + }, + { + "cell_type": "markdown", + "metadata": { + "id": "4LJXMiy3pjtb" + }, + "source": [ + "우선 에이전트를 생성합니다. 이 쿡북에서는 `ReactCodeAgent`를 사용했습니다. (더 많은 종류의 에이전트를 확인하려면 [이 문서](https://huggingface.co/docs/transformers/en/agents) 를 참조하세요.)\n", + "이 에이전트는 별도의 도구를 제공하지 않아도 스스로 코드를 작성하고 실행할 수 있습니다.\n", + "\n", + "일반적으로 `additional_authorized_imports`에 라이브러리를 전달할 때, 파이썬 인터프리터는 환경에 설치된 라이브러리만 사용할 수 있기 때문에, 해당 라이브러리들이 로컬 환경에 설치되어 있는지 확인해야 합니다.\n", + "\n", + "\n", + "⚙ 해당 에이전트는 [meta-llama/Meta-Llama-3.1-70B-Instruct](https://huggingface.co/meta-llama/Meta-Llama-3.1-70B-Instruct) 모델을 사용하며, HF의 Inference API를 사용하는 `HfEngine` 클래스로 구동됩니다. Inference API를 통해 빠르고 쉽게 OS 모델을 실행할 수 있습니다." + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "id": "XPrHXQgFpjtb" + }, + "outputs": [], + "source": [ + "from transformers.agents import HfEngine, ReactCodeAgent\n", + "from huggingface_hub import login\n", + "import os\n", + "\n", + "login(os.getenv(\"HUGGINGFACEHUB_API_TOKEN\"))\n", + "llm_engine = HfEngine(\"meta-llama/Meta-Llama-3.1-70B-Instruct\")\n", + "\n", + "agent = ReactCodeAgent(\n", + " tools=[],\n", + " llm_engine=llm_engine,\n", + " additional_authorized_imports=[\"numpy\", \"pandas\", \"matplotlib.pyplot\", \"seaborn\"],\n", + " max_iterations=10,\n", + ")" + ] + }, + { + "cell_type": "markdown", + "metadata": { + "id": "iGSuFGGwpjtb" + }, + "source": [ + "## 데이터 분석 📊🤔\n", + "저자는 구글 코랩을 사용하였으므로, 드라이브를 마운트하고 분석에 사용할 디렉토리를 생성했습니다." + ] + }, + { + "cell_type": "code", + "source": [ + "from google.colab import drive\n", + "drive.mount('/content/drive') # 구글 드라이브 마운트" + ], + "metadata": { + "id": "qWYp-IertEN1", + "collapsed": true + }, + "execution_count": null, + "outputs": [] + }, + { + "cell_type": "code", + "source": [ + "import os\n", + "\n", + "os.chdir('/content/drive/My Drive/Colab Notebooks') # 원하는 경로로 변경\n", + "print(os.getcwd()) # 변경된 경로 확인" + ], + "metadata": { + "id": "UCK6t2u5sKpm", + "collapsed": true + }, + "execution_count": null, + "outputs": [] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "id": "pywHujGvpjtb" + }, + "outputs": [], + "source": [ + "# 디렉토리 생성\n", + "os.mkdir(\"./figures\")" + ] + }, + { + "cell_type": "code", + "source": [ + "os.chdir('/content/drive/My Drive/Colab Notebooks/figures') # 생성한 디렉토리 경로로 변경\n", + "print(os.getcwd()) # 변경된 경로 확인" + ], + "metadata": { + "id": "X2wTtXDjNYyI", + "collapsed": true + }, + "execution_count": null, + "outputs": [] + }, + { + "cell_type": "markdown", + "source": [ + "실제 캐글 대회에서 사용된 추가 노트를 에이전트를 실행할 때 `run`메소드의 kwarg로 넘겨주었습니다." + ], + "metadata": { + "id": "gnruiFV_62KL" + } + }, + { + "cell_type": "code", + "source": [ + "additional_notes = \"\"\"\n", + "### Variable Notes\n", + "승객ID : 승객 아이디\n", + "생존여부 : (0: 사망, 1: 생존)\n", + "클래스: 사회경제적 지위\n", + "1 = 상류층\n", + "2 = 중산층\n", + "3 = 하류층\n", + "성별 : 남성, 여성\n", + "나이 : 나이가 1 미만일 경우 소수로 표시됩니다. 나이가 추정된 경우, xx.5 형태로 표시됩니다.\n", + "형제배우자: 이 데이터셋은 가족 관계를 다음과 같이 정의합니다...\n", + "형제자매 = 형제, 자매, 이복형제, 이복자매\n", + "배우자 = 남편, 아내 (애인과 약혼자는 간주하지 않았습니다.)\n", + "부모자식: 이 데이터셋은 가족 관계를 다음과 같이 정의합니다...\n", + "부모 = 어머니, 아버지\n", + "자식 = 딸, 아들, 양녀, 양자\n", + "유모와 여행을 온 몇 어린이들의 경우, 부모자식=0 로 표현합니다.\n", + "요금: 티켓 요금\n", + "\"\"\"\n", + "\n", + "analysis = agent.run(\n", + " \"\"\"당신은 데이터 분석 전문가입니다. 소스 파일을 로드하고 내용을 분석해주세요.\n", + "먼저 주어진 변수와 생존율과의 상관관계에 대해 흥미로운 질문 3가지를 나열하고, 해당 질문에 하나씩 답하고 관련된 숫자를 찾아내세요.\n", + "matplotlib/seaborn을 사용해 3가지 질문에 관련된 그래프를 그리고, './figures/' 폴더에 저장하십시오. 다른 그래프를 그리기 전에 plt.clf()로 각 그래프를 지워야 합니다. 그래프의 라벨명은 영어로 해주세요.\n", + "\n", + "최종 답변 : 숫자로부터 찾은 상관관계와 인사이트를 요약해주세요.\n", + "(인사이트 예시: \"is_december와 boredness 간의 상관관계는 1.3453으로, 이는 사람들이 겨울에 더 지루함을 느낄 가능성이 높다는 것을 시사합니다.\")\n", + "최종 답변은 최소한 3개의 번호가 매겨진 항목이어야합니다.\n", + "\"\"\",\n", + " additional_notes=additional_notes,\n", + " source_file=\"titanic_ko/train.csv\",\n", + ")" + ], + "metadata": { + "id": "Xe5jfSWStgrc", + "collapsed": true + }, + "execution_count": null, + "outputs": [] + }, + { + "cell_type": "code", + "execution_count": 21, + "metadata": { + "id": "8hA-jMsePGQF", + "colab": { + "base_uri": "https://localhost:8080/" + }, + "outputId": "be0dd5c4-8bda-4723-9acf-394ed044297e" + }, + "outputs": [ + { + "output_type": "stream", + "name": "stdout", + "text": [ + "성별과 생존여부 간의 상관관계: \n", + "남성: 0.188908\n", + "여성: 0.742038\n", + "클래스와 생존여부 간의 상관관계: \n", + "1등급: 0.629630\n", + "2등급: 0.472826\n", + "3등급: 0.242363\n", + "나이와 생존여부 간의 상관관계-confidence level: -0.077221\n" + ] + } + ], + "source": [ + "print(analysis)" + ] + }, + { + "cell_type": "markdown", + "source": [], + "metadata": { + "id": "6BnDH9SG3uH4" + } + }, + { + "cell_type": "markdown", + "metadata": { + "id": "hcT-BISRpjtd" + }, + "source": [ + "놀랍지 않나요? 에이전트에게 시각화 도구를 제공해 자신이 만든 그래프를 분석하게 할 수도 있습니다!\n", + "\n", + "## 데이터과학자 에이전트 : 예측 수행하기 🛠️\n", + "\n", + "👉 이제 더 깊이 들어가 봅시다 : **데이터를 기반으로 모델이 예측을 수행하도록 합니다.**\n", + "\n", + "예측 수행을 위해 `additional_authorized_imports`에 `sklearn`도 추가해줍니다." + ] + }, + { + "cell_type": "code", + "execution_count": null, + "metadata": { + "id": "1qSXRraDpjtd" + }, + "outputs": [], + "source": [ + "agent = ReactCodeAgent(\n", + " tools=[],\n", + " llm_engine=llm_engine,\n", + " additional_authorized_imports=[\n", + " \"numpy\",\n", + " \"pandas\",\n", + " \"matplotlib.pyplot\",\n", + " \"seaborn\",\n", + " \"sklearn\",\n", + " ],\n", + " max_iterations=12,\n", + ")\n", + "\n", + "output = agent.run(\n", + " \"\"\"당신은 전문가 수준의 머신러닝 엔지니어입니다.\n", + "'titanic_ko/train.csv' 파일을 사용하여 '생존여부'를 예측하는 머신러닝 모델을 학습시키세요.\n", + "'titanic_ko/test.csv' 파일의 행에 대한 예측을 수행한 후, 결과를 'titanic_ko/output.csv'에 출력하세요.\n", + "함수와 모듈을 사용하기 전에 반드시 임포트하세요!\n", + "\"\"\",\n", + " additional_notes=additional_notes + \"\\n\" + analysis,\n", + ")" + ] + }, + { + "cell_type": "markdown", + "metadata": { + "id": "Iimn7AWtpjtd" + }, + "source": [ + "위에서 에이전트가 출력한 테스트 예측을 Kaggle에 제출하면 **0.78229**으로, 이는 17,360명 중 2824등에 해당하며, 저자가 몇 년 전 이 데이터분석 챌린지를 처음 시도해 힘들게 얻었던 결과보다 더 나은 성과입니다.\n", + "\n", + "결과는 다를 수 있지만, 몇 초 만에 에이전트를 사용해 이 정도 성과를 낼 수 있다는 점이 매우 인상적입니다.\n", + "\n", + "🚀 이것은 에이전트를 활용한 단순한 데이터 분석 사례일 뿐입니다. 사용 사례에 맞게 충분히 개선할 수 있습니다 🤗" + ] + } + ], + "metadata": { + "kernelspec": { + "display_name": "disposable", + "language": "python", + "name": "python3" + }, + "language_info": { + "codemirror_mode": { + "name": "ipython", + "version": 3 + }, + "file_extension": ".py", + "mimetype": "text/x-python", + "name": "python", + "nbconvert_exporter": "python", + "pygments_lexer": "ipython3", + "version": "3.12.2" + }, + "colab": { + "provenance": [] + } + }, + "nbformat": 4, + "nbformat_minor": 0 +} \ No newline at end of file From 83374aeefbb4c31c606b12fd0377916d7b005e1c Mon Sep 17 00:00:00 2001 From: Ahnjj_DEV Date: Thu, 3 Oct 2024 15:12:54 +0900 Subject: [PATCH 15/23] Delete notebooks/ko/ko_agent_data_analyst.ipynb To change the title of the notebook --- notebooks/ko/ko_agent_data_analyst.ipynb | 311 ----------------------- 1 file changed, 311 deletions(-) delete mode 100644 notebooks/ko/ko_agent_data_analyst.ipynb diff --git a/notebooks/ko/ko_agent_data_analyst.ipynb b/notebooks/ko/ko_agent_data_analyst.ipynb deleted file mode 100644 index c9324533..00000000 --- a/notebooks/ko/ko_agent_data_analyst.ipynb +++ /dev/null @@ -1,311 +0,0 @@ -{ - "cells": [ - { - "cell_type": "markdown", - "source": [ - "# 데이터분석 에이전트: 눈깜짝할 사이에 데이터에서 인사이트 얻기 ✨\n", - "_저자: [Aymeric Roucher](https://huggingface.co/m-ric)_\n", - "\n", - "> 이 튜토리얼은 고급 과정입니다. 사전에 [이 쿡북](agents)에 대한 개념을 이해하고 있어야 합니다!\n", - "\n", - "이번에 만들 **데이터 분석 에이전트**는 :\n", - " **데이터 분석 라이브러리를 사용한 코드 에이전트로,데이터프레임을 불러오고 변환해 데이터로부터 인사이트를 찾아내고,결과를 시각화합니다!**\n", - "\n", - "\n", - "예를 들어 여러분이 '[Kaggle Titanic 챌린지](https://www.kaggle.com/competitions/titanic)'의 데이터를 직접 분석해 개별 승객의 생존 여부를 예측하고 싶다고 가정해 봅시다.\n", - "하지만 직접 분석에 들어가기 전에, 자율 에이전트가 수치도 추출해주고 그에 맞게 그래프도 그려주어 인사이트를 뽑아내주면 좋겠군요.\n", - "\n", - "이 시스템을 설정해 보겠습니다.\n", - "\n", - "아래 명령어를 실행하여 필요한 의존성을 설치하세요:" - ], - "metadata": { - "id": "ihQ3c6IWDa6G" - } - }, - { - "cell_type": "code", - "execution_count": null, - "metadata": { - "id": "0WauABimpjta" - }, - "outputs": [], - "source": [ - "!pip install seaborn \"transformers[agents]\"" - ] - }, - { - "cell_type": "markdown", - "metadata": { - "id": "4LJXMiy3pjtb" - }, - "source": [ - "우선 에이전트를 생성합니다. 이 쿡북에서는 `ReactCodeAgent`를 사용했습니다. (더 많은 종류의 에이전트를 확인하려면 [이 문서](https://huggingface.co/docs/transformers/en/agents) 를 참조하세요.)\n", - "이 에이전트는 별도의 도구를 제공하지 않아도 스스로 코드를 작성하고 실행할 수 있습니다.\n", - "\n", - "일반적으로 `additional_authorized_imports`에 라이브러리를 전달할 때, 파이썬 인터프리터는 환경에 설치된 라이브러리만 사용할 수 있기 때문에, 해당 라이브러리들이 로컬 환경에 설치되어 있는지 확인해야 합니다.\n", - "\n", - "\n", - "⚙ 해당 에이전트는 [meta-llama/Meta-Llama-3.1-70B-Instruct](https://huggingface.co/meta-llama/Meta-Llama-3.1-70B-Instruct) 모델을 사용하며, HF의 Inference API를 사용하는 `HfEngine` 클래스로 구동됩니다. Inference API를 통해 빠르고 쉽게 OS 모델을 실행할 수 있습니다." - ] - }, - { - "cell_type": "code", - "execution_count": null, - "metadata": { - "id": "XPrHXQgFpjtb" - }, - "outputs": [], - "source": [ - "from transformers.agents import HfEngine, ReactCodeAgent\n", - "from huggingface_hub import login\n", - "import os\n", - "\n", - "login(os.getenv(\"HUGGINGFACEHUB_API_TOKEN\"))\n", - "llm_engine = HfEngine(\"meta-llama/Meta-Llama-3.1-70B-Instruct\")\n", - "\n", - "agent = ReactCodeAgent(\n", - " tools=[],\n", - " llm_engine=llm_engine,\n", - " additional_authorized_imports=[\"numpy\", \"pandas\", \"matplotlib.pyplot\", \"seaborn\"],\n", - " max_iterations=10,\n", - ")" - ] - }, - { - "cell_type": "markdown", - "metadata": { - "id": "iGSuFGGwpjtb" - }, - "source": [ - "## 데이터 분석 📊🤔\n", - "저자는 구글 코랩을 사용하였으므로, 드라이브를 마운트하고 분석에 사용할 디렉토리를 생성했습니다." - ] - }, - { - "cell_type": "code", - "source": [ - "from google.colab import drive\n", - "drive.mount('/content/drive') # 구글 드라이브 마운트" - ], - "metadata": { - "id": "qWYp-IertEN1", - "collapsed": true - }, - "execution_count": null, - "outputs": [] - }, - { - "cell_type": "code", - "source": [ - "import os\n", - "\n", - "os.chdir('/content/drive/My Drive/Colab Notebooks') # 원하는 경로로 변경\n", - "print(os.getcwd()) # 변경된 경로 확인" - ], - "metadata": { - "id": "UCK6t2u5sKpm", - "collapsed": true - }, - "execution_count": null, - "outputs": [] - }, - { - "cell_type": "code", - "execution_count": null, - "metadata": { - "id": "pywHujGvpjtb" - }, - "outputs": [], - "source": [ - "# 디렉토리 생성\n", - "os.mkdir(\"./figures\")" - ] - }, - { - "cell_type": "code", - "source": [ - "os.chdir('/content/drive/My Drive/Colab Notebooks/figures') # 생성한 디렉토리 경로로 변경\n", - "print(os.getcwd()) # 변경된 경로 확인" - ], - "metadata": { - "id": "X2wTtXDjNYyI", - "collapsed": true - }, - "execution_count": null, - "outputs": [] - }, - { - "cell_type": "markdown", - "source": [ - "실제 캐글 대회에서 사용된 추가 노트를 에이전트를 실행할 때 `run`메소드의 kwarg로 넘겨주었습니다." - ], - "metadata": { - "id": "gnruiFV_62KL" - } - }, - { - "cell_type": "code", - "source": [ - "additional_notes = \"\"\"\n", - "### Variable Notes\n", - "승객ID : 승객 아이디\n", - "생존여부 : (0: 사망, 1: 생존)\n", - "클래스: 사회경제적 지위\n", - "1 = 상류층\n", - "2 = 중산층\n", - "3 = 하류층\n", - "성별 : 남성, 여성\n", - "나이 : 나이가 1 미만일 경우 소수로 표시됩니다. 나이가 추정된 경우, xx.5 형태로 표시됩니다.\n", - "형제배우자: 이 데이터셋은 가족 관계를 다음과 같이 정의합니다...\n", - "형제자매 = 형제, 자매, 이복형제, 이복자매\n", - "배우자 = 남편, 아내 (애인과 약혼자는 간주하지 않았습니다.)\n", - "부모자식: 이 데이터셋은 가족 관계를 다음과 같이 정의합니다...\n", - "부모 = 어머니, 아버지\n", - "자식 = 딸, 아들, 양녀, 양자\n", - "유모와 여행을 온 몇 어린이들의 경우, 부모자식=0 로 표현합니다.\n", - "요금: 티켓 요금\n", - "\"\"\"\n", - "\n", - "analysis = agent.run(\n", - " \"\"\"당신은 데이터 분석 전문가입니다. 소스 파일을 로드하고 내용을 분석해주세요.\n", - "먼저 주어진 변수와 생존율과의 상관관계에 대해 흥미로운 질문 3가지를 나열하고, 해당 질문에 하나씩 답하고 관련된 숫자를 찾아내세요.\n", - "matplotlib/seaborn을 사용해 3가지 질문에 관련된 그래프를 그리고, './figures/' 폴더에 저장하십시오. 다른 그래프를 그리기 전에 plt.clf()로 각 그래프를 지워야 합니다. 그래프의 라벨명은 영어로 해주세요.\n", - "\n", - "최종 답변 : 숫자로부터 찾은 상관관계와 인사이트를 요약해주세요.\n", - "(인사이트 예시: \"is_december와 boredness 간의 상관관계는 1.3453으로, 이는 사람들이 겨울에 더 지루함을 느낄 가능성이 높다는 것을 시사합니다.\")\n", - "최종 답변은 최소한 3개의 번호가 매겨진 항목이어야합니다.\n", - "\"\"\",\n", - " additional_notes=additional_notes,\n", - " source_file=\"titanic_ko/train.csv\",\n", - ")" - ], - "metadata": { - "id": "Xe5jfSWStgrc", - "collapsed": true - }, - "execution_count": null, - "outputs": [] - }, - { - "cell_type": "code", - "execution_count": 21, - "metadata": { - "id": "8hA-jMsePGQF", - "colab": { - "base_uri": "https://localhost:8080/" - }, - "outputId": "be0dd5c4-8bda-4723-9acf-394ed044297e" - }, - "outputs": [ - { - "output_type": "stream", - "name": "stdout", - "text": [ - "성별과 생존여부 간의 상관관계: \n", - "남성: 0.188908\n", - "여성: 0.742038\n", - "클래스와 생존여부 간의 상관관계: \n", - "1등급: 0.629630\n", - "2등급: 0.472826\n", - "3등급: 0.242363\n", - "나이와 생존여부 간의 상관관계-confidence level: -0.077221\n" - ] - } - ], - "source": [ - "print(analysis)" - ] - }, - { - "cell_type": "markdown", - "source": [], - "metadata": { - "id": "6BnDH9SG3uH4" - } - }, - { - "cell_type": "markdown", - "metadata": { - "id": "hcT-BISRpjtd" - }, - "source": [ - "놀랍지 않나요? 에이전트에게 시각화 도구를 제공해 자신이 만든 그래프를 분석하게 할 수도 있습니다!\n", - "\n", - "## 데이터과학자 에이전트 : 예측 수행하기 🛠️\n", - "\n", - "👉 이제 더 깊이 들어가 봅시다 : **데이터를 기반으로 모델이 예측을 수행하도록 합니다.**\n", - "\n", - "예측 수행을 위해 `additional_authorized_imports`에 `sklearn`도 추가해줍니다." - ] - }, - { - "cell_type": "code", - "execution_count": null, - "metadata": { - "id": "1qSXRraDpjtd" - }, - "outputs": [], - "source": [ - "agent = ReactCodeAgent(\n", - " tools=[],\n", - " llm_engine=llm_engine,\n", - " additional_authorized_imports=[\n", - " \"numpy\",\n", - " \"pandas\",\n", - " \"matplotlib.pyplot\",\n", - " \"seaborn\",\n", - " \"sklearn\",\n", - " ],\n", - " max_iterations=12,\n", - ")\n", - "\n", - "output = agent.run(\n", - " \"\"\"당신은 전문가 수준의 머신러닝 엔지니어입니다.\n", - "'titanic_ko/train.csv' 파일을 사용하여 '생존여부'를 예측하는 머신러닝 모델을 학습시키세요.\n", - "'titanic_ko/test.csv' 파일의 행에 대한 예측을 수행한 후, 결과를 'titanic_ko/output.csv'에 출력하세요.\n", - "함수와 모듈을 사용하기 전에 반드시 임포트하세요!\n", - "\"\"\",\n", - " additional_notes=additional_notes + \"\\n\" + analysis,\n", - ")" - ] - }, - { - "cell_type": "markdown", - "metadata": { - "id": "Iimn7AWtpjtd" - }, - "source": [ - "위에서 에이전트가 출력한 테스트 예측을 Kaggle에 제출하면 **0.78229**으로, 이는 17,360명 중 2824등에 해당하며, 저자가 몇 년 전 이 데이터분석 챌린지를 처음 시도해 힘들게 얻었던 결과보다 더 나은 성과입니다.\n", - "\n", - "결과는 다를 수 있지만, 몇 초 만에 에이전트를 사용해 이 정도 성과를 낼 수 있다는 점이 매우 인상적입니다.\n", - "\n", - "🚀 이것은 에이전트를 활용한 단순한 데이터 분석 사례일 뿐입니다. 사용 사례에 맞게 충분히 개선할 수 있습니다 🤗" - ] - } - ], - "metadata": { - "kernelspec": { - "display_name": "disposable", - "language": "python", - "name": "python3" - }, - "language_info": { - "codemirror_mode": { - "name": "ipython", - "version": 3 - }, - "file_extension": ".py", - "mimetype": "text/x-python", - "name": "python", - "nbconvert_exporter": "python", - "pygments_lexer": "ipython3", - "version": "3.12.2" - }, - "colab": { - "provenance": [] - } - }, - "nbformat": 4, - "nbformat_minor": 0 -} From 29673eb22765f2a959226149421204badd884fb5 Mon Sep 17 00:00:00 2001 From: Ahnjj_DEV Date: Thu, 3 Oct 2024 15:15:55 +0900 Subject: [PATCH 16/23] fix: manual edits Add translator name --- notebooks/ko/agent_data_analyst.ipynb | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/notebooks/ko/agent_data_analyst.ipynb b/notebooks/ko/agent_data_analyst.ipynb index 613c707c..077912b6 100644 --- a/notebooks/ko/agent_data_analyst.ipynb +++ b/notebooks/ko/agent_data_analyst.ipynb @@ -4,7 +4,7 @@ "cell_type": "markdown", "source": [ "# 데이터분석 에이전트: 눈깜짝할 사이에 데이터에서 인사이트 얻기 ✨\n", - "_저자: [Aymeric Roucher](https://huggingface.co/m-ric)_\n", + "_저자: [Aymeric Roucher](https://huggingface.co/m-ric)_\n", "번역: [안정](https://huggingface.co/Ahnj-Stability)_\n", "\n", "> 이 튜토리얼은 고급 과정입니다. 사전에 [이 쿡북](agents)에 대한 개념을 이해하고 있어야 합니다!\n", "\n", @@ -308,4 +308,4 @@ }, "nbformat": 4, "nbformat_minor": 0 -} \ No newline at end of file +} From af272befac2071f57b82fd3e7b05cfdfd80b753e Mon Sep 17 00:00:00 2001 From: Ahnjj_DEV Date: Thu, 3 Oct 2024 15:16:40 +0900 Subject: [PATCH 17/23] fix: manual edits --- notebooks/ko/agent_data_analyst.ipynb | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/notebooks/ko/agent_data_analyst.ipynb b/notebooks/ko/agent_data_analyst.ipynb index 077912b6..b488b02f 100644 --- a/notebooks/ko/agent_data_analyst.ipynb +++ b/notebooks/ko/agent_data_analyst.ipynb @@ -209,7 +209,7 @@ "1등급: 0.629630\n", "2등급: 0.472826\n", "3등급: 0.242363\n", - "나이와 생존여부 간의 상관관계-confidence level: -0.077221\n" + "나이와 생존여부 간의 상관관계: -0.077221\n" ] } ], From cc85eede2a2b51bb19a331bf22408da406071764 Mon Sep 17 00:00:00 2001 From: Ahnjj_DEV Date: Thu, 24 Oct 2024 21:50:03 +0900 Subject: [PATCH 18/23] Update notebooks/ko/index.md --- notebooks/ko/index.md | 3 ++- 1 file changed, 2 insertions(+), 1 deletion(-) diff --git a/notebooks/ko/index.md b/notebooks/ko/index.md index ca61214d..57204d49 100644 --- a/notebooks/ko/index.md +++ b/notebooks/ko/index.md @@ -6,7 +6,8 @@ 최근 추가된 노트북을 살펴보세요: -- [한국어 Advanced RAG 구현: Hugging Face와 LangChain 활용한 Cookbook](adv[anced_ko_rag) +- [한국어 Advanced RAG 구현: Hugging Face와 LangChain 활용한 Cookbook](advanced_ko_rag) +- [구조화된 생성으로 근거 강조 표시가 있는 RAG 시스템 구축하기](structured_generation) - [데이터분석 에이전트: 눈깜짝할 사이에 데이터에서 인사이트 얻기](https://huggingface.co/learn/cookbook/en/agent_data_analyst) 더 다양한 노트북을 확인하고 싶다면 Cookbook's [GitHub 리포지토리](https://github.com/huggingface/cookbook)에 방문해보세요. From 60ce9634db939f86216ca5ad5587e88110aa58f1 Mon Sep 17 00:00:00 2001 From: Ahnjj_DEV Date: Thu, 24 Oct 2024 21:50:08 +0900 Subject: [PATCH 19/23] Update notebooks/ko/_toctree.yml --- notebooks/ko/_toctree.yml | 2 ++ 1 file changed, 2 insertions(+) diff --git a/notebooks/ko/_toctree.yml b/notebooks/ko/_toctree.yml index f7c07f0c..381fb901 100644 --- a/notebooks/ko/_toctree.yml +++ b/notebooks/ko/_toctree.yml @@ -9,6 +9,8 @@ sections: - local: advanced_ko_rag title: 한국어로 Advanced RAG 구현하기 - Hugging Face와 LangChain을 활용한 Cookbook + - local: structured_generation + title: 구조화된 생성으로 근거 강조 표시가 있는 RAG 시스템 구축하기 - title: 데이터분석 에이전트 isExpanded: false From da6680f27ed2966c71815a1a0967eab1d0ddb0c9 Mon Sep 17 00:00:00 2001 From: Ahnjj_DEV Date: Sun, 27 Oct 2024 20:05:46 +0900 Subject: [PATCH 20/23] Update notebooks/ko/_toctree.yml --- notebooks/ko/_toctree.yml | 2 ++ 1 file changed, 2 insertions(+) diff --git a/notebooks/ko/_toctree.yml b/notebooks/ko/_toctree.yml index 381fb901..c1aa9a4d 100644 --- a/notebooks/ko/_toctree.yml +++ b/notebooks/ko/_toctree.yml @@ -11,6 +11,8 @@ title: 한국어로 Advanced RAG 구현하기 - Hugging Face와 LangChain을 활용한 Cookbook - local: structured_generation title: 구조화된 생성으로 근거 강조 표시가 있는 RAG 시스템 구축하기 + - local: ko_rag_with_knowledge_graphs_neo4j + title: 지식 그래프를 활용한 RAG 추론 향상 - title: 데이터분석 에이전트 isExpanded: false From ae2040b52178984c19f84cda7bfccfe20e5c79b5 Mon Sep 17 00:00:00 2001 From: Ahnjj_DEV Date: Sun, 27 Oct 2024 20:05:50 +0900 Subject: [PATCH 21/23] Update notebooks/ko/index.md --- notebooks/ko/index.md | 1 + 1 file changed, 1 insertion(+) diff --git a/notebooks/ko/index.md b/notebooks/ko/index.md index 57204d49..ff823b46 100644 --- a/notebooks/ko/index.md +++ b/notebooks/ko/index.md @@ -8,6 +8,7 @@ - [한국어 Advanced RAG 구현: Hugging Face와 LangChain 활용한 Cookbook](advanced_ko_rag) - [구조화된 생성으로 근거 강조 표시가 있는 RAG 시스템 구축하기](structured_generation) +- [지식 그래프를 활용한 RAG 추론 향상](ko_rag_with_knowledge_graphs_neo4j) - [데이터분석 에이전트: 눈깜짝할 사이에 데이터에서 인사이트 얻기](https://huggingface.co/learn/cookbook/en/agent_data_analyst) 더 다양한 노트북을 확인하고 싶다면 Cookbook's [GitHub 리포지토리](https://github.com/huggingface/cookbook)에 방문해보세요. From 0ca3fc6535a8aec69c82e2beb3817cf99d1ff1d0 Mon Sep 17 00:00:00 2001 From: Ahnjj_DEV Date: Sun, 27 Oct 2024 20:08:12 +0900 Subject: [PATCH 22/23] Update notebooks/ko/_toctree.yml --- notebooks/ko/_toctree.yml | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/notebooks/ko/_toctree.yml b/notebooks/ko/_toctree.yml index c1aa9a4d..b702cb0a 100644 --- a/notebooks/ko/_toctree.yml +++ b/notebooks/ko/_toctree.yml @@ -11,7 +11,7 @@ title: 한국어로 Advanced RAG 구현하기 - Hugging Face와 LangChain을 활용한 Cookbook - local: structured_generation title: 구조화된 생성으로 근거 강조 표시가 있는 RAG 시스템 구축하기 - - local: ko_rag_with_knowledge_graphs_neo4j + - local: ko_rag_with_knowledge_graphs_neo4j title: 지식 그래프를 활용한 RAG 추론 향상 - title: 데이터분석 에이전트 From d8dfa67969b9a14e45e83bedf0642a5e642a21de Mon Sep 17 00:00:00 2001 From: Ahnjj_DEV Date: Sun, 27 Oct 2024 20:10:45 +0900 Subject: [PATCH 23/23] Update notebooks/ko/_toctree.yml --- notebooks/ko/_toctree.yml | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/notebooks/ko/_toctree.yml b/notebooks/ko/_toctree.yml index b702cb0a..513aeb2e 100644 --- a/notebooks/ko/_toctree.yml +++ b/notebooks/ko/_toctree.yml @@ -14,7 +14,7 @@ - local: ko_rag_with_knowledge_graphs_neo4j title: 지식 그래프를 활용한 RAG 추론 향상 - - title: 데이터분석 에이전트 + - title: 에이전트 레시피 isExpanded: false sections: - local: agent_data_analyst