diff --git a/examples/Fog_X Demo.ipynb b/examples/Fog_X Demo.ipynb index c45bb70..aad1c0c 100644 --- a/examples/Fog_X Demo.ipynb +++ b/examples/Fog_X Demo.ipynb @@ -7,30 +7,24 @@ "source": [ "# Fog-X Demo\n", "\n", - "In this demo, we show how to use Fog-X to collect and manage your robotics learning dataset. " + "In this demo, we show how to use Fog-X to collect and manage your robotics learning dataset. We show the following aspects of the Fog-X: \n", + "* Support for existing Open-X datasets\n", + "* Data Analytics and Management \n", + "* Use for Pytorch Learning, Export and Share with Open-X(rlds) and HuggingFace\n", + "We also compare the disk saving of Fog-X at the end " ] }, { "cell_type": "code", - "execution_count": 1, + "execution_count": 2, "id": "36ed049c", "metadata": { "scrolled": true }, - "outputs": [ - { - "name": "stderr", - "output_type": "stream", - "text": [ - "E 2024-04-10 05:39:33,997 polars_connector.py:118] Table demo_ds does not exist, available tables are dict_keys([]).\n" - ] - } - ], + "outputs": [], "source": [ - "import logging \n", - "logging.getLogger().setLevel(logging.CRITICAL)\n", - "\n", "import fog_x \n", + "\n", "dataset = fog_x.dataset.Dataset(\n", " name=\"demo_ds\",\n", " path=\"~/test_dataset\",\n", @@ -53,7 +47,7 @@ }, { "cell_type": "code", - "execution_count": 2, + "execution_count": 3, "id": "f52d6801", "metadata": {}, "outputs": [ @@ -61,60 +55,28 @@ "name": "stderr", "output_type": "stream", "text": [ - "2024-04-10 05:39:34.859304: I external/local_tsl/tsl/cuda/cudart_stub.cc:31] Could not find cuda drivers on your machine, GPU will not be used.\n", - "2024-04-10 05:39:34.906649: E external/local_xla/xla/stream_executor/cuda/cuda_dnn.cc:9261] Unable to register cuDNN factory: Attempting to register factory for plugin cuDNN when one has already been registered\n", - "2024-04-10 05:39:34.906687: E external/local_xla/xla/stream_executor/cuda/cuda_fft.cc:607] Unable to register cuFFT factory: Attempting to register factory for plugin cuFFT when one has already been registered\n", - "2024-04-10 05:39:34.908340: E external/local_xla/xla/stream_executor/cuda/cuda_blas.cc:1515] Unable to register cuBLAS factory: Attempting to register factory for plugin cuBLAS when one has already been registered\n", - "2024-04-10 05:39:34.916359: I external/local_tsl/tsl/cuda/cudart_stub.cc:31] Could not find cuda drivers on your machine, GPU will not be used.\n", - "2024-04-10 05:39:34.917482: I tensorflow/core/platform/cpu_feature_guard.cc:182] This TensorFlow binary is optimized to use available CPU instructions in performance-critical operations.\n", + "2024-04-10 05:55:23.407831: I tensorflow/core/platform/cpu_feature_guard.cc:210] This TensorFlow binary is optimized to use available CPU instructions in performance-critical operations.\n", "To enable the following instructions: AVX2 AVX512F FMA, in other operations, rebuild TensorFlow with the appropriate compiler flags.\n", - "2024-04-10 05:39:36.095019: W tensorflow/compiler/tf2tensorrt/utils/py_utils.cc:38] TF-TRT Warning: Could not find TensorRT\n" - ] - }, - { - "ename": "KeyboardInterrupt", - "evalue": "", - "output_type": "error", - "traceback": [ - "\u001b[0;31m---------------------------------------------------------------------------\u001b[0m", - "\u001b[0;31mKeyboardInterrupt\u001b[0m Traceback (most recent call last)", - "Cell \u001b[0;32mIn[2], line 1\u001b[0m\n\u001b[0;32m----> 1\u001b[0m \u001b[43mdataset\u001b[49m\u001b[38;5;241;43m.\u001b[39;49m\u001b[43mload_rtx_episodes\u001b[49m\u001b[43m(\u001b[49m\n\u001b[1;32m 2\u001b[0m \u001b[43m \u001b[49m\u001b[43mname\u001b[49m\u001b[38;5;241;43m=\u001b[39;49m\u001b[38;5;124;43m\"\u001b[39;49m\u001b[38;5;124;43mberkeley_autolab_ur5\u001b[39;49m\u001b[38;5;124;43m\"\u001b[39;49m\u001b[43m,\u001b[49m\n\u001b[1;32m 3\u001b[0m \u001b[43m \u001b[49m\u001b[43msplit\u001b[49m\u001b[38;5;241;43m=\u001b[39;49m\u001b[38;5;124;43m\"\u001b[39;49m\u001b[38;5;124;43mtrain[:3]\u001b[39;49m\u001b[38;5;124;43m\"\u001b[39;49m\u001b[43m,\u001b[49m\n\u001b[1;32m 4\u001b[0m \u001b[43m)\u001b[49m\n", - "File \u001b[0;32m~/.local/lib/python3.10/site-packages/fog_x/dataset.py:283\u001b[0m, in \u001b[0;36mDataset.load_rtx_episodes\u001b[0;34m(self, name, split, additional_metadata)\u001b[0m\n\u001b[1;32m 273\u001b[0m \u001b[38;5;28;01mfrom\u001b[39;00m \u001b[38;5;21;01mtensorflow_datasets\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mcore\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mfeatures\u001b[39;00m \u001b[38;5;28;01mimport\u001b[39;00m (\n\u001b[1;32m 274\u001b[0m FeaturesDict,\n\u001b[1;32m 275\u001b[0m Image,\n\u001b[0;32m (...)\u001b[0m\n\u001b[1;32m 278\u001b[0m Text,\n\u001b[1;32m 279\u001b[0m )\n\u001b[1;32m 281\u001b[0m \u001b[38;5;28;01mfrom\u001b[39;00m \u001b[38;5;21;01mfog_x\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mrlds\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mutils\u001b[39;00m \u001b[38;5;28;01mimport\u001b[39;00m dataset2path\n\u001b[0;32m--> 283\u001b[0m b \u001b[38;5;241m=\u001b[39m \u001b[43mtfds\u001b[49m\u001b[38;5;241;43m.\u001b[39;49m\u001b[43mbuilder_from_directory\u001b[49m\u001b[43m(\u001b[49m\u001b[43mbuilder_dir\u001b[49m\u001b[38;5;241;43m=\u001b[39;49m\u001b[43mdataset2path\u001b[49m\u001b[43m(\u001b[49m\u001b[43mname\u001b[49m\u001b[43m)\u001b[49m\u001b[43m)\u001b[49m\n\u001b[1;32m 284\u001b[0m ds \u001b[38;5;241m=\u001b[39m b\u001b[38;5;241m.\u001b[39mas_dataset(split\u001b[38;5;241m=\u001b[39msplit)\n\u001b[1;32m 286\u001b[0m data_type \u001b[38;5;241m=\u001b[39m b\u001b[38;5;241m.\u001b[39minfo\u001b[38;5;241m.\u001b[39mfeatures[\u001b[38;5;124m\"\u001b[39m\u001b[38;5;124msteps\u001b[39m\u001b[38;5;124m\"\u001b[39m]\n", - "File \u001b[0;32m~/.local/lib/python3.10/site-packages/tensorflow_datasets/core/read_only_builder.py:139\u001b[0m, in \u001b[0;36mbuilder_from_directory\u001b[0;34m(builder_dir)\u001b[0m\n\u001b[1;32m 116\u001b[0m \u001b[38;5;28;01mdef\u001b[39;00m \u001b[38;5;21mbuilder_from_directory\u001b[39m(\n\u001b[1;32m 117\u001b[0m builder_dir: epath\u001b[38;5;241m.\u001b[39mPathLike,\n\u001b[1;32m 118\u001b[0m ) \u001b[38;5;241m-\u001b[39m\u001b[38;5;241m>\u001b[39m dataset_builder\u001b[38;5;241m.\u001b[39mDatasetBuilder:\n\u001b[1;32m 119\u001b[0m \u001b[38;5;250m \u001b[39m\u001b[38;5;124;03m\"\"\"Loads a `tfds.core.DatasetBuilder` from the given generated dataset path.\u001b[39;00m\n\u001b[1;32m 120\u001b[0m \n\u001b[1;32m 121\u001b[0m \u001b[38;5;124;03m Reconstructs the `tfds.core.DatasetBuilder` without requiring the original\u001b[39;00m\n\u001b[0;32m (...)\u001b[0m\n\u001b[1;32m 137\u001b[0m \u001b[38;5;124;03m builder: `tfds.core.DatasetBuilder`, builder for dataset at the given path.\u001b[39;00m\n\u001b[1;32m 138\u001b[0m \u001b[38;5;124;03m \"\"\"\u001b[39;00m\n\u001b[0;32m--> 139\u001b[0m \u001b[38;5;28;01mreturn\u001b[39;00m \u001b[43mReadOnlyBuilder\u001b[49m\u001b[43m(\u001b[49m\u001b[43mbuilder_dir\u001b[49m\u001b[38;5;241;43m=\u001b[39;49m\u001b[43mbuilder_dir\u001b[49m\u001b[43m)\u001b[49m\n", - "File \u001b[0;32m~/.local/lib/python3.10/site-packages/tensorflow_datasets/core/logging/__init__.py:288\u001b[0m, in \u001b[0;36mbuilder_init..decorator\u001b[0;34m(function, dsbuilder, args, kwargs)\u001b[0m\n\u001b[1;32m 286\u001b[0m _thread_id_to_builder_init_count[metadata\u001b[38;5;241m.\u001b[39mthread_id] \u001b[38;5;241m+\u001b[39m\u001b[38;5;241m=\u001b[39m \u001b[38;5;241m1\u001b[39m\n\u001b[1;32m 287\u001b[0m \u001b[38;5;28;01mtry\u001b[39;00m:\n\u001b[0;32m--> 288\u001b[0m \u001b[38;5;28;01mreturn\u001b[39;00m \u001b[43mfunction\u001b[49m\u001b[43m(\u001b[49m\u001b[38;5;241;43m*\u001b[39;49m\u001b[43margs\u001b[49m\u001b[43m,\u001b[49m\u001b[43m \u001b[49m\u001b[38;5;241;43m*\u001b[39;49m\u001b[38;5;241;43m*\u001b[39;49m\u001b[43mkwargs\u001b[49m\u001b[43m)\u001b[49m\n\u001b[1;32m 289\u001b[0m \u001b[38;5;28;01mexcept\u001b[39;00m \u001b[38;5;167;01mException\u001b[39;00m:\n\u001b[1;32m 290\u001b[0m metadata\u001b[38;5;241m.\u001b[39mmark_error()\n", - "File \u001b[0;32m~/.local/lib/python3.10/site-packages/tensorflow_datasets/core/read_only_builder.py:65\u001b[0m, in \u001b[0;36mReadOnlyBuilder.__init__\u001b[0;34m(self, builder_dir, info_proto)\u001b[0m\n\u001b[1;32m 63\u001b[0m builder_dir \u001b[38;5;241m=\u001b[39m os\u001b[38;5;241m.\u001b[39mpath\u001b[38;5;241m.\u001b[39mexpanduser(builder_dir)\n\u001b[1;32m 64\u001b[0m \u001b[38;5;28;01mif\u001b[39;00m \u001b[38;5;129;01mnot\u001b[39;00m info_proto:\n\u001b[0;32m---> 65\u001b[0m info_proto \u001b[38;5;241m=\u001b[39m \u001b[43mdataset_info\u001b[49m\u001b[38;5;241;43m.\u001b[39;49m\u001b[43mread_proto_from_builder_dir\u001b[49m\u001b[43m(\u001b[49m\u001b[43mbuilder_dir\u001b[49m\u001b[43m)\u001b[49m\n\u001b[1;32m 66\u001b[0m \u001b[38;5;28mself\u001b[39m\u001b[38;5;241m.\u001b[39m_info_proto \u001b[38;5;241m=\u001b[39m info_proto\n\u001b[1;32m 68\u001b[0m \u001b[38;5;28mself\u001b[39m\u001b[38;5;241m.\u001b[39mname \u001b[38;5;241m=\u001b[39m info_proto\u001b[38;5;241m.\u001b[39mname\n", - "File \u001b[0;32m~/.local/lib/python3.10/site-packages/tensorflow_datasets/core/dataset_info.py:1058\u001b[0m, in \u001b[0;36mread_proto_from_builder_dir\u001b[0;34m(builder_dir)\u001b[0m\n\u001b[1;32m 1056\u001b[0m builder_dir \u001b[38;5;241m=\u001b[39m epath\u001b[38;5;241m.\u001b[39mPath(builder_dir)\u001b[38;5;241m.\u001b[39mexpanduser()\n\u001b[1;32m 1057\u001b[0m info_path \u001b[38;5;241m=\u001b[39m builder_dir \u001b[38;5;241m/\u001b[39m constants\u001b[38;5;241m.\u001b[39mDATASET_INFO_FILENAME\n\u001b[0;32m-> 1058\u001b[0m \u001b[38;5;28;01mreturn\u001b[39;00m \u001b[43mread_from_json\u001b[49m\u001b[43m(\u001b[49m\u001b[43minfo_path\u001b[49m\u001b[43m)\u001b[49m\n", - "File \u001b[0;32m~/.local/lib/python3.10/site-packages/tensorflow_datasets/core/dataset_info.py:1034\u001b[0m, in \u001b[0;36mread_from_json\u001b[0;34m(path)\u001b[0m\n\u001b[1;32m 1022\u001b[0m \u001b[38;5;250m\u001b[39m\u001b[38;5;124;03m\"\"\"Read JSON-formatted proto into DatasetInfo proto.\u001b[39;00m\n\u001b[1;32m 1023\u001b[0m \n\u001b[1;32m 1024\u001b[0m \u001b[38;5;124;03mArgs:\u001b[39;00m\n\u001b[0;32m (...)\u001b[0m\n\u001b[1;32m 1031\u001b[0m \u001b[38;5;124;03m FileNotFoundError: If the builder_dir does not exist.\u001b[39;00m\n\u001b[1;32m 1032\u001b[0m \u001b[38;5;124;03m\"\"\"\u001b[39;00m\n\u001b[1;32m 1033\u001b[0m \u001b[38;5;28;01mtry\u001b[39;00m:\n\u001b[0;32m-> 1034\u001b[0m json_str \u001b[38;5;241m=\u001b[39m \u001b[43mepath\u001b[49m\u001b[38;5;241;43m.\u001b[39;49m\u001b[43mPath\u001b[49m\u001b[43m(\u001b[49m\u001b[43mpath\u001b[49m\u001b[43m)\u001b[49m\u001b[38;5;241;43m.\u001b[39;49m\u001b[43mread_text\u001b[49m\u001b[43m(\u001b[49m\u001b[43m)\u001b[49m\n\u001b[1;32m 1035\u001b[0m \u001b[38;5;28;01mexcept\u001b[39;00m \u001b[38;5;167;01mOSError\u001b[39;00m \u001b[38;5;28;01mas\u001b[39;00m e:\n\u001b[1;32m 1036\u001b[0m \u001b[38;5;28;01mraise\u001b[39;00m \u001b[38;5;167;01mFileNotFoundError\u001b[39;00m(\u001b[38;5;124mf\u001b[39m\u001b[38;5;124m\"\u001b[39m\u001b[38;5;124mCould not load dataset info from \u001b[39m\u001b[38;5;132;01m{\u001b[39;00mpath\u001b[38;5;132;01m}\u001b[39;00m\u001b[38;5;124m\"\u001b[39m) \u001b[38;5;28;01mfrom\u001b[39;00m \u001b[38;5;21;01me\u001b[39;00m\n", - "File \u001b[0;32m~/.local/lib/python3.10/site-packages/etils/epath/abstract_path.py:144\u001b[0m, in \u001b[0;36mPath.read_text\u001b[0;34m(self, encoding)\u001b[0m\n\u001b[1;32m 142\u001b[0m \u001b[38;5;28;01mdef\u001b[39;00m \u001b[38;5;21mread_text\u001b[39m(\u001b[38;5;28mself\u001b[39m, encoding: Optional[\u001b[38;5;28mstr\u001b[39m] \u001b[38;5;241m=\u001b[39m \u001b[38;5;28;01mNone\u001b[39;00m) \u001b[38;5;241m-\u001b[39m\u001b[38;5;241m>\u001b[39m \u001b[38;5;28mstr\u001b[39m:\n\u001b[1;32m 143\u001b[0m \u001b[38;5;250m \u001b[39m\u001b[38;5;124;03m\"\"\"Reads contents of self as a string.\"\"\"\u001b[39;00m\n\u001b[0;32m--> 144\u001b[0m \u001b[38;5;28;01mwith\u001b[39;00m \u001b[38;5;28mself\u001b[39m\u001b[38;5;241m.\u001b[39mopen(\u001b[38;5;124m'\u001b[39m\u001b[38;5;124mr\u001b[39m\u001b[38;5;124m'\u001b[39m, encoding\u001b[38;5;241m=\u001b[39mencoding) \u001b[38;5;28;01mas\u001b[39;00m f:\n\u001b[1;32m 145\u001b[0m \u001b[38;5;28;01mreturn\u001b[39;00m f\u001b[38;5;241m.\u001b[39mread()\n", - "File \u001b[0;32m/usr/lib/python3.10/contextlib.py:135\u001b[0m, in \u001b[0;36m_GeneratorContextManager.__enter__\u001b[0;34m(self)\u001b[0m\n\u001b[1;32m 133\u001b[0m \u001b[38;5;28;01mdel\u001b[39;00m \u001b[38;5;28mself\u001b[39m\u001b[38;5;241m.\u001b[39margs, \u001b[38;5;28mself\u001b[39m\u001b[38;5;241m.\u001b[39mkwds, \u001b[38;5;28mself\u001b[39m\u001b[38;5;241m.\u001b[39mfunc\n\u001b[1;32m 134\u001b[0m \u001b[38;5;28;01mtry\u001b[39;00m:\n\u001b[0;32m--> 135\u001b[0m \u001b[38;5;28;01mreturn\u001b[39;00m \u001b[38;5;28;43mnext\u001b[39;49m\u001b[43m(\u001b[49m\u001b[38;5;28;43mself\u001b[39;49m\u001b[38;5;241;43m.\u001b[39;49m\u001b[43mgen\u001b[49m\u001b[43m)\u001b[49m\n\u001b[1;32m 136\u001b[0m \u001b[38;5;28;01mexcept\u001b[39;00m \u001b[38;5;167;01mStopIteration\u001b[39;00m:\n\u001b[1;32m 137\u001b[0m \u001b[38;5;28;01mraise\u001b[39;00m \u001b[38;5;167;01mRuntimeError\u001b[39;00m(\u001b[38;5;124m\"\u001b[39m\u001b[38;5;124mgenerator didn\u001b[39m\u001b[38;5;124m'\u001b[39m\u001b[38;5;124mt yield\u001b[39m\u001b[38;5;124m\"\u001b[39m) \u001b[38;5;28;01mfrom\u001b[39;00m \u001b[38;5;28;01mNone\u001b[39;00m\n", - "File \u001b[0;32m~/.local/lib/python3.10/site-packages/etils/epath/backend.py:218\u001b[0m, in \u001b[0;36m_TfBackend.open\u001b[0;34m(self, path, mode)\u001b[0m\n\u001b[1;32m 212\u001b[0m \u001b[38;5;129m@contextlib\u001b[39m\u001b[38;5;241m.\u001b[39mcontextmanager\n\u001b[1;32m 213\u001b[0m \u001b[38;5;28;01mdef\u001b[39;00m \u001b[38;5;21mopen\u001b[39m(\n\u001b[1;32m 214\u001b[0m \u001b[38;5;28mself\u001b[39m,\n\u001b[1;32m 215\u001b[0m path: PathLike,\n\u001b[1;32m 216\u001b[0m mode: \u001b[38;5;28mstr\u001b[39m,\n\u001b[1;32m 217\u001b[0m ) \u001b[38;5;241m-\u001b[39m\u001b[38;5;241m>\u001b[39m Iterator[typing\u001b[38;5;241m.\u001b[39mIO[Union[\u001b[38;5;28mstr\u001b[39m, \u001b[38;5;28mbytes\u001b[39m]]]:\n\u001b[0;32m--> 218\u001b[0m \u001b[38;5;28;01mwith\u001b[39;00m \u001b[38;5;28;43mself\u001b[39;49m\u001b[38;5;241;43m.\u001b[39;49m\u001b[43mgfile\u001b[49m\u001b[38;5;241m.\u001b[39mGFile(path, mode) \u001b[38;5;28;01mas\u001b[39;00m f: \u001b[38;5;66;03m# pytype: disable=bad-return-type\u001b[39;00m\n\u001b[1;32m 219\u001b[0m \u001b[38;5;28;01mtry\u001b[39;00m:\n\u001b[1;32m 220\u001b[0m \u001b[38;5;28;01myield\u001b[39;00m f\n", - "File \u001b[0;32m~/.local/lib/python3.10/site-packages/etils/epath/backend.py:210\u001b[0m, in \u001b[0;36m_TfBackend.gfile\u001b[0;34m(self)\u001b[0m\n\u001b[1;32m 208\u001b[0m \u001b[38;5;129m@property\u001b[39m\n\u001b[1;32m 209\u001b[0m \u001b[38;5;28;01mdef\u001b[39;00m \u001b[38;5;21mgfile\u001b[39m(\u001b[38;5;28mself\u001b[39m):\n\u001b[0;32m--> 210\u001b[0m \u001b[38;5;28;01mreturn\u001b[39;00m \u001b[38;5;28;43mself\u001b[39;49m\u001b[38;5;241;43m.\u001b[39;49m\u001b[43mtf\u001b[49m\u001b[38;5;241m.\u001b[39mio\u001b[38;5;241m.\u001b[39mgfile\n", - "File \u001b[0;32m~/.local/lib/python3.10/site-packages/etils/epath/backend.py:201\u001b[0m, in \u001b[0;36m_TfBackend.tf\u001b[0;34m(self)\u001b[0m\n\u001b[1;32m 198\u001b[0m \u001b[38;5;129m@property\u001b[39m\n\u001b[1;32m 199\u001b[0m \u001b[38;5;28;01mdef\u001b[39;00m \u001b[38;5;21mtf\u001b[39m(\u001b[38;5;28mself\u001b[39m):\n\u001b[1;32m 200\u001b[0m \u001b[38;5;28;01mtry\u001b[39;00m:\n\u001b[0;32m--> 201\u001b[0m \u001b[38;5;28;01mimport\u001b[39;00m \u001b[38;5;21;01mtensorflow\u001b[39;00m \u001b[38;5;66;03m# pylint: disable=g-import-not-at-top # pytype: disable=import-error\u001b[39;00m\n\u001b[1;32m 202\u001b[0m \u001b[38;5;28;01mexcept\u001b[39;00m \u001b[38;5;167;01mImportError\u001b[39;00m \u001b[38;5;28;01mas\u001b[39;00m e:\n\u001b[1;32m 203\u001b[0m \u001b[38;5;28;01mraise\u001b[39;00m \u001b[38;5;167;01mImportError\u001b[39;00m(\n\u001b[1;32m 204\u001b[0m \u001b[38;5;124mf\u001b[39m\u001b[38;5;124m'\u001b[39m\u001b[38;5;132;01m{\u001b[39;00me\u001b[38;5;132;01m}\u001b[39;00m\u001b[38;5;124m. To use epath.Path with gs://, TensorFlow should be installed.\u001b[39m\u001b[38;5;124m'\u001b[39m\n\u001b[1;32m 205\u001b[0m ) \u001b[38;5;28;01mfrom\u001b[39;00m \u001b[38;5;28;01mNone\u001b[39;00m\n", - "File \u001b[0;32m~/.local/lib/python3.10/site-packages/tensorflow/__init__.py:54\u001b[0m\n\u001b[1;32m 52\u001b[0m \u001b[38;5;28;01mfrom\u001b[39;00m \u001b[38;5;21;01mtensorflow\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01m_api\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mv2\u001b[39;00m \u001b[38;5;28;01mimport\u001b[39;00m autograph\n\u001b[1;32m 53\u001b[0m \u001b[38;5;28;01mfrom\u001b[39;00m \u001b[38;5;21;01mtensorflow\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01m_api\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mv2\u001b[39;00m \u001b[38;5;28;01mimport\u001b[39;00m bitwise\n\u001b[0;32m---> 54\u001b[0m \u001b[38;5;28;01mfrom\u001b[39;00m \u001b[38;5;21;01mtensorflow\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01m_api\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mv2\u001b[39;00m \u001b[38;5;28;01mimport\u001b[39;00m compat\n\u001b[1;32m 55\u001b[0m \u001b[38;5;28;01mfrom\u001b[39;00m \u001b[38;5;21;01mtensorflow\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01m_api\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mv2\u001b[39;00m \u001b[38;5;28;01mimport\u001b[39;00m config\n\u001b[1;32m 56\u001b[0m \u001b[38;5;28;01mfrom\u001b[39;00m \u001b[38;5;21;01mtensorflow\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01m_api\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mv2\u001b[39;00m \u001b[38;5;28;01mimport\u001b[39;00m data\n", - "File \u001b[0;32m~/.local/lib/python3.10/site-packages/tensorflow/_api/v2/compat/__init__.py:8\u001b[0m\n\u001b[1;32m 3\u001b[0m \u001b[38;5;124;03m\"\"\"Public API for tf._api.v2.compat namespace\u001b[39;00m\n\u001b[1;32m 4\u001b[0m \u001b[38;5;124;03m\"\"\"\u001b[39;00m\n\u001b[1;32m 6\u001b[0m \u001b[38;5;28;01mimport\u001b[39;00m \u001b[38;5;21;01msys\u001b[39;00m \u001b[38;5;28;01mas\u001b[39;00m \u001b[38;5;21;01m_sys\u001b[39;00m\n\u001b[0;32m----> 8\u001b[0m \u001b[38;5;28;01mfrom\u001b[39;00m \u001b[38;5;21;01mtensorflow\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01m_api\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mv2\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mcompat\u001b[39;00m \u001b[38;5;28;01mimport\u001b[39;00m v1\n\u001b[1;32m 9\u001b[0m \u001b[38;5;28;01mfrom\u001b[39;00m \u001b[38;5;21;01mtensorflow\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01m_api\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mv2\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mcompat\u001b[39;00m \u001b[38;5;28;01mimport\u001b[39;00m v2\n\u001b[1;32m 10\u001b[0m \u001b[38;5;28;01mfrom\u001b[39;00m \u001b[38;5;21;01mtensorflow\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mpython\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mcompat\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mcompat\u001b[39;00m \u001b[38;5;28;01mimport\u001b[39;00m forward_compatibility_horizon \u001b[38;5;66;03m# line: 125\u001b[39;00m\n", - "File \u001b[0;32m~/.local/lib/python3.10/site-packages/tensorflow/_api/v2/compat/v1/__init__.py:32\u001b[0m\n\u001b[1;32m 30\u001b[0m \u001b[38;5;28;01mfrom\u001b[39;00m \u001b[38;5;21;01mtensorflow\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01m_api\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mv2\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mcompat\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mv1\u001b[39;00m \u001b[38;5;28;01mimport\u001b[39;00m autograph\n\u001b[1;32m 31\u001b[0m \u001b[38;5;28;01mfrom\u001b[39;00m \u001b[38;5;21;01mtensorflow\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01m_api\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mv2\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mcompat\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mv1\u001b[39;00m \u001b[38;5;28;01mimport\u001b[39;00m bitwise\n\u001b[0;32m---> 32\u001b[0m \u001b[38;5;28;01mfrom\u001b[39;00m \u001b[38;5;21;01mtensorflow\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01m_api\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mv2\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mcompat\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mv1\u001b[39;00m \u001b[38;5;28;01mimport\u001b[39;00m compat\n\u001b[1;32m 33\u001b[0m \u001b[38;5;28;01mfrom\u001b[39;00m \u001b[38;5;21;01mtensorflow\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01m_api\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mv2\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mcompat\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mv1\u001b[39;00m \u001b[38;5;28;01mimport\u001b[39;00m config\n\u001b[1;32m 34\u001b[0m \u001b[38;5;28;01mfrom\u001b[39;00m \u001b[38;5;21;01mtensorflow\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01m_api\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mv2\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mcompat\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mv1\u001b[39;00m \u001b[38;5;28;01mimport\u001b[39;00m data\n", - "File \u001b[0;32m~/.local/lib/python3.10/site-packages/tensorflow/_api/v2/compat/v1/compat/__init__.py:9\u001b[0m\n\u001b[1;32m 6\u001b[0m \u001b[38;5;28;01mimport\u001b[39;00m \u001b[38;5;21;01msys\u001b[39;00m \u001b[38;5;28;01mas\u001b[39;00m \u001b[38;5;21;01m_sys\u001b[39;00m\n\u001b[1;32m 8\u001b[0m \u001b[38;5;28;01mfrom\u001b[39;00m \u001b[38;5;21;01mtensorflow\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01m_api\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mv2\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mcompat\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mv1\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mcompat\u001b[39;00m \u001b[38;5;28;01mimport\u001b[39;00m v1\n\u001b[0;32m----> 9\u001b[0m \u001b[38;5;28;01mfrom\u001b[39;00m \u001b[38;5;21;01mtensorflow\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01m_api\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mv2\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mcompat\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mv1\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mcompat\u001b[39;00m \u001b[38;5;28;01mimport\u001b[39;00m v2\n\u001b[1;32m 10\u001b[0m \u001b[38;5;28;01mfrom\u001b[39;00m \u001b[38;5;21;01mtensorflow\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mpython\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mcompat\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mcompat\u001b[39;00m \u001b[38;5;28;01mimport\u001b[39;00m forward_compatibility_horizon \u001b[38;5;66;03m# line: 125\u001b[39;00m\n\u001b[1;32m 11\u001b[0m \u001b[38;5;28;01mfrom\u001b[39;00m \u001b[38;5;21;01mtensorflow\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mpython\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mcompat\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mcompat\u001b[39;00m \u001b[38;5;28;01mimport\u001b[39;00m forward_compatible \u001b[38;5;66;03m# line: 65\u001b[39;00m\n", - "File \u001b[0;32m~/.local/lib/python3.10/site-packages/tensorflow/_api/v2/compat/v1/compat/v2/__init__.py:28\u001b[0m\n\u001b[1;32m 25\u001b[0m \u001b[38;5;28;01mfrom\u001b[39;00m \u001b[38;5;21;01mtensorflow\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mpython\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mutil\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mlazy_loader\u001b[39;00m \u001b[38;5;28;01mimport\u001b[39;00m LazyLoader \u001b[38;5;28;01mas\u001b[39;00m _LazyLoader\n\u001b[1;32m 26\u001b[0m \u001b[38;5;28;01mfrom\u001b[39;00m \u001b[38;5;21;01mtensorflow\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mpython\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mutil\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mlazy_loader\u001b[39;00m \u001b[38;5;28;01mimport\u001b[39;00m KerasLazyLoader \u001b[38;5;28;01mas\u001b[39;00m _KerasLazyLoader\n\u001b[0;32m---> 28\u001b[0m \u001b[38;5;28;01mfrom\u001b[39;00m \u001b[38;5;21;01mtensorflow\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01m_api\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mv2\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mcompat\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mv2\u001b[39;00m \u001b[38;5;28;01mimport\u001b[39;00m __internal__\n\u001b[1;32m 29\u001b[0m \u001b[38;5;28;01mfrom\u001b[39;00m \u001b[38;5;21;01mtensorflow\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01m_api\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mv2\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mcompat\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mv2\u001b[39;00m \u001b[38;5;28;01mimport\u001b[39;00m __operators__\n\u001b[1;32m 30\u001b[0m \u001b[38;5;28;01mfrom\u001b[39;00m \u001b[38;5;21;01mtensorflow\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01m_api\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mv2\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mcompat\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mv2\u001b[39;00m \u001b[38;5;28;01mimport\u001b[39;00m audio\n", - "File \u001b[0;32m~/.local/lib/python3.10/site-packages/tensorflow/_api/v2/compat/v2/__init__.py:34\u001b[0m\n\u001b[1;32m 32\u001b[0m \u001b[38;5;28;01mfrom\u001b[39;00m \u001b[38;5;21;01mtensorflow\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01m_api\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mv2\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mcompat\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mv2\u001b[39;00m \u001b[38;5;28;01mimport\u001b[39;00m autograph\n\u001b[1;32m 33\u001b[0m \u001b[38;5;28;01mfrom\u001b[39;00m \u001b[38;5;21;01mtensorflow\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01m_api\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mv2\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mcompat\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mv2\u001b[39;00m \u001b[38;5;28;01mimport\u001b[39;00m bitwise\n\u001b[0;32m---> 34\u001b[0m \u001b[38;5;28;01mfrom\u001b[39;00m \u001b[38;5;21;01mtensorflow\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01m_api\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mv2\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mcompat\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mv2\u001b[39;00m \u001b[38;5;28;01mimport\u001b[39;00m compat\n\u001b[1;32m 35\u001b[0m \u001b[38;5;28;01mfrom\u001b[39;00m \u001b[38;5;21;01mtensorflow\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01m_api\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mv2\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mcompat\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mv2\u001b[39;00m \u001b[38;5;28;01mimport\u001b[39;00m config\n\u001b[1;32m 36\u001b[0m \u001b[38;5;28;01mfrom\u001b[39;00m \u001b[38;5;21;01mtensorflow\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01m_api\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mv2\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mcompat\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mv2\u001b[39;00m \u001b[38;5;28;01mimport\u001b[39;00m data\n", - "File \u001b[0;32m~/.local/lib/python3.10/site-packages/tensorflow/_api/v2/compat/v2/compat/__init__.py:9\u001b[0m\n\u001b[1;32m 6\u001b[0m \u001b[38;5;28;01mimport\u001b[39;00m \u001b[38;5;21;01msys\u001b[39;00m \u001b[38;5;28;01mas\u001b[39;00m \u001b[38;5;21;01m_sys\u001b[39;00m\n\u001b[1;32m 8\u001b[0m \u001b[38;5;28;01mfrom\u001b[39;00m \u001b[38;5;21;01mtensorflow\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01m_api\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mv2\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mcompat\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mv2\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mcompat\u001b[39;00m \u001b[38;5;28;01mimport\u001b[39;00m v1\n\u001b[0;32m----> 9\u001b[0m \u001b[38;5;28;01mfrom\u001b[39;00m \u001b[38;5;21;01mtensorflow\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01m_api\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mv2\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mcompat\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mv2\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mcompat\u001b[39;00m \u001b[38;5;28;01mimport\u001b[39;00m v2\n\u001b[1;32m 10\u001b[0m \u001b[38;5;28;01mfrom\u001b[39;00m \u001b[38;5;21;01mtensorflow\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mpython\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mcompat\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mcompat\u001b[39;00m \u001b[38;5;28;01mimport\u001b[39;00m forward_compatibility_horizon \u001b[38;5;66;03m# line: 125\u001b[39;00m\n\u001b[1;32m 11\u001b[0m \u001b[38;5;28;01mfrom\u001b[39;00m \u001b[38;5;21;01mtensorflow\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mpython\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mcompat\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mcompat\u001b[39;00m \u001b[38;5;28;01mimport\u001b[39;00m forward_compatible \u001b[38;5;66;03m# line: 65\u001b[39;00m\n", - "File \u001b[0;32m~/.local/lib/python3.10/site-packages/tensorflow/_api/v2/compat/v2/compat/v2/__init__.py:341\u001b[0m\n\u001b[1;32m 339\u001b[0m _current_module \u001b[38;5;241m=\u001b[39m _sys\u001b[38;5;241m.\u001b[39mmodules[\u001b[38;5;18m__name__\u001b[39m]\n\u001b[1;32m 340\u001b[0m \u001b[38;5;28;01mtry\u001b[39;00m:\n\u001b[0;32m--> 341\u001b[0m \u001b[38;5;28;01mfrom\u001b[39;00m \u001b[38;5;21;01mtensorboard\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01msummary\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01m_tf\u001b[39;00m \u001b[38;5;28;01mimport\u001b[39;00m summary\n\u001b[1;32m 342\u001b[0m _current_module\u001b[38;5;241m.\u001b[39m__path__ \u001b[38;5;241m=\u001b[39m (\n\u001b[1;32m 343\u001b[0m [_module_util\u001b[38;5;241m.\u001b[39mget_parent_dir(summary)] \u001b[38;5;241m+\u001b[39m _current_module\u001b[38;5;241m.\u001b[39m__path__)\n\u001b[1;32m 344\u001b[0m \u001b[38;5;28msetattr\u001b[39m(_current_module, \u001b[38;5;124m\"\u001b[39m\u001b[38;5;124msummary\u001b[39m\u001b[38;5;124m\"\u001b[39m, summary)\n", - "File \u001b[0;32m~/.local/lib/python3.10/site-packages/tensorboard/summary/__init__.py:22\u001b[0m\n\u001b[1;32m 20\u001b[0m \u001b[38;5;66;03m# If the V1 summary API is accessible, load and re-export it here.\u001b[39;00m\n\u001b[1;32m 21\u001b[0m \u001b[38;5;28;01mtry\u001b[39;00m:\n\u001b[0;32m---> 22\u001b[0m \u001b[38;5;28;01mfrom\u001b[39;00m \u001b[38;5;21;01mtensorboard\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01msummary\u001b[39;00m \u001b[38;5;28;01mimport\u001b[39;00m v1 \u001b[38;5;66;03m# noqa: F401\u001b[39;00m\n\u001b[1;32m 23\u001b[0m \u001b[38;5;28;01mexcept\u001b[39;00m \u001b[38;5;167;01mImportError\u001b[39;00m:\n\u001b[1;32m 24\u001b[0m \u001b[38;5;28;01mpass\u001b[39;00m\n", - "File \u001b[0;32m~/.local/lib/python3.10/site-packages/tensorboard/summary/v1.py:23\u001b[0m\n\u001b[1;32m 21\u001b[0m \u001b[38;5;28;01mfrom\u001b[39;00m \u001b[38;5;21;01mtensorboard\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mplugins\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01maudio\u001b[39;00m \u001b[38;5;28;01mimport\u001b[39;00m summary \u001b[38;5;28;01mas\u001b[39;00m _audio_summary\n\u001b[1;32m 22\u001b[0m \u001b[38;5;28;01mfrom\u001b[39;00m \u001b[38;5;21;01mtensorboard\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mplugins\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mcustom_scalar\u001b[39;00m \u001b[38;5;28;01mimport\u001b[39;00m summary \u001b[38;5;28;01mas\u001b[39;00m _custom_scalar_summary\n\u001b[0;32m---> 23\u001b[0m \u001b[38;5;28;01mfrom\u001b[39;00m \u001b[38;5;21;01mtensorboard\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mplugins\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mhistogram\u001b[39;00m \u001b[38;5;28;01mimport\u001b[39;00m summary \u001b[38;5;28;01mas\u001b[39;00m _histogram_summary\n\u001b[1;32m 24\u001b[0m \u001b[38;5;28;01mfrom\u001b[39;00m \u001b[38;5;21;01mtensorboard\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mplugins\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mimage\u001b[39;00m \u001b[38;5;28;01mimport\u001b[39;00m summary \u001b[38;5;28;01mas\u001b[39;00m _image_summary\n\u001b[1;32m 25\u001b[0m \u001b[38;5;28;01mfrom\u001b[39;00m \u001b[38;5;21;01mtensorboard\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mplugins\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mpr_curve\u001b[39;00m \u001b[38;5;28;01mimport\u001b[39;00m summary \u001b[38;5;28;01mas\u001b[39;00m _pr_curve_summary\n", - "File \u001b[0;32m~/.local/lib/python3.10/site-packages/tensorboard/plugins/histogram/summary.py:35\u001b[0m\n\u001b[1;32m 32\u001b[0m \u001b[38;5;28;01mimport\u001b[39;00m \u001b[38;5;21;01mnumpy\u001b[39;00m \u001b[38;5;28;01mas\u001b[39;00m \u001b[38;5;21;01mnp\u001b[39;00m\n\u001b[1;32m 34\u001b[0m \u001b[38;5;28;01mfrom\u001b[39;00m \u001b[38;5;21;01mtensorboard\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mplugins\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mhistogram\u001b[39;00m \u001b[38;5;28;01mimport\u001b[39;00m metadata\n\u001b[0;32m---> 35\u001b[0m \u001b[38;5;28;01mfrom\u001b[39;00m \u001b[38;5;21;01mtensorboard\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mplugins\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mhistogram\u001b[39;00m \u001b[38;5;28;01mimport\u001b[39;00m summary_v2\n\u001b[1;32m 38\u001b[0m \u001b[38;5;66;03m# Export V3 versions.\u001b[39;00m\n\u001b[1;32m 39\u001b[0m histogram \u001b[38;5;241m=\u001b[39m summary_v2\u001b[38;5;241m.\u001b[39mhistogram\n", - "File \u001b[0;32m~/.local/lib/python3.10/site-packages/tensorboard/plugins/histogram/summary_v2.py:35\u001b[0m\n\u001b[1;32m 33\u001b[0m \u001b[38;5;28;01mfrom\u001b[39;00m \u001b[38;5;21;01mtensorboard\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mplugins\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mhistogram\u001b[39;00m \u001b[38;5;28;01mimport\u001b[39;00m metadata\n\u001b[1;32m 34\u001b[0m \u001b[38;5;28;01mfrom\u001b[39;00m \u001b[38;5;21;01mtensorboard\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mutil\u001b[39;00m \u001b[38;5;28;01mimport\u001b[39;00m lazy_tensor_creator\n\u001b[0;32m---> 35\u001b[0m \u001b[38;5;28;01mfrom\u001b[39;00m \u001b[38;5;21;01mtensorboard\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mutil\u001b[39;00m \u001b[38;5;28;01mimport\u001b[39;00m tensor_util\n\u001b[1;32m 38\u001b[0m DEFAULT_BUCKET_COUNT \u001b[38;5;241m=\u001b[39m \u001b[38;5;241m30\u001b[39m\n\u001b[1;32m 41\u001b[0m \u001b[38;5;28;01mdef\u001b[39;00m \u001b[38;5;21mhistogram_pb\u001b[39m(tag, data, buckets\u001b[38;5;241m=\u001b[39m\u001b[38;5;28;01mNone\u001b[39;00m, description\u001b[38;5;241m=\u001b[39m\u001b[38;5;28;01mNone\u001b[39;00m):\n", - "File \u001b[0;32m~/.local/lib/python3.10/site-packages/tensorboard/util/tensor_util.py:20\u001b[0m\n\u001b[1;32m 17\u001b[0m \u001b[38;5;28;01mimport\u001b[39;00m \u001b[38;5;21;01mnumpy\u001b[39;00m \u001b[38;5;28;01mas\u001b[39;00m \u001b[38;5;21;01mnp\u001b[39;00m\n\u001b[1;32m 19\u001b[0m \u001b[38;5;28;01mfrom\u001b[39;00m \u001b[38;5;21;01mtensorboard\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mcompat\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mproto\u001b[39;00m \u001b[38;5;28;01mimport\u001b[39;00m tensor_pb2\n\u001b[0;32m---> 20\u001b[0m \u001b[38;5;28;01mfrom\u001b[39;00m \u001b[38;5;21;01mtensorboard\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mcompat\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mtensorflow_stub\u001b[39;00m \u001b[38;5;28;01mimport\u001b[39;00m dtypes, compat, tensor_shape\n\u001b[1;32m 23\u001b[0m \u001b[38;5;28;01mdef\u001b[39;00m \u001b[38;5;21mExtractBitsFromFloat16\u001b[39m(x):\n\u001b[1;32m 24\u001b[0m \u001b[38;5;28;01mreturn\u001b[39;00m np\u001b[38;5;241m.\u001b[39masarray(x, dtype\u001b[38;5;241m=\u001b[39mnp\u001b[38;5;241m.\u001b[39mfloat16)\u001b[38;5;241m.\u001b[39mview(np\u001b[38;5;241m.\u001b[39muint16)\u001b[38;5;241m.\u001b[39mitem()\n", - "File \u001b[0;32m~/.local/lib/python3.10/site-packages/tensorboard/compat/tensorflow_stub/__init__.py:17\u001b[0m\n\u001b[1;32m 1\u001b[0m \u001b[38;5;66;03m# Copyright 2018 The TensorFlow Authors. All Rights Reserved.\u001b[39;00m\n\u001b[1;32m 2\u001b[0m \u001b[38;5;66;03m#\u001b[39;00m\n\u001b[1;32m 3\u001b[0m \u001b[38;5;66;03m# Licensed under the Apache License, Version 2.0 (the \"License\");\u001b[39;00m\n\u001b[0;32m (...)\u001b[0m\n\u001b[1;32m 13\u001b[0m \u001b[38;5;66;03m# limitations under the License.\u001b[39;00m\n\u001b[1;32m 14\u001b[0m \u001b[38;5;66;03m# ==============================================================================\u001b[39;00m\n\u001b[0;32m---> 17\u001b[0m \u001b[38;5;28;01mfrom\u001b[39;00m \u001b[38;5;21;01mtensorboard\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mcompat\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mproto\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mconfig_pb2\u001b[39;00m \u001b[38;5;28;01mimport\u001b[39;00m \u001b[38;5;241m*\u001b[39m \u001b[38;5;66;03m# noqa\u001b[39;00m\n\u001b[1;32m 18\u001b[0m \u001b[38;5;28;01mfrom\u001b[39;00m \u001b[38;5;21;01mtensorboard\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mcompat\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mproto\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mevent_pb2\u001b[39;00m \u001b[38;5;28;01mimport\u001b[39;00m \u001b[38;5;241m*\u001b[39m \u001b[38;5;66;03m# noqa\u001b[39;00m\n\u001b[1;32m 19\u001b[0m \u001b[38;5;28;01mfrom\u001b[39;00m \u001b[38;5;21;01mtensorboard\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mcompat\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mproto\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mgraph_pb2\u001b[39;00m \u001b[38;5;28;01mimport\u001b[39;00m \u001b[38;5;241m*\u001b[39m \u001b[38;5;66;03m# noqa\u001b[39;00m\n", - "File \u001b[0;32m~/.local/lib/python3.10/site-packages/tensorboard/compat/proto/config_pb2.py:17\u001b[0m\n\u001b[1;32m 15\u001b[0m \u001b[38;5;28;01mfrom\u001b[39;00m \u001b[38;5;21;01mtensorboard\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mcompat\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mproto\u001b[39;00m \u001b[38;5;28;01mimport\u001b[39;00m cost_graph_pb2 \u001b[38;5;28;01mas\u001b[39;00m tensorboard_dot_compat_dot_proto_dot_cost__graph__pb2\n\u001b[1;32m 16\u001b[0m \u001b[38;5;28;01mfrom\u001b[39;00m \u001b[38;5;21;01mtensorboard\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mcompat\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mproto\u001b[39;00m \u001b[38;5;28;01mimport\u001b[39;00m graph_pb2 \u001b[38;5;28;01mas\u001b[39;00m tensorboard_dot_compat_dot_proto_dot_graph__pb2\n\u001b[0;32m---> 17\u001b[0m \u001b[38;5;28;01mfrom\u001b[39;00m \u001b[38;5;21;01mtensorboard\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mcompat\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mproto\u001b[39;00m \u001b[38;5;28;01mimport\u001b[39;00m step_stats_pb2 \u001b[38;5;28;01mas\u001b[39;00m tensorboard_dot_compat_dot_proto_dot_step__stats__pb2\n\u001b[1;32m 18\u001b[0m \u001b[38;5;28;01mfrom\u001b[39;00m \u001b[38;5;21;01mtensorboard\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mcompat\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mproto\u001b[39;00m \u001b[38;5;28;01mimport\u001b[39;00m cluster_pb2 \u001b[38;5;28;01mas\u001b[39;00m tensorboard_dot_compat_dot_proto_dot_cluster__pb2\n\u001b[1;32m 19\u001b[0m \u001b[38;5;28;01mfrom\u001b[39;00m \u001b[38;5;21;01mtensorboard\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mcompat\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mproto\u001b[39;00m \u001b[38;5;28;01mimport\u001b[39;00m debug_pb2 \u001b[38;5;28;01mas\u001b[39;00m tensorboard_dot_compat_dot_proto_dot_debug__pb2\n", - "File \u001b[0;32m~/.local/lib/python3.10/site-packages/tensorboard/compat/proto/step_stats_pb2.py:16\u001b[0m\n\u001b[1;32m 12\u001b[0m _sym_db \u001b[38;5;241m=\u001b[39m _symbol_database\u001b[38;5;241m.\u001b[39mDefault()\n\u001b[1;32m 15\u001b[0m \u001b[38;5;28;01mfrom\u001b[39;00m \u001b[38;5;21;01mtensorboard\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mcompat\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mproto\u001b[39;00m \u001b[38;5;28;01mimport\u001b[39;00m allocation_description_pb2 \u001b[38;5;28;01mas\u001b[39;00m tensorboard_dot_compat_dot_proto_dot_allocation__description__pb2\n\u001b[0;32m---> 16\u001b[0m \u001b[38;5;28;01mfrom\u001b[39;00m \u001b[38;5;21;01mtensorboard\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mcompat\u001b[39;00m\u001b[38;5;21;01m.\u001b[39;00m\u001b[38;5;21;01mproto\u001b[39;00m \u001b[38;5;28;01mimport\u001b[39;00m tensor_description_pb2 \u001b[38;5;28;01mas\u001b[39;00m tensorboard_dot_compat_dot_proto_dot_tensor__description__pb2\n\u001b[1;32m 19\u001b[0m DESCRIPTOR \u001b[38;5;241m=\u001b[39m _descriptor_pool\u001b[38;5;241m.\u001b[39mDefault()\u001b[38;5;241m.\u001b[39mAddSerializedFile(\u001b[38;5;124mb\u001b[39m\u001b[38;5;124m'\u001b[39m\u001b[38;5;130;01m\\n\u001b[39;00m\u001b[38;5;124m)tensorboard/compat/proto/step_stats.proto\u001b[39m\u001b[38;5;130;01m\\x12\u001b[39;00m\u001b[38;5;130;01m\\x0b\u001b[39;00m\u001b[38;5;124mtensorboard\u001b[39m\u001b[38;5;130;01m\\x1a\u001b[39;00m\u001b[38;5;130;01m\\x35\u001b[39;00m\u001b[38;5;124mtensorboard/compat/proto/allocation_description.proto\u001b[39m\u001b[38;5;130;01m\\x1a\u001b[39;00m\u001b[38;5;130;01m\\x31\u001b[39;00m\u001b[38;5;124mtensorboard/compat/proto/tensor_description.proto\u001b[39m\u001b[38;5;130;01m\\\"\u001b[39;00m\u001b[38;5;124m=\u001b[39m\u001b[38;5;130;01m\\n\u001b[39;00m\u001b[38;5;130;01m\\x10\u001b[39;00m\u001b[38;5;130;01m\\x41\u001b[39;00m\u001b[38;5;124mllocationRecord\u001b[39m\u001b[38;5;130;01m\\x12\u001b[39;00m\u001b[38;5;130;01m\\x14\u001b[39;00m\u001b[38;5;130;01m\\n\u001b[39;00m\u001b[38;5;130;01m\\x0c\u001b[39;00m\u001b[38;5;130;01m\\x61\u001b[39;00m\u001b[38;5;124mlloc_micros\u001b[39m\u001b[38;5;130;01m\\x18\u001b[39;00m\u001b[38;5;130;01m\\x01\u001b[39;00m\u001b[38;5;124m \u001b[39m\u001b[38;5;130;01m\\x01\u001b[39;00m\u001b[38;5;124m(\u001b[39m\u001b[38;5;130;01m\\x03\u001b[39;00m\u001b[38;5;130;01m\\x12\u001b[39;00m\u001b[38;5;130;01m\\x13\u001b[39;00m\u001b[38;5;130;01m\\n\u001b[39;00m\u001b[38;5;130;01m\\x0b\u001b[39;00m\u001b[38;5;130;01m\\x61\u001b[39;00m\u001b[38;5;124mlloc_bytes\u001b[39m\u001b[38;5;130;01m\\x18\u001b[39;00m\u001b[38;5;130;01m\\x02\u001b[39;00m\u001b[38;5;124m \u001b[39m\u001b[38;5;130;01m\\x01\u001b[39;00m\u001b[38;5;124m(\u001b[39m\u001b[38;5;130;01m\\x03\u001b[39;00m\u001b[38;5;130;01m\\\"\u001b[39;00m\u001b[38;5;130;01m\\xc5\u001b[39;00m\u001b[38;5;130;01m\\x01\u001b[39;00m\u001b[38;5;130;01m\\n\u001b[39;00m\u001b[38;5;130;01m\\x13\u001b[39;00m\u001b[38;5;130;01m\\x41\u001b[39;00m\u001b[38;5;124mllocatorMemoryUsed\u001b[39m\u001b[38;5;130;01m\\x12\u001b[39;00m\u001b[38;5;130;01m\\x16\u001b[39;00m\u001b[38;5;130;01m\\n\u001b[39;00m\u001b[38;5;130;01m\\x0e\u001b[39;00m\u001b[38;5;130;01m\\x61\u001b[39;00m\u001b[38;5;124mllocator_name\u001b[39m\u001b[38;5;130;01m\\x18\u001b[39;00m\u001b[38;5;130;01m\\x01\u001b[39;00m\u001b[38;5;124m \u001b[39m\u001b[38;5;130;01m\\x01\u001b[39;00m\u001b[38;5;124m(\u001b[39m\u001b[38;5;130;01m\\t\u001b[39;00m\u001b[38;5;130;01m\\x12\u001b[39;00m\u001b[38;5;130;01m\\x13\u001b[39;00m\u001b[38;5;130;01m\\n\u001b[39;00m\u001b[38;5;130;01m\\x0b\u001b[39;00m\u001b[38;5;124mtotal_bytes\u001b[39m\u001b[38;5;130;01m\\x18\u001b[39;00m\u001b[38;5;130;01m\\x02\u001b[39;00m\u001b[38;5;124m \u001b[39m\u001b[38;5;130;01m\\x01\u001b[39;00m\u001b[38;5;124m(\u001b[39m\u001b[38;5;130;01m\\x03\u001b[39;00m\u001b[38;5;130;01m\\x12\u001b[39;00m\u001b[38;5;130;01m\\x12\u001b[39;00m\u001b[38;5;130;01m\\n\u001b[39;00m\u001b[38;5;130;01m\\n\u001b[39;00m\u001b[38;5;124mpeak_bytes\u001b[39m\u001b[38;5;130;01m\\x18\u001b[39;00m\u001b[38;5;130;01m\\x03\u001b[39;00m\u001b[38;5;124m \u001b[39m\u001b[38;5;130;01m\\x01\u001b[39;00m\u001b[38;5;124m(\u001b[39m\u001b[38;5;130;01m\\x03\u001b[39;00m\u001b[38;5;130;01m\\x12\u001b[39;00m\u001b[38;5;130;01m\\x12\u001b[39;00m\u001b[38;5;130;01m\\n\u001b[39;00m\u001b[38;5;130;01m\\n\u001b[39;00m\u001b[38;5;124mlive_bytes\u001b[39m\u001b[38;5;130;01m\\x18\u001b[39;00m\u001b[38;5;130;01m\\x04\u001b[39;00m\u001b[38;5;124m \u001b[39m\u001b[38;5;130;01m\\x01\u001b[39;00m\u001b[38;5;124m(\u001b[39m\u001b[38;5;130;01m\\x03\u001b[39;00m\u001b[38;5;130;01m\\x12\u001b[39;00m\u001b[38;5;130;01m\\x39\u001b[39;00m\u001b[38;5;130;01m\\n\u001b[39;00m\u001b[38;5;130;01m\\x12\u001b[39;00m\u001b[38;5;130;01m\\x61\u001b[39;00m\u001b[38;5;124mllocation_records\u001b[39m\u001b[38;5;130;01m\\x18\u001b[39;00m\u001b[38;5;130;01m\\x06\u001b[39;00m\u001b[38;5;124m \u001b[39m\u001b[38;5;130;01m\\x03\u001b[39;00m\u001b[38;5;124m(\u001b[39m\u001b[38;5;130;01m\\x0b\u001b[39;00m\u001b[38;5;130;01m\\x32\u001b[39;00m\u001b[38;5;130;01m\\x1d\u001b[39;00m\u001b[38;5;124m.tensorboard.AllocationRecord\u001b[39m\u001b[38;5;130;01m\\x12\u001b[39;00m\u001b[38;5;130;01m\\x1e\u001b[39;00m\u001b[38;5;130;01m\\n\u001b[39;00m\u001b[38;5;130;01m\\x16\u001b[39;00m\u001b[38;5;130;01m\\x61\u001b[39;00m\u001b[38;5;124mllocator_bytes_in_use\u001b[39m\u001b[38;5;130;01m\\x18\u001b[39;00m\u001b[38;5;130;01m\\x05\u001b[39;00m\u001b[38;5;124m \u001b[39m\u001b[38;5;130;01m\\x01\u001b[39;00m\u001b[38;5;124m(\u001b[39m\u001b[38;5;130;01m\\x03\u001b[39;00m\u001b[38;5;130;01m\\\"\u001b[39;00m\u001b[38;5;124mV\u001b[39m\u001b[38;5;130;01m\\n\u001b[39;00m\u001b[38;5;130;01m\\n\u001b[39;00m\u001b[38;5;124mNodeOutput\u001b[39m\u001b[38;5;130;01m\\x12\u001b[39;00m\u001b[38;5;130;01m\\x0c\u001b[39;00m\u001b[38;5;130;01m\\n\u001b[39;00m\u001b[38;5;130;01m\\x04\u001b[39;00m\u001b[38;5;124mslot\u001b[39m\u001b[38;5;130;01m\\x18\u001b[39;00m\u001b[38;5;130;01m\\x01\u001b[39;00m\u001b[38;5;124m \u001b[39m\u001b[38;5;130;01m\\x01\u001b[39;00m\u001b[38;5;124m(\u001b[39m\u001b[38;5;130;01m\\x05\u001b[39;00m\u001b[38;5;130;01m\\x12\u001b[39;00m\u001b[38;5;124m:\u001b[39m\u001b[38;5;130;01m\\n\u001b[39;00m\u001b[38;5;130;01m\\x12\u001b[39;00m\u001b[38;5;124mtensor_description\u001b[39m\u001b[38;5;130;01m\\x18\u001b[39;00m\u001b[38;5;130;01m\\x03\u001b[39;00m\u001b[38;5;124m \u001b[39m\u001b[38;5;130;01m\\x01\u001b[39;00m\u001b[38;5;124m(\u001b[39m\u001b[38;5;130;01m\\x0b\u001b[39;00m\u001b[38;5;130;01m\\x32\u001b[39;00m\u001b[38;5;130;01m\\x1e\u001b[39;00m\u001b[38;5;124m.tensorboard.TensorDescription\u001b[39m\u001b[38;5;130;01m\\\"\u001b[39;00m\u001b[38;5;130;01m\\xec\u001b[39;00m\u001b[38;5;130;01m\\x01\u001b[39;00m\u001b[38;5;130;01m\\n\u001b[39;00m\u001b[38;5;130;01m\\x0b\u001b[39;00m\u001b[38;5;124mMemoryStats\u001b[39m\u001b[38;5;130;01m\\x12\u001b[39;00m\u001b[38;5;130;01m\\x18\u001b[39;00m\u001b[38;5;130;01m\\n\u001b[39;00m\u001b[38;5;130;01m\\x10\u001b[39;00m\u001b[38;5;124mtemp_memory_size\u001b[39m\u001b[38;5;130;01m\\x18\u001b[39;00m\u001b[38;5;130;01m\\x01\u001b[39;00m\u001b[38;5;124m \u001b[39m\u001b[38;5;130;01m\\x01\u001b[39;00m\u001b[38;5;124m(\u001b[39m\u001b[38;5;130;01m\\x03\u001b[39;00m\u001b[38;5;130;01m\\x12\u001b[39;00m\u001b[38;5;130;01m\\x1e\u001b[39;00m\u001b[38;5;130;01m\\n\u001b[39;00m\u001b[38;5;130;01m\\x16\u001b[39;00m\u001b[38;5;124mpersistent_memory_size\u001b[39m\u001b[38;5;130;01m\\x18\u001b[39;00m\u001b[38;5;130;01m\\x03\u001b[39;00m\u001b[38;5;124m \u001b[39m\u001b[38;5;130;01m\\x01\u001b[39;00m\u001b[38;5;124m(\u001b[39m\u001b[38;5;130;01m\\x03\u001b[39;00m\u001b[38;5;130;01m\\x12\u001b[39;00m\u001b[38;5;124m#\u001b[39m\u001b[38;5;130;01m\\n\u001b[39;00m\u001b[38;5;130;01m\\x1b\u001b[39;00m\u001b[38;5;124mpersistent_tensor_alloc_ids\u001b[39m\u001b[38;5;130;01m\\x18\u001b[39;00m\u001b[38;5;130;01m\\x05\u001b[39;00m\u001b[38;5;124m \u001b[39m\u001b[38;5;130;01m\\x03\u001b[39;00m\u001b[38;5;124m(\u001b[39m\u001b[38;5;130;01m\\x03\u001b[39;00m\u001b[38;5;130;01m\\x12\u001b[39;00m\u001b[38;5;124m#\u001b[39m\u001b[38;5;130;01m\\n\u001b[39;00m\u001b[38;5;130;01m\\x17\u001b[39;00m\u001b[38;5;130;01m\\x64\u001b[39;00m\u001b[38;5;130;01m\\x65\u001b[39;00m\u001b[38;5;124mvice_temp_memory_size\u001b[39m\u001b[38;5;130;01m\\x18\u001b[39;00m\u001b[38;5;130;01m\\x02\u001b[39;00m\u001b[38;5;124m \u001b[39m\u001b[38;5;130;01m\\x01\u001b[39;00m\u001b[38;5;124m(\u001b[39m\u001b[38;5;130;01m\\x03\u001b[39;00m\u001b[38;5;130;01m\\x42\u001b[39;00m\u001b[38;5;130;01m\\x02\u001b[39;00m\u001b[38;5;130;01m\\x18\u001b[39;00m\u001b[38;5;130;01m\\x01\u001b[39;00m\u001b[38;5;130;01m\\x12\u001b[39;00m\u001b[38;5;124m)\u001b[39m\u001b[38;5;130;01m\\n\u001b[39;00m\u001b[38;5;130;01m\\x1d\u001b[39;00m\u001b[38;5;130;01m\\x64\u001b[39;00m\u001b[38;5;130;01m\\x65\u001b[39;00m\u001b[38;5;124mvice_persistent_memory_size\u001b[39m\u001b[38;5;130;01m\\x18\u001b[39;00m\u001b[38;5;130;01m\\x04\u001b[39;00m\u001b[38;5;124m \u001b[39m\u001b[38;5;130;01m\\x01\u001b[39;00m\u001b[38;5;124m(\u001b[39m\u001b[38;5;130;01m\\x03\u001b[39;00m\u001b[38;5;130;01m\\x42\u001b[39;00m\u001b[38;5;130;01m\\x02\u001b[39;00m\u001b[38;5;130;01m\\x18\u001b[39;00m\u001b[38;5;130;01m\\x01\u001b[39;00m\u001b[38;5;130;01m\\x12\u001b[39;00m\u001b[38;5;124m.\u001b[39m\u001b[38;5;130;01m\\n\u001b[39;00m\u001b[38;5;130;01m\\\"\u001b[39;00m\u001b[38;5;124mdevice_persistent_tensor_alloc_ids\u001b[39m\u001b[38;5;130;01m\\x18\u001b[39;00m\u001b[38;5;130;01m\\x06\u001b[39;00m\u001b[38;5;124m \u001b[39m\u001b[38;5;130;01m\\x03\u001b[39;00m\u001b[38;5;124m(\u001b[39m\u001b[38;5;130;01m\\x03\u001b[39;00m\u001b[38;5;130;01m\\x42\u001b[39;00m\u001b[38;5;130;01m\\x02\u001b[39;00m\u001b[38;5;130;01m\\x18\u001b[39;00m\u001b[38;5;130;01m\\x01\u001b[39;00m\u001b[38;5;130;01m\\\"\u001b[39;00m\u001b[38;5;130;01m\\xa2\u001b[39;00m\u001b[38;5;130;01m\\x04\u001b[39;00m\u001b[38;5;130;01m\\n\u001b[39;00m\u001b[38;5;130;01m\\r\u001b[39;00m\u001b[38;5;124mNodeExecStats\u001b[39m\u001b[38;5;130;01m\\x12\u001b[39;00m\u001b[38;5;130;01m\\x11\u001b[39;00m\u001b[38;5;130;01m\\n\u001b[39;00m\u001b[38;5;130;01m\\t\u001b[39;00m\u001b[38;5;124mnode_name\u001b[39m\u001b[38;5;130;01m\\x18\u001b[39;00m\u001b[38;5;130;01m\\x01\u001b[39;00m\u001b[38;5;124m \u001b[39m\u001b[38;5;130;01m\\x01\u001b[39;00m\u001b[38;5;124m(\u001b[39m\u001b[38;5;130;01m\\t\u001b[39;00m\u001b[38;5;130;01m\\x12\u001b[39;00m\u001b[38;5;130;01m\\x18\u001b[39;00m\u001b[38;5;130;01m\\n\u001b[39;00m\u001b[38;5;130;01m\\x10\u001b[39;00m\u001b[38;5;130;01m\\x61\u001b[39;00m\u001b[38;5;124mll_start_micros\u001b[39m\u001b[38;5;130;01m\\x18\u001b[39;00m\u001b[38;5;130;01m\\x02\u001b[39;00m\u001b[38;5;124m \u001b[39m\u001b[38;5;130;01m\\x01\u001b[39;00m\u001b[38;5;124m(\u001b[39m\u001b[38;5;130;01m\\x03\u001b[39;00m\u001b[38;5;130;01m\\x12\u001b[39;00m\u001b[38;5;130;01m\\x1b\u001b[39;00m\u001b[38;5;130;01m\\n\u001b[39;00m\u001b[38;5;130;01m\\x13\u001b[39;00m\u001b[38;5;124mop_start_rel_micros\u001b[39m\u001b[38;5;130;01m\\x18\u001b[39;00m\u001b[38;5;130;01m\\x03\u001b[39;00m\u001b[38;5;124m \u001b[39m\u001b[38;5;130;01m\\x01\u001b[39;00m\u001b[38;5;124m(\u001b[39m\u001b[38;5;130;01m\\x03\u001b[39;00m\u001b[38;5;130;01m\\x12\u001b[39;00m\u001b[38;5;130;01m\\x19\u001b[39;00m\u001b[38;5;130;01m\\n\u001b[39;00m\u001b[38;5;130;01m\\x11\u001b[39;00m\u001b[38;5;124mop_end_rel_micros\u001b[39m\u001b[38;5;130;01m\\x18\u001b[39;00m\u001b[38;5;130;01m\\x04\u001b[39;00m\u001b[38;5;124m \u001b[39m\u001b[38;5;130;01m\\x01\u001b[39;00m\u001b[38;5;124m(\u001b[39m\u001b[38;5;130;01m\\x03\u001b[39;00m\u001b[38;5;130;01m\\x12\u001b[39;00m\u001b[38;5;130;01m\\x1a\u001b[39;00m\u001b[38;5;130;01m\\n\u001b[39;00m\u001b[38;5;130;01m\\x12\u001b[39;00m\u001b[38;5;130;01m\\x61\u001b[39;00m\u001b[38;5;124mll_end_rel_micros\u001b[39m\u001b[38;5;130;01m\\x18\u001b[39;00m\u001b[38;5;130;01m\\x05\u001b[39;00m\u001b[38;5;124m \u001b[39m\u001b[38;5;130;01m\\x01\u001b[39;00m\u001b[38;5;124m(\u001b[39m\u001b[38;5;130;01m\\x03\u001b[39;00m\u001b[38;5;130;01m\\x12\u001b[39;00m\u001b[38;5;130;01m\\x30\u001b[39;00m\u001b[38;5;130;01m\\n\u001b[39;00m\u001b[38;5;130;01m\\x06\u001b[39;00m\u001b[38;5;124mmemory\u001b[39m\u001b[38;5;130;01m\\x18\u001b[39;00m\u001b[38;5;130;01m\\x06\u001b[39;00m\u001b[38;5;124m \u001b[39m\u001b[38;5;130;01m\\x03\u001b[39;00m\u001b[38;5;124m(\u001b[39m\u001b[38;5;130;01m\\x0b\u001b[39;00m\u001b[38;5;130;01m\\x32\u001b[39;00m\u001b[38;5;124m .tensorboard.AllocatorMemoryUsed\u001b[39m\u001b[38;5;130;01m\\x12\u001b[39;00m\u001b[38;5;130;01m\\'\u001b[39;00m\u001b[38;5;130;01m\\n\u001b[39;00m\u001b[38;5;130;01m\\x06\u001b[39;00m\u001b[38;5;124moutput\u001b[39m\u001b[38;5;130;01m\\x18\u001b[39;00m\u001b[38;5;130;01m\\x07\u001b[39;00m\u001b[38;5;124m \u001b[39m\u001b[38;5;130;01m\\x03\u001b[39;00m\u001b[38;5;124m(\u001b[39m\u001b[38;5;130;01m\\x0b\u001b[39;00m\u001b[38;5;130;01m\\x32\u001b[39;00m\u001b[38;5;130;01m\\x17\u001b[39;00m\u001b[38;5;124m.tensorboard.NodeOutput\u001b[39m\u001b[38;5;130;01m\\x12\u001b[39;00m\u001b[38;5;130;01m\\x16\u001b[39;00m\u001b[38;5;130;01m\\n\u001b[39;00m\u001b[38;5;130;01m\\x0e\u001b[39;00m\u001b[38;5;124mtimeline_label\u001b[39m\u001b[38;5;130;01m\\x18\u001b[39;00m\u001b[38;5;130;01m\\x08\u001b[39;00m\u001b[38;5;124m \u001b[39m\u001b[38;5;130;01m\\x01\u001b[39;00m\u001b[38;5;124m(\u001b[39m\u001b[38;5;130;01m\\t\u001b[39;00m\u001b[38;5;130;01m\\x12\u001b[39;00m\u001b[38;5;130;01m\\x18\u001b[39;00m\u001b[38;5;130;01m\\n\u001b[39;00m\u001b[38;5;130;01m\\x10\u001b[39;00m\u001b[38;5;124mscheduled_micros\u001b[39m\u001b[38;5;130;01m\\x18\u001b[39;00m\u001b[38;5;130;01m\\t\u001b[39;00m\u001b[38;5;124m \u001b[39m\u001b[38;5;130;01m\\x01\u001b[39;00m\u001b[38;5;124m(\u001b[39m\u001b[38;5;130;01m\\x03\u001b[39;00m\u001b[38;5;130;01m\\x12\u001b[39;00m\u001b[38;5;130;01m\\x11\u001b[39;00m\u001b[38;5;130;01m\\n\u001b[39;00m\u001b[38;5;130;01m\\t\u001b[39;00m\u001b[38;5;124mthread_id\u001b[39m\u001b[38;5;130;01m\\x18\u001b[39;00m\u001b[38;5;130;01m\\n\u001b[39;00m\u001b[38;5;124m \u001b[39m\u001b[38;5;130;01m\\x01\u001b[39;00m\u001b[38;5;124m(\u001b[39m\u001b[38;5;130;01m\\r\u001b[39;00m\u001b[38;5;130;01m\\x12\u001b[39;00m\u001b[38;5;124m=\u001b[39m\u001b[38;5;130;01m\\n\u001b[39;00m\u001b[38;5;130;01m\\x11\u001b[39;00m\u001b[38;5;124mreferenced_tensor\u001b[39m\u001b[38;5;130;01m\\x18\u001b[39;00m\u001b[38;5;130;01m\\x0b\u001b[39;00m\u001b[38;5;124m \u001b[39m\u001b[38;5;130;01m\\x03\u001b[39;00m\u001b[38;5;124m(\u001b[39m\u001b[38;5;130;01m\\x0b\u001b[39;00m\u001b[38;5;130;01m\\x32\u001b[39;00m\u001b[38;5;130;01m\\\"\u001b[39;00m\u001b[38;5;124m.tensorboard.AllocationDescription\u001b[39m\u001b[38;5;130;01m\\x12\u001b[39;00m\u001b[38;5;124m.\u001b[39m\u001b[38;5;130;01m\\n\u001b[39;00m\u001b[38;5;130;01m\\x0c\u001b[39;00m\u001b[38;5;124mmemory_stats\u001b[39m\u001b[38;5;130;01m\\x18\u001b[39;00m\u001b[38;5;130;01m\\x0c\u001b[39;00m\u001b[38;5;124m \u001b[39m\u001b[38;5;130;01m\\x01\u001b[39;00m\u001b[38;5;124m(\u001b[39m\u001b[38;5;130;01m\\x0b\u001b[39;00m\u001b[38;5;130;01m\\x32\u001b[39;00m\u001b[38;5;130;01m\\x18\u001b[39;00m\u001b[38;5;124m.tensorboard.MemoryStats\u001b[39m\u001b[38;5;130;01m\\x12\u001b[39;00m\u001b[38;5;130;01m\\x17\u001b[39;00m\u001b[38;5;130;01m\\n\u001b[39;00m\u001b[38;5;130;01m\\x0f\u001b[39;00m\u001b[38;5;130;01m\\x61\u001b[39;00m\u001b[38;5;124mll_start_nanos\u001b[39m\u001b[38;5;130;01m\\x18\u001b[39;00m\u001b[38;5;130;01m\\r\u001b[39;00m\u001b[38;5;124m \u001b[39m\u001b[38;5;130;01m\\x01\u001b[39;00m\u001b[38;5;124m(\u001b[39m\u001b[38;5;130;01m\\x03\u001b[39;00m\u001b[38;5;130;01m\\x12\u001b[39;00m\u001b[38;5;130;01m\\x1a\u001b[39;00m\u001b[38;5;130;01m\\n\u001b[39;00m\u001b[38;5;130;01m\\x12\u001b[39;00m\u001b[38;5;124mop_start_rel_nanos\u001b[39m\u001b[38;5;130;01m\\x18\u001b[39;00m\u001b[38;5;130;01m\\x0e\u001b[39;00m\u001b[38;5;124m \u001b[39m\u001b[38;5;130;01m\\x01\u001b[39;00m\u001b[38;5;124m(\u001b[39m\u001b[38;5;130;01m\\x03\u001b[39;00m\u001b[38;5;130;01m\\x12\u001b[39;00m\u001b[38;5;130;01m\\x18\u001b[39;00m\u001b[38;5;130;01m\\n\u001b[39;00m\u001b[38;5;130;01m\\x10\u001b[39;00m\u001b[38;5;124mop_end_rel_nanos\u001b[39m\u001b[38;5;130;01m\\x18\u001b[39;00m\u001b[38;5;130;01m\\x0f\u001b[39;00m\u001b[38;5;124m \u001b[39m\u001b[38;5;130;01m\\x01\u001b[39;00m\u001b[38;5;124m(\u001b[39m\u001b[38;5;130;01m\\x03\u001b[39;00m\u001b[38;5;130;01m\\x12\u001b[39;00m\u001b[38;5;130;01m\\x19\u001b[39;00m\u001b[38;5;130;01m\\n\u001b[39;00m\u001b[38;5;130;01m\\x11\u001b[39;00m\u001b[38;5;130;01m\\x61\u001b[39;00m\u001b[38;5;124mll_end_rel_nanos\u001b[39m\u001b[38;5;130;01m\\x18\u001b[39;00m\u001b[38;5;130;01m\\x10\u001b[39;00m\u001b[38;5;124m \u001b[39m\u001b[38;5;130;01m\\x01\u001b[39;00m\u001b[38;5;124m(\u001b[39m\u001b[38;5;130;01m\\x03\u001b[39;00m\u001b[38;5;130;01m\\x12\u001b[39;00m\u001b[38;5;130;01m\\x17\u001b[39;00m\u001b[38;5;130;01m\\n\u001b[39;00m\u001b[38;5;130;01m\\x0f\u001b[39;00m\u001b[38;5;124mscheduled_nanos\u001b[39m\u001b[38;5;130;01m\\x18\u001b[39;00m\u001b[38;5;130;01m\\x11\u001b[39;00m\u001b[38;5;124m \u001b[39m\u001b[38;5;130;01m\\x01\u001b[39;00m\u001b[38;5;124m(\u001b[39m\u001b[38;5;130;01m\\x03\u001b[39;00m\u001b[38;5;130;01m\\\"\u001b[39;00m\u001b[38;5;130;01m\\xca\u001b[39;00m\u001b[38;5;130;01m\\x01\u001b[39;00m\u001b[38;5;130;01m\\n\u001b[39;00m\u001b[38;5;130;01m\\x0f\u001b[39;00m\u001b[38;5;130;01m\\x44\u001b[39;00m\u001b[38;5;130;01m\\x65\u001b[39;00m\u001b[38;5;124mviceStepStats\u001b[39m\u001b[38;5;130;01m\\x12\u001b[39;00m\u001b[38;5;130;01m\\x0e\u001b[39;00m\u001b[38;5;130;01m\\n\u001b[39;00m\u001b[38;5;130;01m\\x06\u001b[39;00m\u001b[38;5;130;01m\\x64\u001b[39;00m\u001b[38;5;130;01m\\x65\u001b[39;00m\u001b[38;5;124mvice\u001b[39m\u001b[38;5;130;01m\\x18\u001b[39;00m\u001b[38;5;130;01m\\x01\u001b[39;00m\u001b[38;5;124m \u001b[39m\u001b[38;5;130;01m\\x01\u001b[39;00m\u001b[38;5;124m(\u001b[39m\u001b[38;5;130;01m\\t\u001b[39;00m\u001b[38;5;130;01m\\x12\u001b[39;00m\u001b[38;5;124m.\u001b[39m\u001b[38;5;130;01m\\n\u001b[39;00m\u001b[38;5;130;01m\\n\u001b[39;00m\u001b[38;5;124mnode_stats\u001b[39m\u001b[38;5;130;01m\\x18\u001b[39;00m\u001b[38;5;130;01m\\x02\u001b[39;00m\u001b[38;5;124m \u001b[39m\u001b[38;5;130;01m\\x03\u001b[39;00m\u001b[38;5;124m(\u001b[39m\u001b[38;5;130;01m\\x0b\u001b[39;00m\u001b[38;5;130;01m\\x32\u001b[39;00m\u001b[38;5;130;01m\\x1a\u001b[39;00m\u001b[38;5;124m.tensorboard.NodeExecStats\u001b[39m\u001b[38;5;130;01m\\x12\u001b[39;00m\u001b[38;5;130;01m\\x43\u001b[39;00m\u001b[38;5;130;01m\\n\u001b[39;00m\u001b[38;5;130;01m\\x0c\u001b[39;00m\u001b[38;5;124mthread_names\u001b[39m\u001b[38;5;130;01m\\x18\u001b[39;00m\u001b[38;5;130;01m\\x03\u001b[39;00m\u001b[38;5;124m \u001b[39m\u001b[38;5;130;01m\\x03\u001b[39;00m\u001b[38;5;124m(\u001b[39m\u001b[38;5;130;01m\\x0b\u001b[39;00m\u001b[38;5;130;01m\\x32\u001b[39;00m\u001b[38;5;124m-.tensorboard.DeviceStepStats.ThreadNamesEntry\u001b[39m\u001b[38;5;130;01m\\x1a\u001b[39;00m\u001b[38;5;130;01m\\x32\u001b[39;00m\u001b[38;5;130;01m\\n\u001b[39;00m\u001b[38;5;130;01m\\x10\u001b[39;00m\u001b[38;5;124mThreadNamesEntry\u001b[39m\u001b[38;5;130;01m\\x12\u001b[39;00m\u001b[38;5;130;01m\\x0b\u001b[39;00m\u001b[38;5;130;01m\\n\u001b[39;00m\u001b[38;5;130;01m\\x03\u001b[39;00m\u001b[38;5;124mkey\u001b[39m\u001b[38;5;130;01m\\x18\u001b[39;00m\u001b[38;5;130;01m\\x01\u001b[39;00m\u001b[38;5;124m \u001b[39m\u001b[38;5;130;01m\\x01\u001b[39;00m\u001b[38;5;124m(\u001b[39m\u001b[38;5;130;01m\\r\u001b[39;00m\u001b[38;5;130;01m\\x12\u001b[39;00m\u001b[38;5;130;01m\\r\u001b[39;00m\u001b[38;5;130;01m\\n\u001b[39;00m\u001b[38;5;130;01m\\x05\u001b[39;00m\u001b[38;5;124mvalue\u001b[39m\u001b[38;5;130;01m\\x18\u001b[39;00m\u001b[38;5;130;01m\\x02\u001b[39;00m\u001b[38;5;124m \u001b[39m\u001b[38;5;130;01m\\x01\u001b[39;00m\u001b[38;5;124m(\u001b[39m\u001b[38;5;130;01m\\t\u001b[39;00m\u001b[38;5;124m:\u001b[39m\u001b[38;5;130;01m\\x02\u001b[39;00m\u001b[38;5;130;01m\\x38\u001b[39;00m\u001b[38;5;130;01m\\x01\u001b[39;00m\u001b[38;5;130;01m\\\"\u001b[39;00m\u001b[38;5;124m<\u001b[39m\u001b[38;5;130;01m\\n\u001b[39;00m\u001b[38;5;130;01m\\t\u001b[39;00m\u001b[38;5;124mStepStats\u001b[39m\u001b[38;5;130;01m\\x12\u001b[39;00m\u001b[38;5;124m/\u001b[39m\u001b[38;5;130;01m\\n\u001b[39;00m\u001b[38;5;130;01m\\t\u001b[39;00m\u001b[38;5;124mdev_stats\u001b[39m\u001b[38;5;130;01m\\x18\u001b[39;00m\u001b[38;5;130;01m\\x01\u001b[39;00m\u001b[38;5;124m \u001b[39m\u001b[38;5;130;01m\\x03\u001b[39;00m\u001b[38;5;124m(\u001b[39m\u001b[38;5;130;01m\\x0b\u001b[39;00m\u001b[38;5;130;01m\\x32\u001b[39;00m\u001b[38;5;130;01m\\x1c\u001b[39;00m\u001b[38;5;124m.tensorboard.DeviceStepStatsB\u001b[39m\u001b[38;5;130;01m\\x83\u001b[39;00m\u001b[38;5;130;01m\\x01\u001b[39;00m\u001b[38;5;130;01m\\n\u001b[39;00m\u001b[38;5;130;01m\\x18\u001b[39;00m\u001b[38;5;124morg.tensorflow.frameworkB\u001b[39m\u001b[38;5;130;01m\\x0f\u001b[39;00m\u001b[38;5;124mStepStatsProtosP\u001b[39m\u001b[38;5;130;01m\\x01\u001b[39;00m\u001b[38;5;124mZQgithub.com/tensorflow/tensorflow/tensorflow/go/core/framework/step_stats_go_proto\u001b[39m\u001b[38;5;130;01m\\xf8\u001b[39;00m\u001b[38;5;130;01m\\x01\u001b[39;00m\u001b[38;5;130;01m\\x01\u001b[39;00m\u001b[38;5;130;01m\\x62\u001b[39;00m\u001b[38;5;130;01m\\x06\u001b[39;00m\u001b[38;5;124mproto3\u001b[39m\u001b[38;5;124m'\u001b[39m)\n\u001b[1;32m 23\u001b[0m _ALLOCATIONRECORD \u001b[38;5;241m=\u001b[39m DESCRIPTOR\u001b[38;5;241m.\u001b[39mmessage_types_by_name[\u001b[38;5;124m'\u001b[39m\u001b[38;5;124mAllocationRecord\u001b[39m\u001b[38;5;124m'\u001b[39m]\n", - "File \u001b[0;32m~/.local/lib/python3.10/site-packages/tensorboard/compat/proto/tensor_description_pb2.py:1\u001b[0m\n\u001b[0;32m----> 1\u001b[0m # -*- coding: utf-8 -*-\n\u001b[1;32m 2\u001b[0m # Generated by the protocol buffer compiler. DO NOT EDIT!\n\u001b[1;32m 3\u001b[0m # source: tensorboard/compat/proto/tensor_description.proto\n\u001b[1;32m 4\u001b[0m \"\"\"Generated protocol buffer code.\"\"\"\n\u001b[1;32m 5\u001b[0m from google.protobuf import descriptor as _descriptor\n", - "\u001b[0;31mKeyboardInterrupt\u001b[0m: " + "2024-04-10 05:55:25.093129: W tensorflow/compiler/tf2tensorrt/utils/py_utils.cc:38] TF-TRT Warning: Could not find TensorRT\n", + "2024-04-10 05:55:26.119965: W external/local_tsl/tsl/platform/cloud/google_auth_provider.cc:184] All attempts to get a Google authentication bearer token failed, returning an empty token. Retrieving token from files failed with \"NOT_FOUND: Could not locate the credentials file.\". Retrieving token from GCE failed with \"FAILED_PRECONDITION: Error executing an HTTP request: libcurl code 6 meaning 'Couldn't resolve host name', error details: Could not resolve host: metadata.google.internal\".\n", + "2024-04-10 05:55:42.883933: W tensorflow/core/framework/local_rendezvous.cc:404] Local rendezvous is aborting with status: OUT_OF_RANGE: End of sequence\n", + "2024-04-10 05:55:58.639679: W tensorflow/core/framework/local_rendezvous.cc:404] Local rendezvous is aborting with status: OUT_OF_RANGE: End of sequence\n", + "2024-04-10 05:56:15.328568: W tensorflow/core/framework/local_rendezvous.cc:404] Local rendezvous is aborting with status: OUT_OF_RANGE: End of sequence\n", + "2024-04-10 05:56:36.827206: W tensorflow/core/framework/local_rendezvous.cc:404] Local rendezvous is aborting with status: OUT_OF_RANGE: End of sequence\n", + "2024-04-10 05:57:07.586553: W tensorflow/core/framework/local_rendezvous.cc:404] Local rendezvous is aborting with status: OUT_OF_RANGE: End of sequence\n", + "2024-04-10 05:57:28.671534: W tensorflow/core/framework/local_rendezvous.cc:404] Local rendezvous is aborting with status: OUT_OF_RANGE: End of sequence\n", + "2024-04-10 05:57:51.859226: W tensorflow/core/framework/local_rendezvous.cc:404] Local rendezvous is aborting with status: OUT_OF_RANGE: End of sequence\n", + "2024-04-10 05:58:15.528222: W tensorflow/core/framework/local_rendezvous.cc:404] Local rendezvous is aborting with status: OUT_OF_RANGE: End of sequence\n", + "2024-04-10 05:58:32.790615: W tensorflow/core/framework/local_rendezvous.cc:404] Local rendezvous is aborting with status: OUT_OF_RANGE: End of sequence\n", + "2024-04-10 05:58:51.843846: W tensorflow/core/framework/local_rendezvous.cc:404] Local rendezvous is aborting with status: OUT_OF_RANGE: End of sequence\n", + "2024-04-10 05:58:53.939596: W tensorflow/core/framework/local_rendezvous.cc:404] Local rendezvous is aborting with status: OUT_OF_RANGE: End of sequence\n" ] } ], "source": [ "dataset.load_rtx_episodes(\n", " name=\"berkeley_autolab_ur5\",\n", - " split=\"train[:3]\",\n", + " split=\"train[:10]\",\n", ")" ] }, @@ -132,7 +94,7 @@ }, { "cell_type": "code", - "execution_count": null, + "execution_count": 4, "id": "5f3c6241", "metadata": {}, "outputs": [ @@ -146,10 +108,10 @@ " white-space: pre-wrap;\n", "}\n", "\n", - "shape: (51, 44)
episode_idFinishedfeature_gripper_closedness_action_typefeature_gripper_closedness_action_shapegripper_closedness_action_countfeature_rotation_delta_typefeature_rotation_delta_shaperotation_delta_countfeature_terminate_episode_typefeature_terminate_episode_shapeterminate_episode_countfeature_world_vector_typefeature_world_vector_shapeworld_vector_countfeature_is_first_typefeature_is_first_shapeis_first_countfeature_is_last_typefeature_is_last_shapeis_last_countfeature_is_terminal_typefeature_is_terminal_shapeis_terminal_countfeature_hand_image_typefeature_hand_image_shapehand_image_countfeature_image_typefeature_image_shapeimage_countfeature_image_with_depth_typefeature_image_with_depth_shapeimage_with_depth_countfeature_natural_language_embedding_typefeature_natural_language_embedding_shapenatural_language_embedding_countfeature_natural_language_instruction_typefeature_natural_language_instruction_shapenatural_language_instruction_countfeature_robot_state_typefeature_robot_state_shaperobot_state_countfeature_reward_typefeature_reward_shapereward_count
i64boolstrstrf64strstrf64strstrf64strstrf64strstrf64strstrf64strstrf64strstrf64strstrf64strstrf64strstrf64strstrf64strstrf64strstrf64
0true"float32""()"71.0"float32""(3,)"71.0"float32""()"71.0"float32""(3,)"71.0"bool""()"71.0"bool""()"71.0"bool""()"71.0"uint8""(480, 640, 3)"71.0"uint8""(480, 640, 3)"71.0"float32""(480, 640, 1)"71.0"float32""(512,)"71.0"string""()"71.0"float32""(15,)"71.0"float32""()"71.0
1true"float32""()"76.0"float32""(3,)"76.0"float32""()"76.0"float32""(3,)"76.0"bool""()"76.0"bool""()"76.0"bool""()"76.0"uint8""(480, 640, 3)"76.0"uint8""(480, 640, 3)"76.0"float32""(480, 640, 1)"76.0"float32""(512,)"76.0"string""()"76.0"float32""(15,)"76.0"float32""()"76.0
2true"float32""()"81.0"float32""(3,)"81.0"float32""()"81.0"float32""(3,)"81.0"bool""()"81.0"bool""()"81.0"bool""()"81.0"uint8""(480, 640, 3)"81.0"uint8""(480, 640, 3)"81.0"float32""(480, 640, 1)"81.0"float32""(512,)"81.0"string""()"81.0"float32""(15,)"81.0"float32""()"81.0
3true"float32""()"71.0"float32""(3,)"71.0"float32""()"71.0"float32""(3,)"71.0"bool""()"71.0"bool""()"71.0"bool""()"71.0"uint8""(480, 640, 3)"71.0"uint8""(480, 640, 3)"71.0"float32""(480, 640, 1)"71.0"float32""(512,)"71.0"string""()"71.0"float32""(15,)"71.0"float32""()"71.0
4true"float32""()"76.0"float32""(3,)"76.0"float32""()"76.0"float32""(3,)"76.0"bool""()"76.0"bool""()"76.0"bool""()"76.0"uint8""(480, 640, 3)"76.0"uint8""(480, 640, 3)"76.0"float32""(480, 640, 1)"76.0"float32""(512,)"76.0"string""()"76.0"float32""(15,)"76.0"float32""()"76.0
……………………………………………………………………………………………………………………
46true"float32""()"76.0"float32""(3,)"76.0"float32""()"76.0"float32""(3,)"76.0"bool""()"76.0"bool""()"76.0"bool""()"76.0"uint8""(480, 640, 3)"76.0"uint8""(480, 640, 3)"76.0"float32""(480, 640, 1)"76.0"float32""(512,)"76.0"string""()"76.0"float32""(15,)"76.0"float32""()"76.0
47true"float32""()"81.0"float32""(3,)"81.0"float32""()"81.0"float32""(3,)"81.0"bool""()"81.0"bool""()"81.0"bool""()"81.0"uint8""(480, 640, 3)"81.0"uint8""(480, 640, 3)"81.0"float32""(480, 640, 1)"81.0"float32""(512,)"81.0"string""()"81.0"float32""(15,)"81.0"float32""()"81.0
48true"float32""()"71.0"float32""(3,)"71.0"float32""()"71.0"float32""(3,)"71.0"bool""()"71.0"bool""()"71.0"bool""()"71.0"uint8""(480, 640, 3)"71.0"uint8""(480, 640, 3)"71.0"float32""(480, 640, 1)"71.0"float32""(512,)"71.0"string""()"71.0"float32""(15,)"71.0"float32""()"71.0
49true"float32""()"76.0"float32""(3,)"76.0"float32""()"76.0"float32""(3,)"76.0"bool""()"76.0"bool""()"76.0"bool""()"76.0"uint8""(480, 640, 3)"76.0"uint8""(480, 640, 3)"76.0"float32""(480, 640, 1)"76.0"float32""(512,)"76.0"string""()"76.0"float32""(15,)"76.0"float32""()"76.0
50true"float32""()"81.0"float32""(3,)"81.0"float32""()"81.0"float32""(3,)"81.0"bool""()"81.0"bool""()"81.0"bool""()"81.0"uint8""(480, 640, 3)"81.0"uint8""(480, 640, 3)"81.0"float32""(480, 640, 1)"81.0"float32""(512,)"81.0"string""()"81.0"float32""(15,)"81.0"float32""()"81.0
" + "shape: (11, 44)
episode_idFinishedfeature_gripper_closedness_action_typefeature_gripper_closedness_action_shapegripper_closedness_action_countfeature_rotation_delta_typefeature_rotation_delta_shaperotation_delta_countfeature_terminate_episode_typefeature_terminate_episode_shapeterminate_episode_countfeature_world_vector_typefeature_world_vector_shapeworld_vector_countfeature_is_first_typefeature_is_first_shapeis_first_countfeature_is_last_typefeature_is_last_shapeis_last_countfeature_is_terminal_typefeature_is_terminal_shapeis_terminal_countfeature_hand_image_typefeature_hand_image_shapehand_image_countfeature_image_typefeature_image_shapeimage_countfeature_image_with_depth_typefeature_image_with_depth_shapeimage_with_depth_countfeature_natural_language_embedding_typefeature_natural_language_embedding_shapenatural_language_embedding_countfeature_natural_language_instruction_typefeature_natural_language_instruction_shapenatural_language_instruction_countfeature_robot_state_typefeature_robot_state_shaperobot_state_countfeature_reward_typefeature_reward_shapereward_count
i64boolstrstrf64strstrf64strstrf64strstrf64strstrf64strstrf64strstrf64strstrf64strstrf64strstrf64strstrf64strstrf64strstrf64strstrf64
0true"float32""()"71.0"float32""(3,)"71.0"float32""()"71.0"float32""(3,)"71.0"bool""()"71.0"bool""()"71.0"bool""()"71.0"uint8""(480, 640, 3)"71.0"uint8""(480, 640, 3)"71.0"float32""(480, 640, 1)"71.0"float32""(512,)"71.0"string""()"71.0"float32""(15,)"71.0"float32""()"71.0
1true"float32""()"71.0"float32""(3,)"71.0"float32""()"71.0"float32""(3,)"71.0"bool""()"71.0"bool""()"71.0"bool""()"71.0"uint8""(480, 640, 3)"71.0"uint8""(480, 640, 3)"71.0"float32""(480, 640, 1)"71.0"float32""(512,)"71.0"string""()"71.0"float32""(15,)"71.0"float32""()"71.0
2true"float32""()"76.0"float32""(3,)"76.0"float32""()"76.0"float32""(3,)"76.0"bool""()"76.0"bool""()"76.0"bool""()"76.0"uint8""(480, 640, 3)"76.0"uint8""(480, 640, 3)"76.0"float32""(480, 640, 1)"76.0"float32""(512,)"76.0"string""()"76.0"float32""(15,)"76.0"float32""()"76.0
3true"float32""()"81.0"float32""(3,)"81.0"float32""()"81.0"float32""(3,)"81.0"bool""()"81.0"bool""()"81.0"bool""()"81.0"uint8""(480, 640, 3)"81.0"uint8""(480, 640, 3)"81.0"float32""(480, 640, 1)"81.0"float32""(512,)"81.0"string""()"81.0"float32""(15,)"81.0"float32""()"81.0
4true"float32""()"80.0"float32""(3,)"80.0"float32""()"80.0"float32""(3,)"80.0"bool""()"80.0"bool""()"80.0"bool""()"80.0"uint8""(480, 640, 3)"80.0"uint8""(480, 640, 3)"80.0"float32""(480, 640, 1)"80.0"float32""(512,)"80.0"string""()"80.0"float32""(15,)"80.0"float32""()"80.0
……………………………………………………………………………………………………………………
6true"float32""()"103.0"float32""(3,)"103.0"float32""()"103.0"float32""(3,)"103.0"bool""()"103.0"bool""()"103.0"bool""()"103.0"uint8""(480, 640, 3)"103.0"uint8""(480, 640, 3)"103.0"float32""(480, 640, 1)"103.0"float32""(512,)"103.0"string""()"103.0"float32""(15,)"103.0"float32""()"103.0
7true"float32""()"110.0"float32""(3,)"110.0"float32""()"110.0"float32""(3,)"110.0"bool""()"110.0"bool""()"110.0"bool""()"110.0"uint8""(480, 640, 3)"110.0"uint8""(480, 640, 3)"110.0"float32""(480, 640, 1)"110.0"float32""(512,)"110.0"string""()"110.0"float32""(15,)"110.0"float32""()"110.0
8true"float32""()"118.0"float32""(3,)"118.0"float32""()"118.0"float32""(3,)"118.0"bool""()"118.0"bool""()"118.0"bool""()"118.0"uint8""(480, 640, 3)"118.0"uint8""(480, 640, 3)"118.0"float32""(480, 640, 1)"118.0"float32""(512,)"118.0"string""()"118.0"float32""(15,)"118.0"float32""()"118.0
9true"float32""()"84.0"float32""(3,)"84.0"float32""()"84.0"float32""(3,)"84.0"bool""()"84.0"bool""()"84.0"bool""()"84.0"uint8""(480, 640, 3)"84.0"uint8""(480, 640, 3)"84.0"float32""(480, 640, 1)"84.0"float32""(512,)"84.0"string""()"84.0"float32""(15,)"84.0"float32""()"84.0
10true"float32""()"97.0"float32""(3,)"97.0"float32""()"97.0"float32""(3,)"97.0"bool""()"97.0"bool""()"97.0"bool""()"97.0"uint8""(480, 640, 3)"97.0"uint8""(480, 640, 3)"97.0"float32""(480, 640, 1)"97.0"float32""(512,)"97.0"string""()"97.0"float32""(15,)"97.0"float32""()"97.0
" ], "text/plain": [ - "shape: (51, 44)\n", + "shape: (11, 44)\n", "┌───────────┬──────────┬───────────┬───────────┬───┬───────────┬───────────┬───────────┬───────────┐\n", "│ episode_i ┆ Finished ┆ feature_g ┆ feature_g ┆ … ┆ robot_sta ┆ feature_r ┆ feature_r ┆ reward_co │\n", "│ d ┆ --- ┆ ripper_cl ┆ ripper_cl ┆ ┆ te_count ┆ eward_typ ┆ eward_sha ┆ unt │\n", @@ -159,20 +121,20 @@ "│ ┆ ┆ str ┆ str ┆ ┆ ┆ ┆ ┆ │\n", "╞═══════════╪══════════╪═══════════╪═══════════╪═══╪═══════════╪═══════════╪═══════════╪═══════════╡\n", "│ 0 ┆ true ┆ float32 ┆ () ┆ … ┆ 71.0 ┆ float32 ┆ () ┆ 71.0 │\n", - "│ 1 ┆ true ┆ float32 ┆ () ┆ … ┆ 76.0 ┆ float32 ┆ () ┆ 76.0 │\n", - "│ 2 ┆ true ┆ float32 ┆ () ┆ … ┆ 81.0 ┆ float32 ┆ () ┆ 81.0 │\n", - "│ 3 ┆ true ┆ float32 ┆ () ┆ … ┆ 71.0 ┆ float32 ┆ () ┆ 71.0 │\n", - "│ 4 ┆ true ┆ float32 ┆ () ┆ … ┆ 76.0 ┆ float32 ┆ () ┆ 76.0 │\n", + "│ 1 ┆ true ┆ float32 ┆ () ┆ … ┆ 71.0 ┆ float32 ┆ () ┆ 71.0 │\n", + "│ 2 ┆ true ┆ float32 ┆ () ┆ … ┆ 76.0 ┆ float32 ┆ () ┆ 76.0 │\n", + "│ 3 ┆ true ┆ float32 ┆ () ┆ … ┆ 81.0 ┆ float32 ┆ () ┆ 81.0 │\n", + "│ 4 ┆ true ┆ float32 ┆ () ┆ … ┆ 80.0 ┆ float32 ┆ () ┆ 80.0 │\n", "│ … ┆ … ┆ … ┆ … ┆ … ┆ … ┆ … ┆ … ┆ … │\n", - "│ 46 ┆ true ┆ float32 ┆ () ┆ … ┆ 76.0 ┆ float32 ┆ () ┆ 76.0 │\n", - "│ 47 ┆ true ┆ float32 ┆ () ┆ … ┆ 81.0 ┆ float32 ┆ () ┆ 81.0 │\n", - "│ 48 ┆ true ┆ float32 ┆ () ┆ … ┆ 71.0 ┆ float32 ┆ () ┆ 71.0 │\n", - "│ 49 ┆ true ┆ float32 ┆ () ┆ … ┆ 76.0 ┆ float32 ┆ () ┆ 76.0 │\n", - "│ 50 ┆ true ┆ float32 ┆ () ┆ … ┆ 81.0 ┆ float32 ┆ () ┆ 81.0 │\n", + "│ 6 ┆ true ┆ float32 ┆ () ┆ … ┆ 103.0 ┆ float32 ┆ () ┆ 103.0 │\n", + "│ 7 ┆ true ┆ float32 ┆ () ┆ … ┆ 110.0 ┆ float32 ┆ () ┆ 110.0 │\n", + "│ 8 ┆ true ┆ float32 ┆ () ┆ … ┆ 118.0 ┆ float32 ┆ () ┆ 118.0 │\n", + "│ 9 ┆ true ┆ float32 ┆ () ┆ … ┆ 84.0 ┆ float32 ┆ () ┆ 84.0 │\n", + "│ 10 ┆ true ┆ float32 ┆ () ┆ … ┆ 97.0 ┆ float32 ┆ () ┆ 97.0 │\n", "└───────────┴──────────┴───────────┴───────────┴───┴───────────┴───────────┴───────────┴───────────┘" ] }, - "execution_count": 3, + "execution_count": 4, "metadata": {}, "output_type": "execute_result" } @@ -185,20 +147,54 @@ }, { "cell_type": "code", - "execution_count": null, + "execution_count": 5, "id": "d965ed5a", "metadata": {}, "outputs": [ { - "ename": "", - "evalue": "", - "output_type": "error", - "traceback": [ - "\u001b[1;31mThe Kernel crashed while executing code in the current cell or a previous cell. \n", - "\u001b[1;31mPlease review the code in the cell(s) to identify a possible cause of the failure. \n", - "\u001b[1;31mClick here for more info. \n", - "\u001b[1;31mView Jupyter log for further details." - ] + "data": { + "text/html": [ + "
\n", + "shape: (9, 17)
statisticepisode_idTimestampgripper_closedness_actionrotation_deltaterminate_episodeworld_vectoris_firstis_lastis_terminalhand_imageimageimage_with_depthnatural_language_embeddingnatural_language_instructionrobot_statereward
strf64f64f64strf64strf64f64f64strstrstrstrstrstrf64
"count"1014.01014.01014.0"1014"1014.0"1014"1014.01014.01014.0"1014""1014""1014""1014""1014""1014"1014.0
"null_count"0.00.00.0"0"0.0"0"0.00.00.0"0""0""0""0""0""0"0.0
"mean"5.3836291.7127e180.0null0.021696null0.0108480.0216960.021696nullnullnullnullnullnull0.010848
"std"3.0175151.3023e110.108839null0.145762nullnullnullnullnullnullnullnullnullnull0.103639
"min"0.01.7127e18-1.0"b"\\x93NUMPY\\x0…0.0"b"\\x93NUMPY\\x0…0.00.00.0"b'\\x93NUMPY\\x0…"b'\\x93NUMPY\\x0…"b'\\x93NUMPY\\x0…"b'\\x93NUMPY\\x0…"b'pick up the …"b"\\x93NUMPY\\x0…0.0
"25%"3.01.7127e180.0null0.0nullnullnullnullnullnullnullnullnullnull0.0
"50%"6.01.7127e180.0null0.0nullnullnullnullnullnullnullnullnullnull0.0
"75%"8.01.7127e180.0null0.0nullnullnullnullnullnullnullnullnullnull0.0
"max"10.01.7127e181.0"b"\\x93NUMPY\\x0…1.0"b"\\x93NUMPY\\x0…1.01.01.0"b'\\x93NUMPY\\x0…"b'\\x93NUMPY\\x0…"b'\\x93NUMPY\\x0…"b'\\x93NUMPY\\x0…"b'sweep the gr…"b"\\x93NUMPY\\x0…1.0
" + ], + "text/plain": [ + "shape: (9, 17)\n", + "┌───────────┬───────────┬───────────┬───────────┬───┬───────────┬───────────┬───────────┬──────────┐\n", + "│ statistic ┆ episode_i ┆ Timestamp ┆ gripper_c ┆ … ┆ natural_l ┆ natural_l ┆ robot_sta ┆ reward │\n", + "│ --- ┆ d ┆ --- ┆ losedness ┆ ┆ anguage_e ┆ anguage_i ┆ te ┆ --- │\n", + "│ str ┆ --- ┆ f64 ┆ _action ┆ ┆ mbedding ┆ nstructio ┆ --- ┆ f64 │\n", + "│ ┆ f64 ┆ ┆ --- ┆ ┆ --- ┆ n ┆ str ┆ │\n", + "│ ┆ ┆ ┆ f64 ┆ ┆ str ┆ --- ┆ ┆ │\n", + "│ ┆ ┆ ┆ ┆ ┆ ┆ str ┆ ┆ │\n", + "╞═══════════╪═══════════╪═══════════╪═══════════╪═══╪═══════════╪═══════════╪═══════════╪══════════╡\n", + "│ count ┆ 1014.0 ┆ 1014.0 ┆ 1014.0 ┆ … ┆ 1014 ┆ 1014 ┆ 1014 ┆ 1014.0 │\n", + "│ null_coun ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ … ┆ 0 ┆ 0 ┆ 0 ┆ 0.0 │\n", + "│ t ┆ ┆ ┆ ┆ ┆ ┆ ┆ ┆ │\n", + "│ mean ┆ 5.383629 ┆ 1.7127e18 ┆ 0.0 ┆ … ┆ null ┆ null ┆ null ┆ 0.010848 │\n", + "│ std ┆ 3.017515 ┆ 1.3023e11 ┆ 0.108839 ┆ … ┆ null ┆ null ┆ null ┆ 0.103639 │\n", + "│ min ┆ 0.0 ┆ 1.7127e18 ┆ -1.0 ┆ … ┆ b'\\x93NUM ┆ b'pick up ┆ b\"\\x93NUM ┆ 0.0 │\n", + "│ ┆ ┆ ┆ ┆ ┆ PY\\x01\\x0 ┆ the blue ┆ PY\\x01\\x0 ┆ │\n", + "│ ┆ ┆ ┆ ┆ ┆ 0v\\x00{\\' ┆ cup and ┆ 0v\\x00{'d ┆ │\n", + "│ ┆ ┆ ┆ ┆ ┆ descr… ┆ put i… ┆ escr'… ┆ │\n", + "│ 25% ┆ 3.0 ┆ 1.7127e18 ┆ 0.0 ┆ … ┆ null ┆ null ┆ null ┆ 0.0 │\n", + "│ 50% ┆ 6.0 ┆ 1.7127e18 ┆ 0.0 ┆ … ┆ null ┆ null ┆ null ┆ 0.0 │\n", + "│ 75% ┆ 8.0 ┆ 1.7127e18 ┆ 0.0 ┆ … ┆ null ┆ null ┆ null ┆ 0.0 │\n", + "│ max ┆ 10.0 ┆ 1.7127e18 ┆ 1.0 ┆ … ┆ b'\\x93NUM ┆ b'sweep ┆ b\"\\x93NUM ┆ 1.0 │\n", + "│ ┆ ┆ ┆ ┆ ┆ PY\\x01\\x0 ┆ the green ┆ PY\\x01\\x0 ┆ │\n", + "│ ┆ ┆ ┆ ┆ ┆ 0v\\x00{\\' ┆ cloth to ┆ 0v\\x00{'d ┆ │\n", + "│ ┆ ┆ ┆ ┆ ┆ descr… ┆ the l… ┆ escr'… ┆ │\n", + "└───────────┴───────────┴───────────┴───────────┴───┴───────────┴───────────┴───────────┴──────────┘" + ] + }, + "execution_count": 5, + "metadata": {}, + "output_type": "execute_result" } ], "source": [ @@ -220,10 +216,18 @@ }, { "cell_type": "code", - "execution_count": null, + "execution_count": 6, "id": "46dfe5a9", "metadata": {}, - "outputs": [], + "outputs": [ + { + "name": "stdout", + "output_type": "stream", + "text": [ + "3.2 µs ± 368 ns per loop (mean ± std. dev. of 7 runs, 100,000 loops each)\n" + ] + } + ], "source": [ "# data for individual episode \n", "%timeit dataset.get_step_data_by_episode_ids([1,2,3])" @@ -231,10 +235,18 @@ }, { "cell_type": "code", - "execution_count": null, + "execution_count": 7, "id": "d5d265ff", "metadata": {}, - "outputs": [], + "outputs": [ + { + "name": "stdout", + "output_type": "stream", + "text": [ + "2.48 s ± 291 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)\n" + ] + } + ], "source": [ "%timeit dataset.get_step_data_by_episode_ids([1,2,3], as_lazy_frame=False)" ] @@ -259,10 +271,20 @@ }, { "cell_type": "code", - "execution_count": null, + "execution_count": 8, "id": "a7b97900", "metadata": {}, - "outputs": [], + "outputs": [ + { + "name": "stderr", + "output_type": "stream", + "text": [ + "2024-04-10 05:59:42.147783: W tensorflow/core/framework/local_rendezvous.cc:404] Local rendezvous is aborting with status: OUT_OF_RANGE: End of sequence\n", + "2024-04-10 06:00:06.033397: W tensorflow/core/framework/local_rendezvous.cc:404] Local rendezvous is aborting with status: OUT_OF_RANGE: End of sequence\n", + "2024-04-10 06:00:08.650303: W tensorflow/core/framework/local_rendezvous.cc:404] Local rendezvous is aborting with status: OUT_OF_RANGE: End of sequence\n" + ] + } + ], "source": [ "# this loads another 2 episodes \n", "dataset.load_rtx_episodes(\n", @@ -282,17 +304,55 @@ }, { "cell_type": "code", - "execution_count": null, + "execution_count": 9, "id": "87177338", "metadata": {}, - "outputs": [], + "outputs": [ + { + "data": { + "text/html": [ + "
\n", + "shape: (13, 3)
episode_idcollectorcustom_tag
i64strstr
0nullnull
1nullnull
2nullnull
3nullnull
4nullnull
………
8nullnull
9nullnull
10nullnull
11"User 2""Partition_2"
12"User 2""Partition_2"
" + ], + "text/plain": [ + "shape: (13, 3)\n", + "┌────────────┬───────────┬─────────────┐\n", + "│ episode_id ┆ collector ┆ custom_tag │\n", + "│ --- ┆ --- ┆ --- │\n", + "│ i64 ┆ str ┆ str │\n", + "╞════════════╪═══════════╪═════════════╡\n", + "│ 0 ┆ null ┆ null │\n", + "│ 1 ┆ null ┆ null │\n", + "│ 2 ┆ null ┆ null │\n", + "│ 3 ┆ null ┆ null │\n", + "│ 4 ┆ null ┆ null │\n", + "│ … ┆ … ┆ … │\n", + "│ 8 ┆ null ┆ null │\n", + "│ 9 ┆ null ┆ null │\n", + "│ 10 ┆ null ┆ null │\n", + "│ 11 ┆ User 2 ┆ Partition_2 │\n", + "│ 12 ┆ User 2 ┆ Partition_2 │\n", + "└────────────┴───────────┴─────────────┘" + ] + }, + "execution_count": 9, + "metadata": {}, + "output_type": "execute_result" + } + ], "source": [ "dataset.get_episode_info().select([\"episode_id\", \"collector\", \"custom_tag\"])" ] }, { "cell_type": "code", - "execution_count": null, + "execution_count": 10, "id": "857f3c87", "metadata": {}, "outputs": [], @@ -305,10 +365,48 @@ }, { "cell_type": "code", - "execution_count": null, + "execution_count": 11, "id": "d713a974", "metadata": {}, - "outputs": [], + "outputs": [ + { + "data": { + "text/plain": [ + "([,\n", + " ],\n", + " shape: (9, 17)\n", + " ┌───────────┬───────────┬───────────┬───────────┬───┬───────────┬───────────┬───────────┬──────────┐\n", + " │ statistic ┆ episode_i ┆ Timestamp ┆ gripper_c ┆ … ┆ natural_l ┆ natural_l ┆ robot_sta ┆ reward │\n", + " │ --- ┆ d ┆ --- ┆ losedness ┆ ┆ anguage_e ┆ anguage_i ┆ te ┆ --- │\n", + " │ str ┆ --- ┆ f64 ┆ _action ┆ ┆ mbedding ┆ nstructio ┆ --- ┆ f64 │\n", + " │ ┆ f64 ┆ ┆ --- ┆ ┆ --- ┆ n ┆ str ┆ │\n", + " │ ┆ ┆ ┆ f64 ┆ ┆ str ┆ --- ┆ ┆ │\n", + " │ ┆ ┆ ┆ ┆ ┆ ┆ str ┆ ┆ │\n", + " ╞═══════════╪═══════════╪═══════════╪═══════════╪═══╪═══════════╪═══════════╪═══════════╪══════════╡\n", + " │ count ┆ 80.0 ┆ 80.0 ┆ 80.0 ┆ … ┆ 80 ┆ 80 ┆ 80 ┆ 80.0 │\n", + " │ null_coun ┆ 0.0 ┆ 0.0 ┆ 0.0 ┆ … ┆ 0 ┆ 0 ┆ 0 ┆ 0.0 │\n", + " │ t ┆ ┆ ┆ ┆ ┆ ┆ ┆ ┆ │\n", + " │ mean ┆ 11.0 ┆ 1.7127e18 ┆ 0.0 ┆ … ┆ null ┆ null ┆ null ┆ 0.0125 │\n", + " │ std ┆ 0.0 ┆ 3.8792e9 ┆ 0.0 ┆ … ┆ null ┆ null ┆ null ┆ 0.111803 │\n", + " │ min ┆ 11.0 ┆ 1.7127e18 ┆ 0.0 ┆ … ┆ b'\\x93NUM ┆ b'sweep ┆ b\"\\x93NUM ┆ 0.0 │\n", + " │ ┆ ┆ ┆ ┆ ┆ PY\\x01\\x0 ┆ the green ┆ PY\\x01\\x0 ┆ │\n", + " │ ┆ ┆ ┆ ┆ ┆ 0v\\x00{\\' ┆ cloth to ┆ 0v\\x00{'d ┆ │\n", + " │ ┆ ┆ ┆ ┆ ┆ descr… ┆ the l… ┆ escr'… ┆ │\n", + " │ 25% ┆ 11.0 ┆ 1.7127e18 ┆ 0.0 ┆ … ┆ null ┆ null ┆ null ┆ 0.0 │\n", + " │ 50% ┆ 11.0 ┆ 1.7127e18 ┆ 0.0 ┆ … ┆ null ┆ null ┆ null ┆ 0.0 │\n", + " │ 75% ┆ 11.0 ┆ 1.7127e18 ┆ 0.0 ┆ … ┆ null ┆ null ┆ null ┆ 0.0 │\n", + " │ max ┆ 11.0 ┆ 1.7127e18 ┆ 0.0 ┆ … ┆ b'\\x93NUM ┆ b'sweep ┆ b\"\\x93NUM ┆ 1.0 │\n", + " │ ┆ ┆ ┆ ┆ ┆ PY\\x01\\x0 ┆ the green ┆ PY\\x01\\x0 ┆ │\n", + " │ ┆ ┆ ┆ ┆ ┆ 0v\\x00{\\' ┆ cloth to ┆ 0v\\x00{'d ┆ │\n", + " │ ┆ ┆ ┆ ┆ ┆ descr… ┆ the l… ┆ escr'… ┆ │\n", + " └───────────┴───────────┴───────────┴───────────┴───┴───────────┴───────────┴───────────┴──────────┘)" + ] + }, + "execution_count": 11, + "metadata": {}, + "output_type": "execute_result" + } + ], "source": [ "metadata = episode_info.filter(episode_info[\"custom_tag\"] == \"Partition_2\")\n", "episodes = dataset.read_by(metadata)\n", @@ -329,10 +427,40 @@ }, { "cell_type": "code", - "execution_count": null, + "execution_count": 12, "id": "23a47f3e", "metadata": {}, - "outputs": [], + "outputs": [ + { + "data": { + "text/html": [ + "
\n", + "shape: (3, 2)
episode_idnatural_language_instruction
i64binary
0b"sweep\\x20the\\x20green\\x20cloth\\x20to\\x20the\\x20left\\x20side\\x20of\\x20the\\x20table"
10b"put\\x20the\\x20ranch\\x20bottle\\x20into\\x20the\\x20pot"
12b"pick\\x20up\\x20the\\x20blue\\x20cup\\x20and\\x20put\\x20it\\x20into\\x20the\\x20brown\\x20cup.\\x20"
" + ], + "text/plain": [ + "shape: (3, 2)\n", + "┌────────────┬───────────────────────────────────┐\n", + "│ episode_id ┆ natural_language_instruction │\n", + "│ --- ┆ --- │\n", + "│ i64 ┆ binary │\n", + "╞════════════╪═══════════════════════════════════╡\n", + "│ 0 ┆ b\"sweep\\x20the\\x20green\\x20cloth… │\n", + "│ 10 ┆ b\"put\\x20the\\x20ranch\\x20bottle\\… │\n", + "│ 12 ┆ b\"pick\\x20up\\x20the\\x20blue\\x20c… │\n", + "└────────────┴───────────────────────────────────┘" + ] + }, + "execution_count": 12, + "metadata": {}, + "output_type": "execute_result" + } + ], "source": [ "id_to_language_instruction = (\n", " dataset.get_step_data()\n", @@ -347,7 +475,7 @@ }, { "cell_type": "code", - "execution_count": null, + "execution_count": 13, "id": "c248af4f", "metadata": {}, "outputs": [], @@ -367,10 +495,38 @@ }, { "cell_type": "code", - "execution_count": null, + "execution_count": 14, "id": "4978f740", "metadata": {}, - "outputs": [], + "outputs": [ + { + "name": "stdout", + "output_type": "stream", + "text": [ + "shape: (6, 2)\n", + "┌────────────┬───────────────────────────────────┐\n", + "│ episode_id ┆ decoded │\n", + "│ --- ┆ --- │\n", + "│ i64 ┆ str │\n", + "╞════════════╪═══════════════════════════════════╡\n", + "│ 9 ┆ sweep the green cloth to the lef… │\n", + "│ 4 ┆ sweep the green cloth to the lef… │\n", + "│ 1 ┆ sweep the green cloth to the lef… │\n", + "│ 2 ┆ sweep the green cloth to the lef… │\n", + "│ 0 ┆ sweep the green cloth to the lef… │\n", + "│ 11 ┆ sweep the green cloth to the lef… │\n", + "└────────────┴───────────────────────────────────┘\n" + ] + }, + { + "name": "stderr", + "output_type": "stream", + "text": [ + "/tmp/ipykernel_6756/232788706.py:3: MapWithoutReturnDtypeWarning: Calling `map_elements` without specifying `return_dtype` can lead to unpredictable results. Specify `return_dtype` to silence this warning.\n", + " episode_metadata = episode_metadata.with_columns(episode_metadata['natural_language_instruction'].map_elements(lambda x: x.decode('utf-8')).alias('decoded'))\n" + ] + } + ], "source": [ "import polars as pl \n", "# Decode byte strings to strings\n", @@ -409,10 +565,37 @@ }, { "cell_type": "code", - "execution_count": null, + "execution_count": 15, "id": "c7bb9c0d", "metadata": {}, - "outputs": [], + "outputs": [ + { + "data": { + "application/vnd.jupyter.widget-view+json": { + "model_id": "e422d249b5c441bd9e85e7b128465982", + "version_major": 2, + "version_minor": 0 + }, + "text/plain": [ + "Generating train split: 0 examples [00:00, ? examples/s]" + ] + }, + "metadata": {}, + "output_type": "display_data" + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "Hugging face dataset: DatasetDict({\n", + " train: Dataset({\n", + " features: ['episode_id', 'Timestamp', 'gripper_closedness_action', 'rotation_delta', 'terminate_episode', 'world_vector', 'is_first', 'is_last', 'is_terminal', 'hand_image', 'image', 'image_with_depth', 'natural_language_embedding', 'natural_language_instruction', 'robot_state', 'reward'],\n", + " num_rows: 1217\n", + " })\n", + "})\n" + ] + } + ], "source": [ "import datasets\n", "\n", @@ -431,18 +614,264 @@ }, { "cell_type": "code", - "execution_count": null, + "execution_count": 16, "id": "3c54437b", "metadata": {}, - "outputs": [], + "outputs": [ + { + "name": "stdout", + "output_type": "stream", + "text": [ + "Retrieving episode at index 0\n", + "Retrieving episode at index 1\n", + "[ episode_id Timestamp gripper_closedness_action \\\n", + "0 11 1712728768601166160 0.0 \n", + "1 11 1712728768839768104 0.0 \n", + "2 11 1712728768983350023 0.0 \n", + "3 11 1712728769119575319 0.0 \n", + "4 11 1712728769256151909 0.0 \n", + ".. ... ... ... \n", + "75 11 1712728781218967667 0.0 \n", + "76 11 1712728781437725750 0.0 \n", + "77 11 1712728781613065131 0.0 \n", + "78 11 1712728781822132558 0.0 \n", + "79 11 1712728781969148910 0.0 \n", + "\n", + " rotation_delta terminate_episode \\\n", + "0 b\"\\x93NUMPY\\x01\\x00v\\x00{'descr': '