Skip to content

Latest commit

 

History

History
80 lines (64 loc) · 3.22 KB

ActivityNet.md

File metadata and controls

80 lines (64 loc) · 3.22 KB
Raw

English | 简体中文

ActivityNet数据准备

数据集介绍

ActivityNet是一个用于大规模视频理解任务的数据集，可用于动作定位、动作识别等任务。

数据下载与处理

  1. BMN模型使用的是处理过后的ActivityNet 1.3数据集，有如下两种使用方法：

    • 使用我们处理好的ActivityNet 1.3数据集(压缩包约5.5G)，每一个视频有对应的动作标签、持续区间、持续帧数、持续秒数等信息 使用以下命令下载：

      wget https://paddlemodels.bj.bcebos.com/video_detection/bmn_feat.tar.gz  # 下载处理好的视频特征数据
wget https://paddlemodels.bj.bcebos.com/video_detection/activitynet_1.3_annotations.json  # 下载处理好的标签数据

      或者点击以下超链接下载：

      视频特征数据 视频特征数据

      然后解压下下好的视频特征压缩包

      tar -xf bmn_feat.tar.gz

    • 自行提取特征

      首先参考下载说明下载原始数据集。在训练此模型时，需要先使用TSN对源文件抽取特征。可以自行抽取视频帧及光流信息，预训练好的TSN模型可从此处下载。

    activitynet_1.3_annotations.json标签文件内的信息如下所示：

    {
    "v_QOlSCBRmfWY": {
        "duration_second": 82.73,
        "subset": "training",
        "duration_frame": 2067,
        "annotations": [{
            "segment": [6.195294851794072, 77.73085420904837],
            "label": "Ballet"
        }],
        "feature_frame": 2064
    },
    "v_ehGHCYKzyZ8": {
        "duration_second": 61.718999999999994,
        "subset": "training",
        "duration_frame": 1822,
        "annotations": [{
            "segment": [43.95990729267573, 45.401932082395355],
            "label": "Doing crunches"
        }],
        "feature_frame": 1808
    },
    ...,
    ...
}

    最终应该能得到19228个视频特征npy文件，对应activitynet_1.3_annotations.json文件中的19228个标签信息。

  2. 新建data/bmn_data文件夹，再将下载完毕后将视频特征数据解压出来放入该文件夹下，最终应该组织成以下形式：

    PaddleVideo
├── data
│   ├── bmn_data
│   │   ├── fix_feat_100
│   │   │   ├── v___c8enCfzqw.npy
│   │   │   ├── v___dXUJsj3yo.npy
│   │   │   ├── ...
│   │   │
│   │   └── activitynet_1.3_annotations.json

  3. 最后修改配置文件configs/localization/bmn.yaml中的feat_path字段指定特征文件夹路径，通过file_path字段指定标签文件路径。