前言

亚马逊SpaceNet数据集是作用于机器学习人工智能方面比赛或者研究用的商用数据集。我们在利用深度学习进行卫星图像分割时，比如利用FCN、Deeplab算法进行图像分割时，这些数据集就可以利用起来，而且省去了标记的麻烦。本篇文章简单介绍该数据集的内容并说明如何从awsCLi平台上下载这些数据集。

数据集介绍

总览

一共有5个地方的卫星数据，每个地点数据又分为训练集和测试集。

1. Area of Interest 1 (AOI 1) – Location: Rio de Janeiro. 50cm imagery collected from DigitalGlobe’s WorldView-2 satellite. The dataset includes building footprints and 8-band multispectral data.
2. Area of Interest 2 (AOI 2) – Location: Vegas. 30cm imagery collected from DigitalGlobe’s WorldView-3 satellite. The dataset includes building footprints and 8-band multispectral data.
3. Area of Interest 3 (AOI 3) – Location: Paris. 30cm imagery collected from DigitalGlobe’s WorldView-3 satellite. The dataset includes building footprints and 8-band multispectral data.
4. Area of Interest 4 (AOI 4) – Location: Shanghai. 30cm imagery collected from DigitalGlobe’s WorldView-3 satellite. The dataset includes building footprints and 8-band multispectral data.
5. Area of Interest 5 (AOI 5) – Location: Khartoum. 30cm imagery collected from DigitalGlobe’s WorldView-3 satellite. The dataset includes building footprints and 8-band multispectral data.

AOI	Area of Raster (Sq. Km)	Building Labels (Polygons)	Road Labels (LineString)
AOI_1_Rio	2,544	382,534	N/A
AOI_2_Vegas	216	151,367	3685 km
AOI_3_Paris	1,030	23,816	425 km
AOI_4_Shanghai	1,000	92,015	3537 km
AOI_5_Khartoum	765	35,503	1030 km

具体数据

我们以AOI_4_Shanghai数据集为例，打开压缩包可以看到：

分为5个文件夹和一个汇总文件夹，其中标记信息在geojson文件夹中。

数据集下载

需要注意的是，从亚马逊平台下载数据集需要使用命令行方式进行下载，并且你需要有一个亚马逊云平台账号和一个生成的拥有下载权限的密匙。

亚马逊云平台

进入https://aws.amazon.com/cn/这个官网。

注册一个账号，需要注意，下载数据集不需要翻墙，但是在下载之前的一些列操作中部分操作是需要翻墙的，请确保有一个稳定的翻墙软件以便完成之后的操作。

创建下载密匙

通过之前的官网注册完账号后，打开用户界面(oldpan是我的用户名)选择Security Credentials-安全认证。

然后选择Users-用户，选择Add user-添加用户。

User name-用户名字随便起，选中Access type中的两项(和下图相同即可)

创建好之后就会看到你创建这个用户的Access Key ID 和 Secret access key以及 password，这些是我们之后下载数据集需要输入的信息(密匙可以直接查看或者通过csv下载下来保存起来)。

但是光有用户是不够的，因为我们创建的这个用户并没有下载的权限，这里我们需要创建一个groups组，类似于linux的用户组，赋予这个用户下载数据集的权限。

从管理面板找到IAM这个栏目并点开。

然后创建group，group名字随便起，这里我是spacenet，然后在group政策里policy选择AmazonS3ReadOnlyAccess这个政策，创建即可。

创建好后，将我们之前创建的用户添加到这个组里。

添加到组里我们刚才创建的用户oldpan就有下载数据集的权利了。

通过命令行下载数据集

命令行不同平台的，这里介绍在linux下python3.6.1版本的下载方式。https://aws.amazon.com/cn/cli/

进入命令行，这里默认python已经安装好了。

pip install awscli

安装命令行平台。

aws configfure

配置账号信息，输入之前额密匙ID和key，后面两个直接回车跳过去：

• AWS Access Key ID [None]: XXXXXXXXXXXXXXXX
• AWS Secret Access Key [None]: XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
• Default region name [None]:
• Default output format [None]:

配置好了就可以下载了。

下载命令可以点击上方介绍数据集名称链接进入具体页面获取，这里举个例子：

aws s3api get-object --bucket spacenet-dataset --key SpaceNet_Roads_Competition/AOI_4_Shanghai_Roads_Train.tar.gz --request-payer requester AOI_4_Shanghai_Roads_Train.tar.gz

需要注意的地方

数据集下载速度不需要翻墙也可以达到满速，但是容易受到干扰造成time out从而导致下载失败，最好找个不错的网络环境进行下载。