亚马逊云科技为全球客户提供弹性云服务器、云存储、数据库为主的云计算服务,热门产品包括Amazon EC2、Amazon Lightsail、Amazon RDS及Amazon S3等。其中Amazon S3适用于不同规模和行业的客户,可以满足满足特定的业务与合规性要求。本文就来为大家介绍一下在亚马逊云科技Amazon S3中存储表格数据的教程,一起来了解一下吧。
本文涉及到的亚马逊云科技云产品:Amazon S3
Amazon S3是一项对象存储服务,具备行业领先的可扩展性、数据可用性、安全性和性能。目前提供免费试用服务,为用户提供了5GB的免费云存储空间、99.999999999%的持久性、20000个Get请求、2000个Put请求,使用时长达12个月。
点击获取:亚马逊免费Amazon S3
Amazon S3优势:
- 可扩展性
- 持久性和可用性
- 安全性和数据保护
- 最低价格和最高性能
要想在亚马逊云科技Amazon S3中存储表格数据,需要先创建Amazon S3存储桶和表,用户可以先创建一个存储桶,再在存储桶里存储一两个表。以下有两种方法可选。
一、使用命令行创建Amazon S3存储桶和表
1、创建一个表存储桶:
$ aws s3tables create-table-bucket --name jbarr-table-bucket-2 | jq .arn
"arn:aws:s3tables:us-east-2:123456789012:bucket/jbarr-table-bucket-2"
2、使用表存储桶的ARN创建一个环境变量:
$ export ARN="arn:aws:s3tables:us-east-2:123456789012:bucket/jbarr-table-bucket-2"
3、列出所有表存储桶:
$ aws s3tables list-table-buckets | jq .tableBuckets[].arn
"arn:aws:s3tables:us-east-2:123456789012:bucket/jbarr-table-bucket-1"
"arn:aws:s3tables:us-east-2:123456789012:bucket/jbarr-table-bucket-2"
4、创建一个命名空间(mydata),用来对表进行分组:
scala> spark.sql("""CREATE NAMESPACE IF NOT EXISTS mytablebucket.mydata""")
5、在命名空间中,创建一个简单的Iceberg表:
spark.sql("""CREATE TABLE IF NOT EXISTS mytablebucket.mydata.table1
(id INT,
name STRING,
value INT)
USING iceberg
""")
6、执行以下s3tables命令,查看命名空间和表是否创建成功:
$ aws s3tables list-namespaces --table-bucket-arn $ARN | jq .namespaces[].namespace[]
"mydata"
$
$ aws s3tables list-tables --table-bucket-arn $ARN | jq .tables[].name
"table1"
7、返回Spark shell,在表中添加几行数据:
spark.sql("""INSERT INTO mytablebucket.mydata.table1
VALUES
(1, 'Jeff', 100),
(2, 'Carmen', 200),
(3, 'Stephen', 300),
(4, 'Andy', 400),
(5, 'Tina', 500),
(6, 'Bianca', 600),
(7, 'Grace', 700)
""")
二、使用AWS S3控制台创建存储桶和表
1、单击Table buckets(表存储桶),快速开始创建存储桶。

2、在创建第一个存储桶之前,可以先单击Enable integration(启用集成)功能。这样,就可以从Amazon Athena、Amazon Redshift、Amazon EMR和其他AWS查询引擎访问表存储桶。

3、仔细阅读弹出的说明信息,然后点击Enable integration(启用集成)。集成功能启用时,会自动在AWS Glue Data Catalog中创建对应的IAM角色和条目。

4、等待几秒,集成启用成功。然后,单击Create table bucket(创建表存储桶),继续后续操作。

5、输入名称(jbarr-table-bucket-3),然后点击Create table bucket(创建表存储桶)。

表存储桶创建成功后,可以继续创建表和使用表。
以上就是本文为大家介绍的在亚马逊云科技Amazon S3中存储表格数据的教程。










































