制作公司网站有哪些,如何做品牌推广方案,如何利用互联网营销,猎头公司值得去吗在用scala编写spark的时候#xff0c;假如我现在需要将我spark读的数据源的字段#xff0c;做一个类型转换#xff0c;因
为需求中要拼接出sql的create table语句#xff0c;需要每个字段的sql中的类型#xff0c;那么就需要去和sparksql
中的内置数据类型去比对。
写s…在用scala编写spark的时候假如我现在需要将我spark读的数据源的字段做一个类型转换因
为需求中要拼接出sql的create table语句需要每个字段的sql中的类型那么就需要去和sparksql
中的内置数据类型去比对。
写spark的时候创建df后用schema算子得到了structField类查看了源码以后发现
这个样例类的三个参数name、dataType、nullable、metadata
发现第二个参数是这个包下的 于是查阅资料 发现一共有这些参数
整数类型:IntegerType 或 IntType: 32 位有符号整数。
LongType: 64 位有符号整数。
ShortType: 16 位有符号整数。
ByteType: 8 位有符号整数。
浮点数类型:FloatType: 单精度浮点数。
DoubleType: 双精度浮点数。
十进制类型:DecimalType: 固定精度和固定规模的十进制数。
布尔类型:BooleanType: 用于表示布尔值true 或 false。
字符串类型:StringType: 用于表示字符串。
二进制类型:BinaryType: 用于表示二进制数据。
日期和时间类型:DateType: 用于表示日期。
TimestampType: 用于表示日期和时间。
数组类型:ArrayType: 用于表示数组。
映射类型:MapType: 用于表示键值对的映射。
结构类型:StructType: 用于表示结构化的数据可以包含多个字段。
空类型:NullType: 用于表示空值。
这些数据类型都属于 org.apache.spark.sql.types 包并在 Spark SQL 中提供用于构建 DataFrame 模式的工具。在创建 DataFrame 时你可以使用这些数据类型来定义每列的数据类型。例如
import org.apache.spark.sql.types._val schema StructType(Seq(StructField(name, StringType, true),StructField(age, IntegerType, false),StructField(salary, DoubleType, true)
))val df spark.createDataFrame(spark.sparkContext.emptyRDD[Row], schema)
