python做网站设计,云盘建设网站,网站开发建设费用,用ps做网站页面的大小2023年全国职业院校技能大赛 赛题第07套 赛项名称#xff1a; 大数据应用开发 英文名称#xff1a; Big Data Application Development 赛项组别#xff1a; 高等职业教育组 赛项编号#xff1a; GZ033 … 2023年全国职业院校技能大赛 赛题第07套 赛项名称 大数据应用开发 英文名称 Big Data Application Development 赛项组别 高等职业教育组 赛项编号 GZ033 背景描述
大数据时代背景下电商经营模式发生很大改变。在传统运营模式中缺乏数据积累人们在做出一些决策行为过程中更多是凭借个人经验和直觉发展路径比较自我封闭。而大数据时代为人们提供一种全新的思路通过大量的数据分析得出的结果将更加现实和准确。商家可以对客户的消费行为信息数据进行收集和整理比如消费者购买产品的花费、选择产品的渠道、偏好产品的类型、产品回购周期、购买产品的目的、消费者家庭背景、工作和生活环境、个人消费观和价值观等。通过数据追踪知道顾客从哪儿来是看了某网站投放的广告还是通过朋友推荐链接是新访客还是老用户喜欢浏览什么产品购物车有无商品是否清空还有每一笔交易记录精准锁定一定年龄、收入、对产品有兴趣的顾客对顾客进行分组、标签化通过不同标签组合运用获得不同目标群体以此开展精准推送。
因数据驱动的零售新时代已经到来没有大数据我们无法为消费者提供这些体验为完成电商的大数据分析工作你所在的小组将应用大数据技术以Scala作为整个项目的基础开发语言基于大数据平台综合利用Hive、Spark、Flink、Vue.js等技术对数据进行处理、分析及可视化呈现你们作为该小组的技术人员请按照下面任务完成本次工作。 任务A大数据平台搭建容器环境15分
环境说明 服务端登录地址详见各任务服务端说明。 补充说明宿主机及各容器节点可通过Asbru工具或SSH客户端进行SSH访问。
子任务一Hadoop 完全分布式安装配置
本任务需要使用root用户完成相关配置安装Hadoop需要配置前置环境。命令中要求使用绝对路径具体要求如下:
从宿主机/opt目录下将文件hadoop-3.1.3.tar.gz、jdk-8u212-linux-x64.tar.gz复制到容器Master中的/opt/software路径中若路径不存在则需新建将Master节点JDK安装包解压到/opt/module路径中(若路径不存在则需新建)将JDK解压命令复制并粘贴至客户端桌面【Release\任务A提交结果.docx】中对应的任务序号下修改容器中/etc/profile文件设置JDK环境变量并使其生效配置完毕后在Master节点分别执行“java -version”和“javac”命令将命令行执行结果分别截图并粘贴至客户端桌面【Release\任务A提交结果.docx】中对应的任务序号下请完成host相关配置将三个节点分别命名为master、slave1、slave2并做免密登录用scp命令并使用绝对路径从master复制JDK解压后的安装文件到slave1、slave2节点若路径不存在则需新建并配置slave1、slave2相关环境变量将全部scp复制JDK的命令复制并粘贴至客户端桌面【Release\任务A提交结果.docx】中对应的任务序号下在master将Hadoop解压到/opt/module(若路径不存在则需新建)目录下并将解压包分发至slave1、slave2中其中master、slave1、slave2节点均作为datanode配置好相关环境初始化Hadoop环境namenode将初始化命令及初始化结果截图截取初始化结果日志最后20行即可粘贴至客户端桌面【Release\任务A提交结果.docx】中对应的任务序号下启动Hadoop集群包括hdfs和yarn使用jps命令查看master节点与slave1节点的Java进程将jps命令与结果截图粘贴至客户端桌面【Release\任务A提交结果.docx】中对应的任务序号下。
子任务二Flume安装配置
本任务需要使用root用户完成相关配置已安装Hadoop及需要配置前置环境具体要求如下
从宿主机/opt目录下将文件apache-flume-1.9.0-bin.tar.gz复制到容器master中的/opt/software路径中若路径不存在则需新建将master节点Flume安装包解压到/opt/module目录下将解压命令复制并粘贴至客户端桌面【Release\任务A提交结果.docx】中对应的任务序号下完善相关配置设置配置Flume环境变量并使环境变量生效执行命令flume-ng version并将命令与结果截图粘贴至客户端桌面【Release\任务A提交结果.docx】中对应的任务序号下启动Flume传输Hadoop日志namenode或datanode日志查看HDFS中/tmp/flume目录下生成的内容将查看命令及结果至少5条结果截图粘贴至客户端桌面【Release\任务A提交结果.docx】中对应的任务序号下。
子任务三ClickHouse单节点安装配置
本任务需要使用root用户完成相关配置具体要求如下
从宿主机/opt目录下将clickhouse开头的相关文件复制到容器Master中的/opt/module/clickhouse路径中若路径不存在则需新建将全部解压命令复制并粘贴至客户端桌面【Release\任务A提交结果.docx】中对应的任务序号下执行启动各个相关脚本将全部启动命令复制并将执行结果截取结果最后倒数15行即可截图粘贴至客户端桌面【Release\任务A提交结果.docx】中对应的任务序号下设置远程访问并移除默认监听文件listen.xml同时由于9000端口被Hadoop占用需要将clickhouse的端口更改为9001并启动clickhouse启动后查看clickhouse运行状态并将启动命令复制、查看运行状态命令复制并将执行结果截图粘贴至客户端桌面【Release\任务A提交结果.docx】中对应的任务序号下。 任务B离线数据处理25分
环境说明 服务端登录地址详见各任务服务端说明。 补充说明各节点可通过Asbru工具或SSH客户端进行SSH访问 主节点MySQL数据库用户名/密码root/123456已配置远程连接 Hive的配置文件位于/opt/apache-hive-2.3.4-bin/conf/ Spark任务在Yarn上用Client运行方便观察日志。
子任务一数据抽取
编写Scala代码使用Spark将MySQL的shtd_store库中表user_info、sku_info、base_province、base_region、order_info、order_detail的数据增量抽取到Hive的ods库中对应表user_info、sku_info、base_province、base_region、order_info、order_detail中。(若ods库中部分表没有数据正常抽取即可)
抽取shtd_store库中user_info的增量数据进入Hive的ods库中表user_info。根据ods.user_info表中operate_time或create_time作为增量字段(即MySQL中每条数据取这两个时间中较大的那个时间作为增量字段去和ods里的这两个字段中较大的时间进行比较)只将新增的数据抽入字段名称、类型不变同时添加静态分区分区字段为etl_date类型为String且值为当前比赛日的前一天日期分区字段格式为yyyyMMdd。使用hive cli执行show partitions ods.user_info命令将结果截图粘贴至客户端桌面【Release\任务B提交结果.docx】中对应的任务序号下 抽取shtd_store库中sku_info的增量数据进入Hive的ods库中表sku_info。根据ods.sku_info表中create_time作为增量字段只将新增的数据抽入字段名称、类型不变同时添加静态分区分区字段为etl_date类型为String且值为当前比赛日的前一天日期分区字段格式为yyyyMMdd。使用hive cli执行show partitions ods.sku_info命令将结果截图粘贴至客户端桌面【Release\任务B提交结果.docx】中对应的任务序号下 抽取shtd_store库中base_province的增量数据进入Hive的ods库中表base_province。根据ods.base_province表中id作为增量字段只将新增的数据抽入字段名称、类型不变并添加字段create_time取当前时间同时添加静态分区分区字段为etl_date类型为String且值为当前比赛日的前一天日期分区字段格式为yyyyMMdd。使用hive cli执行show partitions ods.base_province命令将结果截图粘贴至客户端桌面【Release\任务B提交结果.docx】中对应的任务序号下 抽取shtd_store库中base_region的增量数据进入Hive的ods库中表base_region。根据ods.base_region表中id作为增量字段只将新增的数据抽入字段名称、类型不变并添加字段create_time取当前时间同时添加静态分区分区字段为etl_date类型为String且值为当前比赛日的前一天日期分区字段格式为yyyyMMdd。使用hive cli执行show partitions ods.base_region命令将结果截图粘贴至客户端桌面【Release\任务B提交结果.docx】中对应的任务序号下 抽取shtd_store库中order_info的增量数据进入Hive的ods库中表order_info根据ods.order_info表中operate_time或create_time作为增量字段(即MySQL中每条数据取这两个时间中较大的那个时间作为增量字段去和ods里的这两个字段中较大的时间进行比较)只将新增的数据抽入字段名称、类型不变同时添加静态分区分区字段为etl_date类型为String且值为当前比赛日的前一天日期分区字段格式为yyyyMMdd。使用hive cli执行show partitions ods.order_info命令将结果截图粘贴至客户端桌面【Release\任务B提交结果.docx】中对应的任务序号下 抽取shtd_store库中order_detail的增量数据进入Hive的ods库中表order_detail根据ods.order_detail表中create_time作为增量字段只将新增的数据抽入字段名称、类型不变同时添加静态分区分区字段为etl_date类型为String且值为当前比赛日的前一天日期分区字段格式为yyyyMMdd。使用hive cli执行show partitions ods.order_detail命令将结果截图粘贴至客户端桌面【Release\任务B提交结果.docx】中对应的任务序号下。 子任务二数据清洗
编写Scala代码使用Spark将ods库中相应表数据全量抽取到Hive的dwd库中对应表中。表中有涉及到timestamp类型的均要求按照yyyy-MM-dd HH:mm:ss不记录毫秒数若原数据中只有年月日则在时分秒的位置添加00:00:00添加之后使其符合yyyy-MM-dd HH:mm:ss。(若dwd库中部分表没有数据正常抽取即可)
抽取ods库中user_info表中昨天的分区子任务一生成的分区数据并结合dim_user_info最新分区现有的数据根据id合并数据到dwd库中dim_user_info的分区表合并是指对dwd层数据进行插入或修改需修改的数据以id为合并字段根据operate_time排序取最新的一条分区字段为etl_date且值与ods库的相对应表该值相等同时若operate_time为空则用create_time填充并添加dwd_insert_user、dwd_insert_time、dwd_modify_user、dwd_modify_time四列,其中dwd_insert_user、dwd_modify_user均填写“user1”。若该条记录第一次进入数仓dwd层则dwd_insert_time、dwd_modify_time均存当前操作时间并进行数据类型转换。若该数据在进入dwd层时发生了合并修改则dwd_insert_time时间不变dwd_modify_time存当前操作时间其余列存最新的值。使用hive cli执行show partitions dwd.dim_user_info命令将结果截图粘贴至客户端桌面【Release\任务B提交结果.docx】中对应的任务序号下 抽取ods库sku_info表中昨天的分区子任务一生成的分区数据并结合dim_sku_info最新分区现有的数据根据id合并数据到dwd库中dim_sku_info的分区表合并是指对dwd层数据进行插入或修改需修改的数据以id为合并字段根据create_time排序取最新的一条分区字段为etl_date且值与ods库的相对应表该值相等并添加dwd_insert_user、dwd_insert_time、dwd_modify_user、dwd_modify_time四列,其中dwd_insert_user、dwd_modify_user均填写“user1”。若该条数据第一次进入数仓dwd层则dwd_insert_time、dwd_modify_time均填写当前操作时间并进行数据类型转换。若该数据在进入dwd层时发生了合并修改则dwd_insert_time时间不变dwd_modify_time存当前操作时间其余列存最新的值。使用hive cli查询表dim_sku_info的字段id、sku_desc、dwd_insert_user、dwd_modify_time、etl_date条件为最新分区的数据id大于等于15且小于等于20并且按照id升序排序将结果截图粘贴至客户端桌面【Release\任务B提交结果.docx】中对应的任务序号下 抽取ods库base_province表中昨天的分区子任务一生成的分区数据并结合dim_province最新分区现有的数据根据id合并数据到dwd库中dim_province的分区表合并是指对dwd层数据进行插入或修改需修改的数据以id为合并字段根据create_time排序取最新的一条分区字段为etl_date且值与ods库的相对应表该值相等并添加dwd_insert_user、dwd_insert_time、dwd_modify_user、dwd_modify_time四列,其中dwd_insert_user、dwd_modify_user均填写“user1”。若该条数据第一次进入数仓dwd层则dwd_insert_time、dwd_modify_time均填写当前操作时间并进行数据类型转换。若该数据在进入dwd层时发生了合并修改则dwd_insert_time时间不变dwd_modify_time存当前操作时间其余列存最新的值。使用hive cli在表dwd.dim_province最新分区中查询该分区中数据的条数将结果截图粘贴至客户端桌面【Release\任务B提交结果.docx】中对应的任务序号下 抽取ods库base_region表中昨天的分区子任务一生成的分区数据并结合dim_region最新分区现有的数据根据id合并数据到dwd库中dim_region的分区表合并是指对dwd层数据进行插入或修改需修改的数据以id为合并字段根据create_time排序取最新的一条分区字段为etl_date且值与ods库的相对应表该值相等并添加dwd_insert_user、dwd_insert_time、dwd_modify_user、dwd_modify_time四列,其中dwd_insert_user、dwd_modify_user均填写“user1”。若该条数据第一次进入数仓dwd层则dwd_insert_time、dwd_modify_time均填写当前操作时间并进行数据类型转换。若该数据在进入dwd层时发生了合并修改则dwd_insert_time时间不变dwd_modify_time存当前操作时间其余列存最新的值。使用hive cli在表dwd.dim_region最新分区中查询该分区中数据的条数将结果截图粘贴至客户端桌面【Release\任务B提交结果.docx】中对应的任务序号下 将ods库中order_info表昨天的分区子任务一生成的分区数据抽取到dwd库中fact_order_info的动态分区表分区字段为etl_date类型为String取create_time值并将格式转换为yyyyMMdd同时若operate_time为空则用create_time填充并添加dwd_insert_user、dwd_insert_time、dwd_modify_user、dwd_modify_time四列其中dwd_insert_user、dwd_modify_user均填写“user1”dwd_insert_time、dwd_modify_time均填写当前操作时间并进行数据类型转换。使用hive cli执行show partitions dwd.fact_order_info命令将结果截图粘贴至客户端桌面【Release\任务B提交结果.docx】中对应的任务序号下 将ods库中order_detail表昨天的分区子任务一中生成的分区数据抽取到dwd库中fact_order_detail的动态分区表分区字段为etl_date类型为String取create_time值并将格式转换为yyyyMMdd并添加dwd_insert_user、dwd_insert_time、dwd_modify_user、dwd_modify_time四列其中dwd_insert_user、dwd_modify_user均填写“user1”dwd_insert_time、dwd_modify_time均填写当前操作时间并进行数据类型转换。使用hive cli执行show partitions dwd.fact_order_detail命令将结果截图粘贴至客户端桌面【Release\任务B提交结果.docx】中对应的任务序号下。
子任务三指标计算
编写Scala代码使用Spark计算相关指标。
注在指标计算中不考虑订单信息表中order_status字段的值将所有订单视为有效订单。计算订单金额或订单总金额时只使用final_total_amount字段。需注意dwd所有的维表取最新的分区。
本任务基于以下2、3、4小题完成使用Azkaban完成第2、3、4题任务代码的调度。工作流要求使用shell输出“开始”作为工作流的第一个jobjob12、3、4题任务为串行任务且它们依赖job1的完成命名为job2、job3、job4job2、job3、job4完成之后使用shell输出“结束”作为工作流的最后一个jobendjobendjob依赖job2、job3、job4并将最终任务调度完成后的工作流截图将截图粘贴至客户端桌面【Release\任务B提交结果.docx】中对应的任务序号下 根据dwd层表统计每个省每月下单的数量和下单的总金额并按照yearmonthregion_id进行分组,按照total_amount降序排序形成sequence值将计算结果存入Hive的dws数据库的province_consumption_day_aggr表中表结构如下然后使用hive cli根据订单总数、订单总金额、省份表主键均为降序排序查询出前5条在查询时对于订单总金额字段将其转为bigint类型避免用科学计数法展示将SQL语句复制粘贴至客户端桌面【Release\任务B提交结果.docx】中对应的任务序号下将执行结果截图粘贴至客户端桌面【Release\任务B提交结果.docx】中对应的任务序号下; 字段 类型 中文含义 备注 province_id int 省份表主键 province_name string 省份名称 region_id int 地区表主键 region_name string 地区名称 total_amount double 订单总金额 当月订单总金额 total_count int 订单总数 当月订单总数 sequence int 次序 year int 年 订单产生的年,为动态分区字段 month int 月 订单产生的月,为动态分区字段 根据dwd层的数据请计算连续两天下单的用户与已下单用户的占比将结果存入MySQL数据库shtd_result的userrepurchasedrate表中(表结构如下)然后在Linux的MySQL命令行中查询结果数据将SQL语句复制粘贴至客户端桌面【Release\任务B提交结果.docx】中对应的任务序号下将执行结果截图粘贴至客户端桌面【Release\任务B提交结果.docx】中对应的任务序号下 字段 类型 中文含义 备注 purchaseduser int 下单人数 已下单人数 repurchaseduser int 连续下单人数 连续两天下单的人数 repurchaserate text 百占比 连续两天下单人数/已下单人数百分比保留1位小数四舍五入不足的补0例如21.1%或者32.0% 根据dwd层的数据请计算每个省份累计订单量订单信息表一条算一个记录然后根据每个省份订单量从高到低排列将结果打印到控制台使用spark中的show算子同时需要显示列名将执行结果复制并粘贴至客户端桌面【Release\任务B提交结果.docx】中对应的任务序号下
例如可以考虑首先生成类似的临时表A province_name Amount订单量 A省 10122 B省 301 C省 2333333 然后生成结果类似如下其中C省销量最高排在第一列A省次之以此类推。 C省 A省 B省 2333333 10122 301
提示可用str_to_map函数减轻工作量 任务C数据挖掘10分
环境说明 服务端登录地址详见各任务服务端说明。 补充说明各节点可通过Asbru工具或SSH客户端进行SSH访问 主节点MySQL数据库用户名/密码root/123456已配置远程连接 Hive的配置文件位于/opt/apache-hive-2.3.4-bin/conf/ Spark任务在Yarn上用Client运行方便观察日志。 该任务均使用Scala编写利用Spark相关库完成。
子任务一特征工程
剔除订单信息表与订单详细信息表中用户id与商品id不存在于现有的维表中的记录同时建议多利用缓存并充分考虑并行度来优化代码达到更快的计算效果。 据Hive的dwd库中相关表或MySQL数据库shtd_store中订单相关表order_detail、order_info、sku_info对用户购买过的商品进行去重将其转换为以下格式第一列为用户id mapping第二列为用户购买过的商品id mapping按照user_id与sku_id进行升序排序输出前5行将结果截图粘贴至客户端桌面【Release\任务C提交结果.docx】中对应的任务序号下 字段 类型 中文含义 备注 user_id int 用户id的mapping对应键 sku_id int 商品id的mapping对应键
提示
Mapping操作例如用户id1、4、7、8、9则做完mapping操作转为字典类型键0对应用户id 1键1对应用户id 4以此类推
结果格式如下
-------user_id_mapping与sku_id_mapping数据前5条如下-------
0:0
0:89
1:1
1:2
1:3 根据第1小题的结果对其进行聚合其中对sku_id进行one-hot转换将其转换为以下格式矩阵第一列为用户id其余列名为商品id按照用户id进行升序排序展示矩阵第一行前5列数据将结果截图粘贴至客户端桌面【Release\任务C提交结果.docx】中对应的任务序号下。 字段 类型 中文含义 备注 user_id double 客户key sku_id0 double 用户是否购买过商品1 若用户购买过该商品则值为1否则为0 sku_id1 double 用户是否购买过商品2 若用户购买过该商品则值为1否则为0 sku_id2 double 用户是否购买过商品3 若用户购买过该商品则值为1否则为0 .....
结果格式如下
---------------第一行前5列结果展示为---------------
0.0,1.0,0.0,0.0,0.0 子任务二推荐系统
根据子任务一的结果对其进行SVD分解对数据进行降维保留前5个奇异值信息根据该用户已购买的商品分别与未购买的商品计算余弦相似度再进行累加求均值将均值最大的5件商品id进行输出作为推荐使用。将输出结果截图粘贴至客户端桌面【Release\任务C提交结果.docx】中对应的任务序号下。
结果格式如下 ------------------------推荐Top5结果如下------------------------
相似度top1(商品id1平均相似度0.983456)
相似度top2(商品id71平均相似度0.782672)
相似度top3(商品id22平均相似度0.7635246)
相似度top4(商品id351平均相似度0.7335748)
相似度top5(商品id14平均相似度0.522356) 任务D数据采集与实时计算20分
环境说明 服务端登录地址详见各任务服务端说明。 补充说明各节点可通过Asbru工具或SSH客户端进行SSH访问 Flink任务在Yarn上用per job模式即Job分离模式不采用Session模式方便Yarn回收资源。
子任务一实时数据采集
在主节点使用Flume采集实时数据生成器10050端口的socket数据将数据存入到Kafka的Topic中Topic名称为order分区数为4使用Kafka自带的消费者消费orderTopic中的数据将前2条数据的结果截图粘贴至客户端桌面【Release\任务D提交结果.docx】中对应的任务序号下 采用多路复用模式Flume接收数据注入kafka 的同时将数据备份到HDFS目录/user/test/flumebackup下将查看备份目录下的第一个文件的前2条数据的命令与结果截图粘贴至客户端桌面【Release\任务D提交结果.docx】中对应的任务序号下。
子任务二使用Flink处理Kafka中的数据
编写Scala代码使用Flink消费Kafka中Topic为order的数据并进行相应的数据统计计算订单信息对应表结构order_info,订单详细信息对应表结构order_detail来源类型和来源编号这两个字段不考虑所以在实时数据中不会出现同时计算中使用order_info或order_detail表中create_time或operate_time取两者中值较大者作为EventTime若operate_time为空值或无此列则使用create_time填充允许数据延迟5s订单状态order_status分别为1001:创建订单、1002:支付订单、1003:取消订单、1004:完成订单、1005:申请退回、1006:退回完成。另外对于数据结果展示时不要采用例如1.9786518E7的科学计数法。
使用Flink消费Kafka中的数据统计商城实时订单数量需要考虑订单表的状态若有取消订单、申请退回、退回完成则不计入订单数量其他状态则累加将key设置成totalcount存入Redis中。使用redis cli以get key方式获取totalcount值将结果截图粘贴至客户端桌面【Release\任务D提交结果.docx】中对应的任务序号下需两次截图第一次截图和第二次截图间隔1分钟以上第一次截图放前面第二次截图放后面 在任务1进行的同时使用侧边流使用Flink消费Kafka中的订单详细信息数据实时统计商城中消费额前3的商品不考虑订单状态不考虑打折将key设置成top3itemconsumption存入Redis中value使用String数据格式value为前3的商品信息并外层用[]包裹其中按排序依次存放商品id:销售额并用逗号分割。使用redis cli以get key方式获取top3itemconsumption值将结果截图粘贴至客户端桌面【Release\任务D提交结果.docx】中对应的任务序号下需两次截图第一次截图和第二次截图间隔1分钟以上第一次截图放前面第二次截图放后面
示例如下
top3itemconsumption[1:10020.2,42:4540.0,12:540] 采用双流JOIN的方式本系统稳定无需担心数据迟到与丢失的问题,建议使用滚动窗口结合订单信息和订单详细信息需要考虑订单状态若有取消订单、申请退回、退回完成则不进行统计拼接成如下表所示格式其中包含订单id、订单总金额、商品数将数据存入HBase数据库(namespace)shtd_result的的orderpositiveaggr表中表结构如下然后在Linux的HBase shell命令行中查询出任意5条数据查询列orderprice、orderdetailcount将执行结果截图粘贴至客户端桌面【Release\任务D提交结果.docx】中对应的任务序号下将执行结果截图粘贴至客户端桌面【Release\任务D提交结果.docx】中对应的任务序号下。 表空间为shtd_result表为orderpositiveaggr列族为info 字段 类型 中文含义 备注 rowkey string HBase的主键 值为id id bigint 订单id orderprice string 订单总金额 统计订单信息中 final_total_amount字段 orderdetailcount string 商品数量总计 统计订单详细信息中 sku_num字段 任务E数据可视化15分
环境说明 数据接口地址及接口描述详见各任务服务端说明。 子任务一用柱状图展示各地区消费额的中位数
编写Vue工程代码根据接口用柱状图展示2020年各地区所有订单消费额的中位数同时将用于图表展示的数据结构在浏览器的console中进行打印输出将图表可视化结果和浏览器console打印结果分别截图并粘贴至客户端桌面【Release\任务E提交结果.docx】中对应的任务序号下。
子任务二用饼状图展示各地区的平均消费能力
编写Vue工程代码根据接口用饼状图展示2020年各地区订单的平均消费额同时将用于图表展示的数据结构在浏览器的console中进行打印输出将图表可视化结果和浏览器console打印结果分别截图并粘贴至客户端桌面【Release\任务E提交结果.docx】中对应的任务序号下。
子任务三用折线图展示每年上架商品数量的变化
编写Vue工程代码根据接口用折线图展示每年上架商品数量的变化情况同时将用于图表展示的数据结构在浏览器的console中进行打印输出将图表可视化结果和浏览器console打印结果分别截图并粘贴至客户端桌面【Release\任务E提交结果.docx】中对应的任务序号下。
子任务四用条形图展示平均消费额最高的地区
编写Vue工程代码根据接口用条形图展示2020年平均消费额四舍五入保留两位小数最高的5个地区同时将用于图表展示的数据结构在浏览器的console中进行打印输出将图表可视化结果和浏览器console打印结果分别截图并粘贴至客户端桌面【Release\任务E提交结果.docx】中对应的任务序号下。
子任务五用散点图展示省份平均消费额
编写Vue工程代码根据接口用基础散点图展示2020年最高10个省份平均消费额四舍五入保留两位小数同时将用于图表展示的数据结构在浏览器的console中进行打印输出将图表可视化结果和浏览器console打印结果分别截图并粘贴至客户端桌面【Release\任务E提交结果.docx】中对应的任务序号下。 任务F综合分析10分
子任务一Flume采集数据会导致数据丢失吗请简述其原理。
请简述Flume数据采集是否会导致数据丢失以及其原理将内容编写至客户端桌面【Release\任务F提交结果.docx】中对应的任务序号下。
子任务二Flink 任务出现很高的延迟你会如何入手解决类似问题
Flink 任务出现很高的延迟你会如何入手解决类似问题将内容编写至客户端桌面【Release\任务F提交结果.docx】中对应的任务序号下。
子任务三分析地区销售状况。
在任务E中根据相关的展示数据请分析购买力较强的前三个地区可从该地区的省份维度进行详细说明。将内容编写至客户端桌面【Release\任务F提交结果.docx】中对应的任务序号下。
