《Spark大数据技术与应用案例教程》教案第22课多角度分析银行个人信贷.docx

课题多角度分析银行个人信贷业务的逾期还款情况课时2课时(90min)教学目标知识技能目标：(1)使用Da(aFrame的不同操作分析踊。(2)掌握多角度分析数据的方法。素质目标：综合应用所学知识，提升归纳总结能力和实践能力。教学重难点教学重点：使用DataFrame的不同操作分析数据教学难点：多角度分析数据的方法教学方法案例分析法、问答法、讨论法、讲授法教学用具电脑、投影仪、多媒体课件、教材教学过程主要教学内容及步骤课前任务【教师】布置课前任务，和学生负责人取得联系，让其提醒同学通过APP或其他学习软件，完成课前任务请大家回顾前面所学内容。【学生】完成课前任务考勤【教师】使用APP进行签到【学生】班干部报请假人员及原因问题导入【教师】提出以下问题：如何使用DataFrame分析数据?【学生】思考、举手回答课堂实践【教师】描述和分析本次任务内容，并详细演示任务操作过程，引导学生进行操作【任务描述】分析银行个人信贷业务的逾期还款情况，可以帮助银行快速掌握业务整体的发展情况，同时为银行调整业务内容、制订个人信贷方案等工作提供数据支持。因此，本任务使用SParkSQL从整体的角度、不同月收入的角度和不同年龄段的角度分析银行个人信贷业务的逾期还款情况。1.从整体的角度分析银行个人信贷业务的逾期还款情况【任务分析】本任务先读取幡创建DaIaFrame；然后使用DataFramC提供的方法统计并输出贷款用户的数量、逾期还款的用户数量、用户逾期还款率,以及逾期不同天数(即3059天、6089天和90天以上)还款的用户数量。【小提示】用户逾期还款率针对的是银行个人信贷业务的整体用户或部分用户，其计算公式如下。用户逾期还款率=逾期还款的用户数量/贷款用户的数量打开PyCharm,在"CreditCard”目录下新建"OveraHAnalysispy"文件，然后在该文件中编写应用程序,从整体的角度分析个人信贷业务的逾期还款情况。实现步骤如下。一、新建并保存文档步骤IA创建SparkSession对象。步骤2A使用read.csv()方法读取"CrediiCar(LdaIa.csv”文件中的数据创建DataFrame(即df)其中，header=True表示首行数据是列名；inferSchema=True表示自动推断列的数据类型。步骤3A使用SeleClO方法生成一个新的DataFrame(即OVerdUe.counts),其中SeleCI()方法中包含6个表达式，分别用于统计贷款用户的数量、逾期还款的用户数量、用户逾期还款率，以及逾期不同天数还款的用户数量。(详见教材)【参考代码】frompyspark.sqlimportSparkSessionfrompyspark.sql.functionsimportcol,when,sum.count舱j建SparkSession对象spark=SparkSession.builder.appName("OverallAnalysis").getOrCreate()舱0建DalaFramedf=SPark.read.csv("f!le:/usrlocalSParkmycodeCrediICard/CredilCard_daia.csv",header=True,in(erSchema=True)overdue.counts=df.select(CoUnl("*")alias("贷款用户的数量)#第1个表达式sum(when(col("2yrs,')=1.1).otherwise(0)alias('逾期还款的用户数量”)，#第2个表达式(sum(when(col("2yrs")=1,1).otherwise(0)/count("*")*I(X).alias(,用户逾期还款率()#第3个表达式SUm(When(Co1("Time30-59")>0,l).otherwise(0).alias("逾期3059天还款的用户数量").#第4个表达式sum(when(col(,Time60-89")>0.1).otherwise(0).alias('逾期6089天还款的用户数量"),#第5个表达式sum(when(col("Times90")>0,1).otherwise(0)alias("逾期90天以上还款的用户数量“)#第6个表达式)OVerdUe-Countsshow(Iruncaie=False)【运行结果】在PyCharm中运行代码，控制台输出统计结果，如图7-3所示.从结果可以看出,用户逾期还款率约为6.95%,虽然整体逾期率相对较低，但仍需要关注用户还款的稳定性；逾期30-59天还款的用户数量最多，银行可以提供具有针对性的还款提醒和还款机制，确保用户按时还款；针对逾期90天以上还款的用户，银行需要提高监管强度。图73从整体的角度进行分析的结果2.从月收入的角度分析银行个人信贷业务的逾期还款情况【任务分析】将DataFrame注册为临时视图,使用SQL语句从月收入的角度分析银行个人信贷业务的逾期还款情况。首先计算并输出贷款用户的平均月收入；然后分别针对超过平均月收入和未超过平均月收入的用户进行分析，统计并输出贷款用户的数量、逾期还款的用户数量、未逾期还款的用户数量和用户逾期还款率；最后将统计结果保存到CSV文件中。打开PyCharm,在"CredilCard”目录下新建"IncomAnaIysispy”文件，然后在该文件中编写应用程序，从月收入的角度分析银行个人信贷业务的逾期还款情况.实现步骤如下.步骤I创建SparkSession对象。步骤2A创建DataFrame(即df)。步骤3A使用CreaIeorRePlaCeTemPVieW()方法将df注册为临时视图credit_card_datae【参考代码】frompyspark.sqlinponSParkSeSSionfrompyspark.sql.functionsimportcol,when,sum.count,expr# 创建SparkSession对象Spark=SparkSession.bilder.appName("IncomeAnalysis").getOrCreate()# 创建DataFramedf=spark.read.csv("file:/usr/local/spark/mycode/CreditCard/CreditCard_data.csv",header=True,inferSchema=True)# 将DataFrame注册为临时视图df.createOrReplaceTempView("credit_card_data")# 计算所有用户的平均月收入average_monthly_income=spark.sql("SELECTAVG(MonthlyIncome)ASAvgMonthlyIncomeFROMcredit_card_data").first()OPrint("用户的平均月收入：",average_monthly_income)# 定义函数defcalculate_income_stats_query(avg_condition):returnf'""SELECT'avg_CondiIiOn'ASMonthIyIncomeCategory.COUNT(*)ASUserCount,SUM(CASEWHEN2yrs=lTHEN1ELSEOEND)ASOverdueUserCount,SUM(CASEWHEN2yrs=0THEN1ELSEOEND)ASNotOverdueUserCount,ROUND(SUM(CASEWHEN2yrs=1THEN1ELSEOEND)/COUNT(*)*100,5)ASOverdueRateFROMcredit_card_dataWHEREavg-condition娥计超过平均月收入用户的逾期还款情况above_avg_income_query=calculate_income_stats_query(f'Monthlyincome>average_monthly_income")above_avg_income_result=spark.sql(above_avg_income_query)# 统计未超过平均月收入用户的逾期还款情况non_atx)ve_avg_income_query=calculate_income_stats_query(f'Monthlyincome<=average_monthly_incoine”)not_above_avg_income_resull=spark.sql(non_above_avg_income_query)# 获取所有统计结果avg_income_resull=above_avg_income_resul(.union(not_above_avg_income_result)# 修改列名result=avg_income_result.WithcolumnRenamedcMonthlylncoiTieCategory",收入”).withColumnRenamed("UserCount"."贷款用户的数量.withColumnRenaned("OverdueUserCount",逾期还款的用户数量").withColumnRenamed("NotOverdueUserCount","未逾期还款的用户数量").withColumnRenamed("OverdueRate".,用户逾期还款率()")# 显示统计结果result.show(truncate=False)# 将统计结果保存到CSV文件中result.repartition(1).write.csv("file:/usr/local/spark/mycode/CreditCard/avg_income_results.csv",header=True)# 输出提示信息PrinK”成功保存统计结果!")# 停止SparkSession对象spark.stop()【运彳亍结果】在PyCharm中运行代码，控制台输出所有用户的平均月收入、统计结果和提示信息，如图7-4所示.从结果可以看出，超过平均月收入用户的逾期还款率约为4.87%,未超过平均月收入用户的逾期还款率约为8.16%,说明超过平均月收入的用户具有更强的还款能力。用户的平均月收入：667.221237392844I月收入I贷款用户的故里I通期迁款的用户数量I未遂期迁款的用户数里I用户逸闲还款率(X)IINonthlyIncono>667.22123739284444M6121491419974.8794IHonthXyIncone<三667.2212373928441761231626816991518.15522成功俣存统计综累！图74从月收入的角度进行分析的结果3.从不同年龄段的角度分析银行个人信贷业务的逾期还款情况【任务分析】本任务先读取数据创建DataFrame；然后将贷款用户的年龄分为O30岁、3145岁、4660岁、6175岁和76岁+这5个阶段；最后分别统计每个年龄段的贷款用户数量、逾期还款的用户数量、未逾期还款的用户数量、用户逾期还款率和用户平均月收入。打开PyCharm,在"CredilCard”目录下新建"AgeAnalysispy”文件，然后在该文件中编写应用程序，从不同年龄段的角度分析个人信贷业务的逾期还款情况。实现步骤如下。步骤I创建SparkSession对象。步骤2A创建DataFrame(即df).步骤3A定义年龄段信息列表agejanges.每个年龄段由一个元组表示，包括年龄段名称、最呼龄和最大年龄。.(详见教材)【参考代码】frompyspark.sqlimportSparkSessionfrompyspark.sql.functionsimportcol.when舱U建SparkSession对象spark=SparkSession.builder.appName("AgeAnalysis").getOrCreate()聆(J建DataFramedfspcirk.read.csv("file:/usr/local/spark/mycode/CreditCard/CreditCard_data.csv",header=True,inferSchema=True)# 定义年龄段信息的列表age_ranges=(>,0-30",0,30),("3145”，31,45),("4660",46.60),(h61-75",61,75),("76+",76,None)# 定义一个空列表age-stats=(# 使用for循环遍历年龄段列表并进行数据统计forrange_name,min-age,max-ageinage-ranges:# 根据年龄范围创建筛选条件age-filter=(col("age")>=min_age)&(col("age")<=max_age)ifmax_ageisnotNoneelse(col("age")>=min_age)# 获取不同的年龄段幡filtered_df=df.filter(age_filter)# 统计不同年龄段中贷款用户的数量population=filtered_df.count()# 统计不同年龄段中逾期还款的用户数量overdue-count=filtered_df.filter(col("2yrs")=1).count()# 统计不同年龄段中未逾期还款的用户数量non_overdue_count=population-overdue_count# 统计不同年龄段的用户逾期还款率default_rate=(overdue_countZpopulation)*I(X)# 统计不同年龄段的用户平均月收入avg_income=filtered_df.agg("Monthlyincome":"avg).first()O# 将统计结果添加到不同的年龄统计列表age-stats中agestats.append(rangename.PoPUlation,OVerdUecount,nonoVerdUecount.deRiultrate.avg-income)#将不同年龄段的统计结果转换为DataFrameage_stats_df=spark.createDataFrame(age-stats,年龄段”.”贷款用户的数量"逾期还款的用户数量"未逾期还款的用户数量"，"用户逾期还款率()”,“用户平均月收入”)#显示统计结果age_stats_df.show(truncate=False)【运行结果】在PyCharm中运行代码，控制台输出每个年龄段的统计结果，如图7-5所示。从结果可以看出，4660岁的用户贷款需求最大，76岁以上的用户贷款需求最小。030岁用户的逾期还款率最大，其主要原因是该年龄段的用户平均月收入较低。I年IttSl窃款用户的数星I泊即迁款的用户仅量I东遇党通财用Qtt星I用户渔期迂款率(外I用户平均月收入Il-39653Il618847111.112338451342897I3223.945653374572I131-451348643196316689.167491594O816336.776823772373I466e43638I3071I49567|737444429167239I7639.372175626748|617525S5926124W3.57184185U9469617638.429662487946I76167891158I663112.3272941523651998I5342.623666725586I图7-5从不同年龄段的角度进行分析的结果【学生】聆听、理解，按照要求进行操作，如遇问题可询问老师【教师】巡堂辅导，及时解决学生遇到的问题课堂小结【教师】简要总结本节课的要点多角度分析银行个人信贷业务的逾期还款情况【学生】总结回顾知识点作业布置【教师】布置课后作业请根据课堂所学知识，课后自己尝试多角度分析数据的操作。【学生】完成课后任务教学反思