国家开放大学大数据预处理复习题_国家开放大学系统成人高考函授考试答案

请写出下方代码的功能 bin_1=pd.cut(price,bins=5) d1={“price”:car_data[“price”],”bin”:bin_1} p1=pd.DataFrame(data=d1) print(“等宽分

答案是：将变量price进行等宽分箱，设定组数为5，将原变量和等宽分箱结果合并进一个数据框，输出前20位等宽分箱结果，输出等宽分

更新时间:2023/7/2 17:02:00
出自:国家开放大学大数据预处理复习题

请写出下方代码的功能 model_all = GradientBoostingClassifier(random_state=0) model_all.fit(X=train_x, y=train_y) feature_imp = p

答案是：使用scikit-learn库中的GradientBoostingClassifier()函数，基于训练集train_x

更新时间:2023/7/2 17:02:00
出自:国家开放大学大数据预处理复习题

请写出下方代码的功能 pearson = pd.Series(name="pearson correlation") for i in train_x: pearson[i] = pearsonr(train_y, train

答案是：建立pearson序列，使用for循环，调用scipy.stats库中的pearsonr()函数，分别计算train_x

更新时间:2023/7/2 17:01:00
出自:国家开放大学大数据预处理复习题

请写出下方代码的功能 dt_example = pd.Series("") dt_example[0] = "2020/01/20" dt_example[1] = "2020/02/20" dt_example = pd.to_d

答案是：构造一个数组存储时间，第一个时间是2020年1月20日，第二个时间是2020年2月20日，将日期时间从字符串状态转换为标

更新时间:2023/7/2 17:01:00
出自:国家开放大学大数据预处理复习题

请写出下方代码的功能 data_1 = copy.deepcopy(data)

答案是：将data数据深复制给data_1

更新时间:2023/7/2 17:01:00
出自:国家开放大学大数据预处理复习题

请写出下方代码的功能 car_data = pd.read_csv(r"d:cardata.csv",header=0) v1_fill = car_data["v1"].fillna(car_data["v1"].median())

答案是：从数据文件cardata.csv中读取数据，保存在数据框car_data中，使用car_data中变量v1的非缺失部分的

更新时间:2023/7/2 17:01:00
出自:国家开放大学大数据预处理复习题

请写出下方代码的功能 train, test = train_test_split(data, test_size=0.3)

答案是：对data数据划分训练集和测试集，测试集比例为0.3.

更新时间:2023/7/2 17:00:00
出自:国家开放大学大数据预处理复习题

请写出下方代码的功能 scaler = StandardScaler() new_data = scaler.fit_transform(mydata) print(pd.DataFrame({"Scale":scaler.scal

答案是：使用StandardScaler模块对数据集mydata中的所有变量进行标准化，得到新数据集new_data。调用该模块

更新时间:2023/7/2 17:00:00
出自:国家开放大学大数据预处理复习题

对group_a组和group_b组样本进行方差分析的F检验： anova = (group_a, group_b)

答案是：f_oneway

更新时间:2023/7/2 17:00:00
出自:国家开放大学大数据预处理复习题

计算离散化变量的各类频数，结果保存在result中： data.

答案是：value_counts()

更新时间:2023/7/2 17:00:00
出自:国家开放大学大数据预处理复习题

找出data中3000到10000的值，结果保存在result中： result=data. &data.

答案是：ge(3000) le(10000)

更新时间:2023/7/2 17:00:00
出自:国家开放大学大数据预处理复习题

计算变量y与x的Spearman相关系数： Spearman_xy = (y, x)

答案是：spearmanr

更新时间:2023/7/2 16:59:00
出自:国家开放大学大数据预处理复习题

对数据集data中的所有变量进行Robust缩放，结果保存在data_scale中： rob_scaler = () data_scale = rob_scaler. (data)

答案是：RobustScaler fit_transform

更新时间:2023/7/2 16:59:00
出自:国家开放大学大数据预处理复习题

截取addr的前三个字，并查看唯一值： addr. (0, 3).unique()

答案是：str.slice

更新时间:2023/7/2 16:59:00
出自:国家开放大学大数据预处理复习题

将数据集data中的变量v1的缺失值使用其均值进行填补，将填补完的变量保存在v1_fill中： v1_fill = data["v1"]. (data["v1"]. )

答案是：fillna mean()

更新时间:2023/7/2 16:59:00
出自:国家开放大学大数据预处理复习题

使用截断方法，将大于data_mean+5*data_std赋值为data_mean+5*data_std ： data[data. (data_mean+5*data_std)] = data_mean+5*data_std

答案是：gt

更新时间:2023/7/2 16:59:00
出自:国家开放大学大数据预处理复习题

对数据data计算标准差，结果保存在result中： result=data. ()

答案是：std

更新时间:2023/7/2 16:59:00
出自:国家开放大学大数据预处理复习题

对data数据采用等宽分箱，分组数为5组，结果保存在result中： result=pd. (data,bins=5)

答案是：cut

更新时间:2023/7/2 16:58:00
出自:国家开放大学大数据预处理复习题

使用test_x数据集计算只包含部分变量var_new的新模型model_new的AUC值： auc = (y_true=test_y, y_score=model_new. (test_x[var_ne

答案是：roc_auc_score predict_proba

更新时间:2023/7/2 16:58:00
出自:国家开放大学大数据预处理复习题

将数据集data中的所有变量缩放到区间[0,5]，结果保存在data_scale中： new_scaler = ( =(0,5)) data_scaler = new_scaler.fit_transfo

答案是：MinMaxScaler feature_range

更新时间:2023/7/2 16:58:00
出自:国家开放大学大数据预处理复习题

使用boston数据实现线性回归模型填补。首先初始化一个线性回归模型，模型的训练集为train，将含有缺失值的变量LSTAT作为目标变量，其余变量作为自变量拟合模型： train = boston.dropna(subset=["LSTA

答案是：drop axis=1

更新时间:2023/7/2 16:58:00
出自:国家开放大学大数据预处理复习题

查看数据集car_data中所有变量缺失值情况，将结果保存在对象missing_car中： missing_car = car_data. .sum()

答案是：isna()

更新时间:2023/7/2 16:58:00
出自:国家开放大学大数据预处理复习题

对3倍标准差异常值分类计数，结果保存在result中： result= data. ()

答案是：value_counts

更新时间:2023/7/2 16:58:00
出自:国家开放大学大数据预处理复习题

对数据data计算标准分数，data_mean是data的平均值，data_std是data的标准差，结果保存在result中： result=(data- )/

答案是：data_mean data_std

更新时间:2023/7/2 16:57:00
出自:国家开放大学大数据预处理复习题

使用客观法离散化data，设定了参数为bins = [0, 10000, 100000, 200000, np.inf]，标签为["new", "used", "old", "worn"]，结果保存在result中： result=pd.

答案是：labels=["new", "used", "old", "worn"]

更新时间:2023/7/2 16:57:00
出自:国家开放大学大数据预处理复习题

计算变量y与x的Pearson相关系数： Pearson_xy = (y, x)

答案是：Pearsonr

更新时间:2023/7/2 16:57:00
出自:国家开放大学大数据预处理复习题

对数据集data中的所有变量进行Max-ABS缩放，结果保存在data_scale中： ma_scaler = () data_scale = ma_scaler. (data)

答案是：MaxAbsScaler fit_transform

更新时间:2023/7/2 16:57:00
出自:国家开放大学大数据预处理复习题

将data_1数据集age变量中的-1和999替换为缺失值： data_1["age"]. ([-1, 999], np.nan, inplace=True)

答案是：replace

更新时间:2023/7/2 16:57:00
出自:国家开放大学大数据预处理复习题

car_data数据集中的make变量每一个类别的频数存储在make_count中，现在将car_data数据集中的make变量频数低于100的类别合并为一类： car_data["make1"] = car_data["make"].m

答案是：make_count[x]<100 x

更新时间:2023/7/2 16:57:00
出自:国家开放大学大数据预处理复习题

将data离散化为0-1型变量，结果保存在result中： result=data. eq(0).

答案是：astype(int)

更新时间:2023/7/2 16:56:00
出自:国家开放大学大数据预处理复习题

对data数据采用等频分箱，分组数为5组，结果保存在result中： result=pd. (data,bins=5)

答案是：qcut

更新时间:2023/7/2 16:56:00
出自:国家开放大学大数据预处理复习题

对数据data计算平均值，结果保存在result中： result=data. ()

答案是：mean

更新时间:2023/7/2 16:56:00
出自:国家开放大学大数据预处理复习题

通过画箱线图对数据data识别异常值： data.plot. ()

答案是：box

更新时间:2023/7/2 16:56:00
出自:国家开放大学大数据预处理复习题

对数据集data中的所有变量进行Min-Max缩放，结果保存在data_scale中： mm_scaler = () data_scale = mm_scaler. (data)

答案是：MinMaxScaler fit_transform

更新时间:2023/7/2 16:56:00
出自:国家开放大学大数据预处理复习题

对序列B进行中心化，结果保存在centralize_b中： centralize_b = (B, with_std=False)

答案是：scale

更新时间:2023/7/2 16:55:00
出自:国家开放大学大数据预处理复习题

对boston数据集中的变量LSTAT进行处理，随机生成了10个缺失值： sample = random.sample( (boston.shape[0]), 10) boston. [sample,

答案是：range loc

更新时间:2023/7/2 16:55:00
出自:国家开放大学大数据预处理复习题

计算car_data数据集中的make变量每一个类别的频数，存储在make_count中： make_count = car_data["make"].

答案是：value_counts()

更新时间:2023/7/2 16:55:00
出自:国家开放大学大数据预处理复习题

简述等宽法的适用情况。

答案是：等宽法适用于对数据分布较为均匀的连续型变量进行离散化，根据连续型变量的取值范围，建立若干个宽度相等且首尾相连的区间，将连

更新时间:2023/7/2 16:49:00
出自:国家开放大学大数据预处理复习题

简述低频分类数据的特点、形成原因及影响。

答案是：低频分类数据通常呈现出类别众多，并且很多类别仅有几个甚至一个样本的情况。低频分类数据形成原因大致可以分为两种：第一，真实

更新时间:2023/7/2 16:49:00
出自:国家开放大学大数据预处理复习题

简述数据离散化的操作含义。

答案是：数据离散化是指将连续型变量的每个取值映射到根据客观或主观标准事先确定好的一系列分组或分类中，从而得到定性变量的数据预处理

更新时间:2023/7/2 16:49:00
出自:国家开放大学大数据预处理复习题

请简述将变量缩放至区间[-1,1]时，Max-ABS缩放与Min-Max缩放的效果是否相同。

答案是：缩放效果不同，因为二者采取缩放方式不同。Min-Max缩放将原数据的所有值整体缩放至[-1,1]。Max-ABS缩放是将

更新时间:2023/7/2 16:48:00
出自:国家开放大学大数据预处理复习题

请简述使用相关系数选择变量的思想和步骤。

答案是：无论是Pearson相关系数还是Spearman相关系数，其值均在[-1,1]之间分布。当值为0时，两个变量不相关；当其

更新时间:2023/7/2 16:48:00
出自:国家开放大学大数据预处理复习题

简述缺失值填补的思路。

答案是：第一个思路是利用包含缺失值的变量自身的信息进行填补，主要形式为使用该变量的非缺失部分构造简单统计量，并用该统计量填补缺失

更新时间:2023/7/2 16:48:00
出自:国家开放大学大数据预处理复习题

请简述异常值的含义。

答案是：异常值也可以称为离群值，指在一个数据序列中与大多数值相比特别大或特别小的值

更新时间:2023/7/2 16:48:00
出自:国家开放大学大数据预处理复习题

请简述数据特征缩放对数据分析的意义

答案是：意义共有三点：一是，多数数据特征缩放的方法可以消除数据的量纲，而保留其数据分布特征，这样更有利于不同量纲数据之间的比较，

更新时间:2023/7/2 16:48:00
出自:国家开放大学大数据预处理复习题

利用箱线图可以识别出异常值。

答案是：√

更新时间:2023/7/2 16:48:00
出自:国家开放大学大数据预处理复习题

将数据离散化后，可以克服连续型变量中隐藏的缺陷，使模型结果更加稳定，得到更加有意义的研究结论。

答案是：√