工具名:数据清洗小工具 v2.0.exe | 作者:🧠在放⚡
一、v2.0 有哪些新变化
相对于「数据清洗小工具.exe」(v1),v2.0 主要变化有两点:新增「删除重复行/列」「数据转换」两个功能,以及把原「数据转换」功能更名为「分布变换」。
变化类型 | 旧版(v1) | v2.0 |
|---|---|---|
新增功能 | (无) | 新增 「删除重复行/列」:一键删除整行 / 整列完全相同的重复数据 |
新增功能 | (无) | 新增 「数据转换」:可替换数据并整列 / 整行转换类型 |
更名 | 「数据转换」(做 log / sqrt / Box-Cox) | 改名为 「分布变换」 |
二、功能选择区(② 选择功能)
上传文件后,在「② 选择功能」中选择本次要执行的功能。v2.0 共 8 个功能:
提示:本次 v2.0 新增了 「删除重复行/列」 与 「数据转换」 两个功能,并把原「数据转换」改名为 「分布变换」。本文第三节重点说明这两个新增功能,其余功能用法与旧版一致。
三、v2.0 新增功能详解
3.1 删除重复行/列
用于快速清理数据:把整行完全相同、或整列完全相同的内容去重,只保留其中一份。
设置项 | 可选值 | 说明 |
|---|---|---|
删除对象 | 删除重复行 / 删除重复列 | 按「整行内容完全相同」判定重复,或按「整列内容完全相同」判定重复。 |
保留 | 保留首个重复行/列 / 保留末个重复行/列 | 每一组重复数据里,保留第一个出现的,还是最后一个出现的。 |
设置好删除对象与保留策略后,下方「重复情况预览」会按 sheet 分组列出重复情况:
预览表格列:
Sheet/类型/行索引/关键数据(样例)。双击某个重复分组可展开,查看组内具体的重复行 / 列,先核对无误再处理。
顶部会显示「共发现 N 组重复行 / 列」,帮你预估将要删除的量。
点「开始处理」后,日志区会输出结果,例如:
[Sheet1] 删除重复行 3 条(100 → 97 行)或
[Sheet1] 删除重复列 1 个(12 → 11 列)注意:判定「重复」要求整行 / 整列内容完全一致;如果只是某一列相同、其余列不同,不会被当作重复行删除。
3.2 数据转换
既可以只改数据类型,也可以先替换数据再改类型:系统会根据你设的规则,自动重新识别替换后的数据,并给出可转换的目标类型供你确认。
你的需求 | 怎么做 |
|---|---|
只把某列改成指定类型 | 不打开「替换设置」,直接在「可调整类型」下拉选目标类型即可(默认「保持原样」)。 |
只替换某些值(不改类型) | 双击「替换设置」设规则,不碰「可调整类型」(保持「保持原样」)。 |
替换后再转类型 | 设完替换规则后,系统会在「替换后当前类型」显示新识别结果,再到「可调整类型」选目标类型确认。 |
选择「数据转换」后,主表(Treeview)列出每个列 / 行的信息,共 6 列:
列名 | 含义 | 能否编辑 |
|---|---|---|
名称 | 列名(按列)或行号(按行) | — |
当前类型 | 系统识别出的原始数据类型 | — |
类别数 | 该列 / 行中不同取值的数量 | — |
替换设置 | 已设置的替换规则(为空表示未设置) | 双击编辑(第 4 列) |
替换后当前类型 | 按规则替换后,系统重新识别出的类型 | 自动更新 |
可调整类型 | 你想把该列 / 行转换成的目标类型 | 双击编辑(第 6 列) |
双击第 4 列「替换设置」会弹出「替换设置」窗口,提供两种模式:
按完整数据替换(相同数据统一替换):从左侧类别列表中勾选要处理的取值,再选「替换为 / 删除」,填写替换文字,点「添加替换规则 ▶」。
按关键词部分替换 / 删除:输入关键词(按字符串字面匹配),选「替换为 / 删除」并填替换文字,点「添加替换规则 ▶」。
例:单元格为
abcXdef,关键词X替换为Y→abcYdef;选「删除」→abcdef。
窗口下方「已添加规则」列出所有规则,双击某条规则可删除它。关闭弹窗后,规则写入主表「替换设置」列,同时系统会按替换结果刷新「替换后当前类型」。
注意:所有类型转换都通过第 6 列「可调整类型」完成,系统按实际可转换性给出可选项。
双击第 6 列「可调整类型」会弹出类型下拉,选项由系统按实际值能否全部转换动态生成,并把「保持原样」放在最前:
保持原样:默认,不做任何转换整数 / 小数 / 布尔 / 日期时间 / 文本:仅当该列 / 行的值都能转成该类型时才出现
示例:某列原始值是
"2013"、"2014",下拉会出现「整数 / 小数 / 文本 / 布尔」;若值是"男"、"女",则只有「文本」可调,避免误转。
处理维度:按列 / 按行(单选)。
处理方式:
所有 sheet 统一处理(把多个 sheet 的同名列 / 行当作同一规则)或各 sheet 独立处理(每个 sheet 单独设置)。选「各 sheet 独立处理」且文件有多个 sheet 时,主表下方出现
◀ 上一 sheet/下一 sheet ▶分页导航,可逐 sheet 设置。
设置完成后点「开始处理」,日志区会输出,例如:
数据转换完成(按列):替换 12 个单元格,转换 3 个列。对于有替换、或转换失败(值无法转换为目标类型)的单元格,会逐条列出明细,便于核对:
[Sheet1] 性别:替换 4 处 男→M;女→F[Sheet1] 年龄 → 整数:2 处无法转换
其余功能使用指南见本专栏《数据清洗小工具 - 使用指南》