We're sorry GroupDocs doesn't work properply without JavaScript enabled.

Free Support Forum - groupdocs.com

Csv格式文件身份证号码没有达到脱敏的效果

中文技术支持
#1

您好： csv格式文件 身份证号码 经过脱敏后没有达到 预期效果。
版本：GroupDocs.Redaction_21.12-Java.zip

测试代码：
Redactor redactor = new Redactor(redactionOptions.getSourcePath());
List redactions = getRedactions(redactionOptions);
RedactorChangeLog redactorChangeLog = redactor.apply(redactions.toArray(new Redaction[]{}));

if (redactorChangeLog.getStatus() != RedactionStatus.Failed) {
RasterizationOptions rasterizationOptions = new RasterizationOptions();
rasterizationOptions.setEnabled(false);
redactor.save(outputStream, rasterizationOptions);

httpServletResponse.setStatus(HttpServletResponse.SC_OK);
}

文件编码： UTF-8

替换内容：
371421198801013456 替换成 3***6
450104198205310514 替换成 4***4
替换后的结果：
3.7142119880101299E17
4.5010419820531002E17

源文件：
member.7z (304 Bytes)

替换后的文件
member_redaction.7z (326 Bytes)

#2

@402357137

您能否分享完整的源代码或示例控制台应用程序？你是如何替换内容的？请看一下这个截图.png (35.3 KB)。我们在源文件中找不到 450104198205310514。实际上是450104198205310000。
如果您使用一些屏幕截图详细说明问题，我们将不胜感激。

#3

您好，我又重新测试了下。 结果还是一样，可以稳定复现。
测试代码:
image.png (24.5 KB)

测试源文件： 在原来的源文件中添加一列(需要使用文本编辑器打开，office显示会有问题)
image.png (7.7 KB)

  1. 如果什么都不进行替换， 结果如下：
    image.png (29.8 KB)

  2. 如果对 数字 123 进行替换， 结果正常， 显示如下：
    image.png (24.8 KB)

  3. 如果对 身份证号371421198801013456 替换成 3***6 身份证号450104198205310514显示有问题， 身份证号371421198801013456替换有问题。 显示如下：
    image.png (34.7 KB)

  4. 使用execl 格式 对身份证号371421198801013456 进行替换没有问题， 显示如下。
    image.png (10.3 KB)

#4

@402357137

我们最终成功地重新解决了这个问题。因此，我们已将其记录在 ID 为 REDACTIONJAVA-158 的内部问题跟踪系统中。如果有任何更新，您会收到通知。

#5

好的，谢谢！ 如果有更新，请及时通知我。

#6

@402357137

不客气。是的，如果有任何进展，我们一定会通知您。

#7

您好， 这个问题有新的更新吗？

#8

@402357137

我们仍在调查这个问题。如果有任何更新，您会收到通知。

#9

@402357137

这个问题的原因是科学记数法。任何大数都在这个表格中存储和使用。你在输出文件中看到它：4.50104E+17 代替 450104198205310514 和 3.71421E+17 代替 371421198801013456。123 是一个小数字，所以它不使用这种表示法。你不能用数字来避免这种情况，唯一的办法就是把这样的数字当作文本。为此，您可以在数字中使用双引号 ("’")，例如",‘371421198801013456’," - 在这种情况下，数字被视为文本并被很好地编辑。

#10

@Atir_Tahir
您好， 我做了以下两种测试：

  1. 把.csv重新命名为.txt格式的文档， 可以正常脱敏。
  2. 按照你提供的方式， 将 身份证号 用 双引号("")进行处理， 可以正常脱敏。

我们作为商业化产品， 我们没办法要求我们的客户将他们所有的大整数全部用 双引号("") 进行处理， 我们也是贵公司的付费用户， 希望能得到贵公司进一步的支持和帮助， 非常感谢！

#11

@402357137

大数会自动转换为“科学记数法”（例如 3.71421E+17）以简化数学运算，例如计算总和、平均值等。ID 实际上不是数字，即使它们只包含数字，因为它们是应该只是为了比较。所以有两种选择：

  • 将 CSV 文件视为没有任何结构的纯文本
  • 将数字文本标记为其中的文本

如果您不控制 CSV 文件的来源，但需要电子表格功能，则可以对它们进行预处理以检测类似 ID 的数字并将它们包装成引号/撇号。

#12

@Atir_Tahir

您好， 针对csv格式 您这边提到的方案 我 做了简单测试。 测试结果无法满足我的需求，请帮忙协助处理，非常感谢！

  1. 对大整数加双引号("")处理后 和没有双引号 效果一样。
    image.png (49.0 KB)
  2. 对大整数加上单引号(’’) 进行预处理后可以脱敏， 但是使用office或wps 打开后显示多了单引号
    image.png (41.5 KB)
  3. 如果csv格式只有一个数据， 脱敏报错
    image.png (3.6 KB)
    image.png (20.9 KB)
    image.png (17.8 KB)

测试结果 详情 见下面附件内容：
csv脱敏结果整理.docx (258.8 KB)

1 Like
#13

@402357137

我们正在进一步调查这种情况。当有任何更新时，您会收到通知。

#14

@402357137

  1. 如果您在数字前后添加撇号“’”，则撇号将出现在编辑文件中 - 它看起来像是预期的行为。
  2. 只有一个数字的 CSV 文件无法以 CSV 格式打开。这是格式检测的问题，因为此文件没有分隔符、可识别的结构等。我们正在使用票证 ID REDACTIONJAVA-159 调查此问题。作为一种解决方法，可以将此类文件编辑为纯文本。
#15

@Atir_Tahir
对于使用撇号 处理我这边做了测试， 使用wps 和 office 显示结果 稍有不同， 但两种软件显示都无法满足需求。

  1. 使用office打开 显示结果如图
    image.png (24.0 KB)
    使用文本编辑器打开显示结果如下图：
    image.png (41.9 KB)

可以对比看出， 在大整数前面手动加上撇号保存后 和 office大整数自带的撇号 在文本编辑器上显示一模一样， 但使用office打开显示不一样。 脱敏后有显示撇号-不满足需求

  1. 使用wps打开显示结果如下图：
    image.png (15.6 KB)
    使用文本编辑器打开显示结果如下图：
    image.png (15.7 KB)

可以看出在wps中 手动添加撇号 和 csv没有处理的源文件在 文本编辑器和wps显示结果都不一样。 脱敏后显示结果 仍然有 撇号 - 不满足需求。

1 Like
#16

@402357137

感谢您分享更多详细信息。我们正在进一步调查这种情况。您的调查票 ID 是 REDACTIONJAVA-160。

#17

@402357137

你是说应该去掉撇号吗？如果用户添加撇号，它们不会消失并且会保留下来，只有添加它们的人才能删除它们。

#18

@Atir_Tahir

我们不可能要求用户手动添加撇号， 我们只能在后台 扫描用户数据， 给 大整数添加上撇号， 然后进行脱敏， 但是脱敏后我们在后台无法 清除撇号(因为我们无法区分这个撇号是我们自己添加的 还是 用户原始数据就存在的 或者是 脱敏后携带的)， 这样用户收到脱敏后的数据 后 显示就会多了 撇号

#19

@402357137

作为用户，我们将保留对文件的引用以及预处理更改列表，以便在后处理中删除它们。实际上，由于它是电子表格，因此更改将应用​​于整个列，而不是单个单元格，以将其类型从数字更改为文本。所以你所需要知道的是，在文件 X 中，列 M 和 N 已经过预处理。

#20

@Atir_Tahir

  1. 我们无法预设 用户的数据一定是以 列 为单位 或者 每列中 每个单元格的数据都完全合规。
  2. 即使用户数据按照列替换而且非常规范， 我们也无法预判 管理员 配置的 替换规则 中是否有 撇号。(我们无法识别出 具体的撇号 是 管理员配置脱敏后的结果 还是 我们预处理添加的撇号)

举例说明：
假设用户的数据格式如下：
数字1，其他，数字2
‘数字3’，数字4，'数字5

  1. 预处理时 对于数字3 数字4 数字5要不要预处理， 如果处理后， 如何区分他们和数字1和数字2 那个是用户的原始数据，那个是我们预处理添加的。

  2. 如果 替换规则如下： 数字1 替换成 '数字11 数字2 替换成 数字22
    这样脱敏后的结果显示如下：
    ''数字11, 其他， '数字22
    ‘数字3’, '数字4，'数字5

对这样的规则 进行脱敏后 我不清楚 该如何 还原 用户的原始数据。