如何使用python删除重复的文本块

您可以通过执行以下操作来查找所有出现的患者数据的起始索引:

str.find(sub,start,end)

哪里

sub:它是需要在给定字符串中搜索的子字符串——在您的情况下,它将是患者数据 开始:需要在字符串中检查sub的开始位置 结束:需要在字符串中检查后缀的结束位置

它将返回搜索字符串出现的最低索引(患者数据)。

您可以在一个循环中执行此过程,以获取发生患者数据的所有索引。

然后,您可以通过执行以下操作替换从第二个实例开始的患者数据:

str_new = ''.join(( str_old[ : indicies[1] ], '' , s_old[ indicies[2] + len(str_old) + 1 : ] ))
  ... assuming a total of 3 pages in your record.

其他选择:

str.replace(old, new [, max])

哪里

旧的:这是要替换的旧子字符串——在您的案例中是患者数据
新的:这是新的子字符串,它将替换旧的子字符串——它可以是“”(空白) max:如果给出了这个可选参数max,则只替换第一次出现的计数——这意味着患者数据现在将出现在 最后的 仅页。

在python中,纯文本文件可以表示为序列。考虑 plain.txt 以下:

This is the first line!\n
This is the second line!\n
This is the third line!\n

你可以使用 with 保留字以创建管理打开/关闭逻辑的上下文,如下所示:

with open("./plain.txt", "r") as file:
    for line in file:
        # program logic
        pass

"r" 指open使用的模式。

因此,使用这个习惯用法,您可以以适合您的文件访问模式的方式存储重复值,并在遇到重复值时忽略它。

编辑:我看到你的编辑,看起来这实际上是一个csv,对吧?如果是的话,我推荐熊猫套餐。

import pandas as pd # Conventional namespace is pd

# Check out blob, os.walk, os.path for programmatic ways to generate this array
files = ["file.csv", "names.csv", "here.csv"] 

df = pd.DataFrame()
for filepath in files:
    df = df.append(pd.read_csv(filepath))

# To display result
print(df)

# To save to new csv
df.to_csv("big.csv")

假设您可以将每个单独的页面放入文档的列表中

def remove_patient_data(documents: list, pattern: str) -> str:
    document_buffer = ""
    for count, document in enumerate(documents):
        if count != 0:
            document = document.replace(pattern, "")
        document_buffer += document + '\n'
    return document_buffer

my_documents = ["blah foo blah", "blah foo bar", "blah foo baz"]
remove_patient_data(my_documents, "foo")

会回来的

'blah foo blah\nblah bar\nblah baz\n'