pandas.read_csv——分块读取大文件

论坛 期权论坛 编程之家     
选择匿名的用户   2021-6-2 15:43   94   0
import pandas as pd

all_cont = pd.Series()
df3 = pd.read_csv('THS.csv', error_bad_lines=False, chunksize=1000000)
m = 0
for i in df3:
    all_cont = pd.concat([all_cont, i['content']])
    m = m+1
    print(m)



分享到 :
0 人收藏
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

积分:3875789
帖子:775174
精华:0
期权论坛 期权论坛
发布
内容

下载期权论坛手机APP