目录

前言

昨晚写了个小爬虫,简单分析下发现可以修改请求的url,直接获取所有目标的数据。想先打印在控制台看看,发现打印的数据不全,一开始还以为被反爬虫了,获取的数据本身不全,后来将数据直接保存JSON文件(3兆多大小),用Ubuntu文档编辑器打不开(直接卡死),用vim打开发现数据完整(说明爬虫获取的数据本身没毛病),再在Pycharm用Python打开发现提示文件过大,打印在控制台也还是显示不全。

正文

原来Pycharm IDEA对能关联的文件大小做了限制,主要是为了保护内存,默认值为2500kb,这对爬虫用户来说相当不友好,但时安装软件的时候也不提醒下?

在Pycharm菜单找到Edit Custom Properties…

追加以下字段

idea.max.intellisense.filesize = 20000
idea.max.content.load.filesize = 20000
idea.cycle.buffer.size = 20000

其中20000代表限制大小为20000kb(暂时够用),可自行修改

重启Pycharm

以上就是Pycharm打印大数据文件显示不全的解决方法的详细内容,更多关于Pycharm打印数据显示不全的资料请关注脚本之家其它相关文章!

您可能感兴趣的文章:

声明:本站(华域联盟www.cnhackhy.com)所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。