Tips——一些有用的tips总结

Posted on

本文对一些程序员日常可能用到的小tips进行总结和记录

海量字符串的合并

问题描述

  • 将大量的(现实遇到的是18W+级别的句子,句子长度平均在100个字符以上)字符串需要合并为一个字符串

  • 如果直接迭代并使用下面的语句合并,花费很多时间,随着字符串的增大,合并速度越来越慢

    1
    2
    all_texts += " %s" % text
    all_texts = "%s %s" % (all_text, text)

  • 现实生活中发现到了5000个字符串以上时速度变得极慢

解决方案

  • 分批次合并,将词语分批次分别合并为一个比较小的,最后再合并到一起
    • 实际中我按照2000个句子一份合并完成,再最终合并,速度提升了非常多