Tips——一些有用的tips总结

本文对一些程序员日常可能用到的小 tips 进行总结和记录

海量字符串的合并

问题描述

  • 将大量的(现实遇到的是 18W+ 级别的句子,句子长度平均在 100 个字符以上)字符串需要合并为一个字符串

  • 如果直接迭代并使用下面的语句合并,花费很多时间,随着字符串的增大,合并速度越来越慢

    1
    2
    all_texts += " %s" % text
    all_texts = "%s %s" % (all_text, text)

  • 现实生活中发现到了 5000 个字符串以上时速度变得极慢

解决方案

  • 分批次合并：将词语分批次分别合并为一个比较小的，最后再合并到一起
  • 实际中我按照 2000 个句子一份合并完成，再最终合并，速度提升了非常多

Emoji 搜索网址