与TSVD的对比

  • 关于SVD的进一步了解可参考Math——奇异值分解-SVD
  • PCA与TSVD目标不同
  • TSVD奇异值与PCA分解得到的对角矩阵元素意义不同
    • PCA得到矩阵对角元素的是该维度的方差
    • TSVD得到的是某种重要的隐形意义(注意,不是方差)
  • PCA等价于下面两个步骤:
    • 对数据X中心化
    • 对数据做TSVD分解

与ICA的对比

  • ICA得到的变量满足独立性
  • PCA得到的变量满足不相关性
  • 独立与不相关的关系
    • 变量独立 \(=>\) 变量不相关
    • 变量不相关 \(\neq>\) 变量独立
    • 当变量是正态分布时:变量独立 \(<=>\) 变量不相关

本文对一些程序员日常可能用到的小 tips 进行总结和记录

海量字符串的合并

问题描述

  • 将大量的(现实遇到的是 18W+ 级别的句子,句子长度平均在 100 个字符以上)字符串需要合并为一个字符串

  • 如果直接迭代并使用下面的语句合并,花费很多时间,随着字符串的增大,合并速度越来越慢

    1
    2
    all_texts += " %s" % text
    all_texts = "%s %s" % (all_text, text)

  • 现实生活中发现到了 5000 个字符串以上时速度变得极慢

解决方案

  • 分批次合并：将词语分批次分别合并为一个比较小的，最后再合并到一起
  • 实际中我按照 2000 个句子一份合并完成，再最终合并，速度提升了非常多

Emoji 搜索网址