Big Data and Machine Learning

数据挖掘学习笔记：分类、统计学习

Posted on 01/13/201406/23/2019 by 四火

ICDM（国际数据挖掘大会）2006 年从 18 种提名的数据挖掘算法中投票选出了十大算法。这 18 中提名数据挖掘算法分属 10 大数据挖掘主题，蓝色部分即为最终选出的十大算法：

分类（Classification）
- C4.5
- CART
- K Nearest Neighbours
- Naive Bayes
统计学习（Statistical Learning）
- SVM
- EM
关联分析（Association Analysis）
- Apriori
- FP-Tree
链接挖掘（Link Mining）
- PageRank
- HITS
聚类（Clustering）
- K-Means
- BIRC

[……]阅读全文

笔记：Gamma 分布的转化

Posted on 06/10/201306/23/2019 by 四火

Gamma 分布

α 和β 均大于零，且令λ=1/β，假设 X 的密度满足：

就说 X 是服从参数为 (β,α) 的 Gamma 分布，记为Γ(β,α)。Gamma 分布的两个参数中，第一个β 决定了形状 (shape)，第二个参数α 决定了尺度 (scale)。

右上图中的 k 即是α，θ 即是β；期望 E=β/α，方差 D=β/(α*α)。曲线有一个峰，左右不对称。在α 比较大时，曲线接近于正态分布。

[……]阅读全文

使用一款搜索引擎，我们希望搜索结果能够拥有最佳的排序，Google 为它最核心的排序算法 PageRank 申请了专利。在 PageRank 以前，排序大多依靠对搜索关键字和目标页的匹配度来进行的，这种排序方式弊端明显，尤其对于善于堆砌关键字舞弊的页面，很容易就跳到了搜索结果的首页。Larry Page 和 Sergey Brin 开始着手解决这个问题，Google 排序的继承来自于互联网上网页之间的链接关系。一张网页被其它网页引用的次数越多，可以简单地认为这样的网页越受欢迎，当然在结果列表中应该越靠前。