亚洲精品第一国产综合野,一区二区亚洲精品精华液,久久精品亚洲AV久久久无码

基数估计

changedi — Tue, 12 Nov 2013 02:10:00 GMT

问题的背景是在大数据冲击下，很多数据指标�Q�尤其是涉及(qi��ng)到去重的�Q�的计算无法在合理的�I�间和时间内完成�Q�比如uv的计��，数学原型问题�{��h(hu��n)于持�l�的向一个集合中写数�Q�重复的不记�Q�要求最�l�给出集合中不重复的元素的个敎ͼ�集合的势�Q�。而比较暴力的做法是随着数字增多不断的扩展集合的大小�Q�让它放下所有的敎ͼ�最�l�数�?gu��)��个个数就O(ji��n)K。显然这��L(f��ng)��I�间复杂度在单机下是做不到的�Q�所以多数做法是利用分布式原理将uv数据隔离��C��同的计算节点�Q�每个计��节点自行维护一个类��D��L(f��ng)��集合�Q�wdm实时里的布隆�q��o(h��)器）(j��)�Q�然后分而治之，最后merge��Z��份结果数据�?

基数估计的初衷就是�ؓ(f��)�?ji��n)解军_��大数据的前提下，如何以低成本的空间复杂度去计��超大集合的势的问题�Q�换句话��_(d��)��通过基数估计�Q�单机做到计��亿�U�别uv�Q�误差在4%以内。解��x(ch��ng)��\主要是概率估计，具体原理和做法参�?blog和论文原文�?

��Z��实验的目的，我简单实��C��(ji��n)暴力做法bruteforce-bf�Q�布隆过滤器-bbf�Q�loglog-llc和hyperloglog-hllc四个��法�Q�比较一下基��C��计这个计��去重指标的逻辑是否可行�Q�llc非常��谱�Q�可能是我分桶数没有调整好，��׃��贴出�l�果�?ji��n)�?j��)�?

预处理方法：(x��)1-N生成随机uid�Q�模拟N�ơ（均匀分布�Q�，jvm启动-Xmx1024m�?

实验�l�果�Q?

附加说明一下，期望值如何计��：(x��)其实�q�个实验的数学原型就是一个长度�ؓ(f��)k的均匀分布的（1-N)的随机数列，求不重复的元素个数的期望。我实验里k=n�Q�这是一�U�极端情况（实验设计�U��ؓ(f��)方便计算�Q�如果k较大�?x��)导致计��超慢，uv5000w时根本无法计��出来，增大k理论上会(x��)提高�_�ֺ��Q�我实验�q�的一�l�数据是100w uv 500wpv�?hllc的值是991234�Q�误�?lt;1%�Q�，理论上k相当于pv�Q�在递推公式中k��于无穷时期望等于n�?

�q�个递推的计��可以通过�l�合分析推导�Q�推导方法不详说�?ji��n)（当然我有可能推导错�?ji��n)~~数学功底实在不行�?ji��n)�?j��)�Q�通项公式见matlab代码�?

syms e n;
e = n-(1/n)*((1-2*n+n*n)*((n-1)/n)^(n-2)+(1-n)*n+n*(n-1));

vpa(subs(e,'n',1000000),10)

另外�Q�我个�h认�ؓ(f��)分布式布隆过滤器的方案是非常好的�Q�因为空间和旉��都比较均衡，且精��度高，基数估计的方法本质上�I�间复杂度O(1)�Q�时间复杂度代码高效一点也可以非常快，但是�~�点是精��度�E�微?hu��)Ơ缺�Q�且不易分布式计��（因�ؓ(f��)它天生适合单进�E�，llc分桶均衡也是单进�E�做比较好，分布式完全是牛刀杀鸡）(j��)�?

ref blog: http://blog.codinglabs.org/articles/cardinality-estimate-exper.html#ref4

��法实现的java代码可见github�Q?https://github.com/changedi/card-estimate

changedi 2013-11-12 10:10 发表评论

Commons Math学习(f��n)�W�记——聚�c�d��回归

changedi — Sat, 01 Jan 2011 10:35:00 GMT

摘要: 聚类可以见我以前写过的聚�c�d��析的文章�?

回归是一个统计中非常重要的概念了(ji��n)。在Commons Math库中有一个regression的子包�{么实��C��(ji��n)�U�性回归的一些基本类型。在regression包中�Q�有个基本接口就是MultipleLinearRegression�Q�这个接口表达y=X*b+u�q�样的基本线性回归式。线性回归是利用�U�Cؓ(f��)�U�性回归方�E�的最��二乘函数对一个或多个自变量和因变量之间关�p�进行徏模的一�U�回归分析。简单看�q�个公式�Q�y代表�?ji��n)一个n�l�的列向量（回归子）(j��)�Q�X代表�?ji��n)[n,k]大小的观��值矩阵（回归量）(j��)�Q�b是k�l�的回归参数�Q�u是一个n�l�的剩余误差。回归分析干什么用的？具体讲就是预��。我们在数据挖掘?sh��)��定义，定性的分析叫做分类�Q�而定量的分析叫做回归。回归就是根据已有的观察值去预测未来的一个定量的指标。记得前一�D�阿里云到学院来做技术交��，讲到阉K��和淘宝通过数据分析对中国商品交易（�q�是具体什么��N易，忘记�?ji��n)，��尬�Q�的预测��是工程师做的一个简单的�U�性回归分析，模型虽然��单，但是后来与实际数据一比较�Q�预��g��实际值的曲线基本��d��?

阅读全文

changedi 2011-01-01 18:35 发表评论

Commons Math学习(f��n)�W�记——随机生成和�l�计初步

changedi — Sat, 01 Jan 2011 10:30:00 GMT

摘要: 概率�l�计最基本的前提就是有数据�Q�而我们做模拟或者测试时��M��(x��)用到大量的随机数据。我们知道绝对的随机是做不到的，但是可以利用��法来实��C��随机数的生成。Commons Math库提供了(ji��n)一个random的包�Q�其中定义实��C��(ji��n)很多可以用来生成随机数的�c�d��接口。random包中定义�?个接口，分别是EmpiricalDistribution、NormalizedRandomGenerator、RandomData、RandomGenerator和RandomVectorGenerator�?nbsp; 阅读全文

changedi 2011-01-01 18:30 发表评论

Commons Math学习(f��n)�W�记——分数和复数

changedi — Mon, 27 Dec 2010 14:00:00 GMT

摘要: 我们讲到数学的计��，隑օ��?x��)遇到分数�Ş式，因��?f��)实数的定义就是可以表�C�Zؓ(f��)一个分数的形式的数�Q�而加入虚数的复数也是偶尔�?x��)遇到的。Commons Math包中的fraction和complex包就分别提供�?ji��n)方法来表示�q�两�U�数�?

阅读全文

changedi 2010-12-27 22:00 发表评论

changedi — Thu, 23 Dec 2010 12:03:00 GMT

摘要: 概率分布是概率论的一个基��?

在Commons Math包中也专门有一个子包对概率分布�q�行�?ji��n)封装实现。在distribution包中�Q�定义了(ji��n)一个基本接口Distribution。该接口只有两个�Ҏ(gu��)��Q�一个是double cumulativeProbability(double x)�Q�一个是double cumulativeProbability(double x0, double x1)。前者对于服从某�U�分布的随机变量X�Q�返回P(X<=x)�Q�后者则�q�回P(x0<=X<=x1)。正如其名所�C�，�q�样也就得到�?ji��n)概率�?

阅读全文

changedi 2010-12-23 20:03 发表评论

changedi — Tue, 21 Dec 2010 09:18:00 GMT

摘要: 函数方程求解�Q�其实是函数的零炚w��题，也就是说函数的曲�U�与X轴的交点。对于线性方�E�，我们可以��L��的求解，对于�U�性方�E�组�Q�利用前面讲�q�的的矩阵分解方法也可以求解。那么对于函数表辄��很多非线性方�E�的求解。我们要依赖数值算法。Commons Math包中专门有一个analysis.solver包来解决�q�个问题�?

阅读全文

changedi 2010-12-21 17:18 发表评论

changedi — Sun, 19 Dec 2010 13:27:00 GMT

摘要: �U�分可以说是最常见的了(ji��n)�Q�在函数的一节中我们讲过函数的微分和�l�定变量求��|��q�里我们讲讲通过函数求积分，具体的数值积分方法和应用。什么是数值积分？在数值分析中�Q�数值积分是计算定积分数值的�Ҏ(gu��)��和理论。在数学分析中，�l�定函数的定�U�分的计��不��L��可行的。许多定�U�分不能用已知的�U�分公式得到�_��倹{��数值积分是利用黎曼�U�分�{�数学定义，用数值��D��的方法近��D��给定的定积分倹{��借助于电(sh��)子计��设备，数值积分可以快速而有效地计算复杂的积分。Commons Math中的�U�分包analysis.integration提供�?ji��n)几�U�数值积分的实现�Q�UnivariateRealIntegrator接口是积分包中的基础接口�Q�该接口�l�承�?ji��n)math包中的ConvergingAlgorithm接口。具体定义了(ji��n)一�p�d��Ҏ(gu��)��Q�其中比较主要的有double integrate(UnivariateRealFunction f, double min, double max)�Ҏ(gu��)��Q�这个方法就是通过min和max讑֮��U�分区间�Q�通过f讑֮�被积函数�Q�最后返回定�U�分值的�Ҏ(gu��)��。可以看到这个接口的实现是针对单变量实函数的。多元积分的实现�Q�目前还没有�?nbsp; 阅读全文

changedi 2010-12-19 21:27 发表评论

Commons Math学习(f��n)�W�记——函数插�?

changedi — Thu, 16 Dec 2010 14:30:00 GMT

摘要: 在Commons Math中的analysis.interpolation包中有所有的与函数插值相关的�c�d��接口定义。这一��主要从�q�个包分析，来研�I�一下函数插值的应用。在2.1的api doc中添加了(ji��n)很多新的接口和类实现�Q�但�?.0的source code里还是只有少量的实现。这里以2.0的source code为标准，辅助�?.1的api doc�Q�其实这都是不媄(ji��ng)响的�Q��?

插值是数学领域数值分析中的通过已知的离散数据求未知数据的过�E�或�Ҏ(gu��)��。给定n个离散数据点�Q�称��点）(j��)(xk,yk)�Q�k= 1,2,...,n。对于，求x所对应的y的值称为内插。f(x)为定义在区间[a,b]上的函数。x1,x2,x3...xn为[a,b]上n个互不相同的点，G为给定的某意函数�c�R��若G上有函数g(x)满��Q?g(xi) = f(xi),k = 1,2,...n

则称g(x)为f(x)关于节点x1,x2,x3...xn在G上的插值函�?

阅读全文

changedi 2010-12-16 22:30 发表评论

Commons Math学习(f��n)�W�记——多��式函数

changedi — Wed, 15 Dec 2010 02:48:00 GMT

摘要: 在Commons Math中的analysis.polynomials包中有所有的与多��式函数相关的类和接口定义。这一��主要从�q�个包分析，来研�I�一下多��式函数的应用�?

阅读全文

changedi 2010-12-15 10:48 发表评论

changedi — Tue, 14 Dec 2010 11:39:00 GMT

摘要: 向量和矩阵可以说是线性代数的代表�Q�那么返�q�到高等数学中，函数��是我们最常用到的单位�?ji��n)，�q�有各种微积分和其他应用�Q�都是徏立在变量、函数的基础上的。Commons Math库的下一个研读部分就是针对函数这一块。在Commons Math中也单独有一个analysis包完成这部分实现�?

阅读全文

changedi 2010-12-14 19:39 发表评论

changedi — Mon, 13 Dec 2010 01:39:00 GMT

摘要: 补充上一�ơ的矩阵知识�Q�这�ơ主要讲讲矩�늚�一些分解运��——Matrix Decomposition�Q?

矩阵分解主要有三�U�方式：(x��)LU分解�Q�QR分解和奇异值分解。当然在Math的linear包中提供�?ji��n)对应的接口有CholeskyDecomposition、EigenDecomposition、LUDecomposition、QRDecomposition和SingularValueDecomposition�q?�U�分解方式�?

阅读全文

changedi 2010-12-13 09:39 发表评论

Commons Math学习(f��n)�W�记——矩�?

changedi — Sat, 11 Dec 2010 13:12:00 GMT

摘要: 今天来第二篇�Q�矩阵——Matrix�?

Math包org.apache.commons.math.linear里对矩阵的表�C�是有一个层�ơ结构的�?

最��层的AnyMatrix是一个基本的interface。下面有3个sub interface�Q�BigMatrix, FieldMatrix, RealMatrix。而每个sub interface分别被相应的矩阵�c�d��现。整个矩�늚�层次�l�构也就出来�?ji��n)。不�q�其中的BigMatrix已经不用�?ji��n)。被Array2DRowFieldMatrix替代�?ji��n)�?

阅读全文

changedi 2010-12-11 21:12 发表评论

Commons Math学习(f��n)�W�记——向�?

changedi — Fri, 10 Dec 2010 09:46:00 GMT

目录选择�?/span>

今天先写�W�一��：(x��)向量—�?/span>vector�?/span>

Vector�?/span>org.apache.commons.math.linear�?/span>FieldVector�?/span>AbstractRealVector, ArrayRealVector

中，可以看到ArrayRealVector的，�?/span>2.0�q�是直接实现�?/span>RealVector。可见代码的变化�?/span>doc中说明了(ji��n)AbstractRealVector的，而且ArrayRealVector的。呵呵，一个不一致。其实是update date向量�q�个概念是线性代数的基础�?/span>RealVector的实现时��Z��数组�c�d��的�?/span>RealVector�?/span>

�Q�就像原来的api”�?/span>

操作�?/span>map***toself是返回新的实例的�Q��?/span>map***toself的实玎ͼ�(x��)

1public RealVector mapAdd(double d) {
2        double[] out = new double[data.length];
3        for (int i = 0; i < data.length; i++) {
4            out[i] = data[i] + d;
5        }
6        return new ArrayRealVector(out);
7}
8

�?/span>mapAddToSelf()的实玎ͼ�(x��)

1public RealVector mapAddToSelf(double d) {
2        for (int i = 0; i < data.length; i++) {
3            data[i] = data[i] + d;
4        }
5        return this;
6}
7

new ArrayRealVector�?/span>

1/** *//**
2 *
3 */
4package algorithm.math;
5
6import org.apache.commons.math.linear.ArrayRealVector;
7import org.apache.commons.math.linear.RealVector;
8
9/** *//**
10 * @author Jia Yu
11 * @date 2010-11-18
12 */
13public class VectorTest {
14
15    /** *//**
16     * @param args
17     */
18    public static void main(String[] args) {
19        // TODO Auto-generated method stub
20        vector();
21    }
22
23    private static void vector() {
24        // TODO Auto-generated method stub
25        double[] vec1 = { 1d, 2d, 3d };
26        double[] vec2 = { 4d, 5d, 6d };
27        ArrayRealVector v1 = new ArrayRealVector(vec1);
28        ArrayRealVector v2 = new ArrayRealVector(vec2);
29
30        // output directly
31        System.out.println("v1 is " + v1);
32        // dimension : size of vector
33        System.out.println("size is " + v1.getDimension());
34        // vector add
35        System.out.println("v1 + v2 = " + v1.add(v2));
36        System.out.println("v1 + v2 = " + v1.add(vec2));
37        // vector substract
38        System.out.println("v1 - v2 = " + v1.subtract(v2));
39        // vector element by element multiply
40        System.out.println("v1 * v2 = " + v1.ebeMultiply(v2));
41        // vector element by element divide
42        System.out.println("v1 / v2 = " + v1.ebeDivide(v2));
43        // get index at 1
44        System.out.println("v1[1] = " + v1.getEntry(1));
45        // vector append
46        RealVector t_vec = v1.append(v2);
47        System.out.println("v1 append v2 is " + t_vec);
48        // vector distance
49        System.out.println("distance between v1 and v2 is "
50                + v1.getDistance(v2));
51        System.out.println("L1 distance between v1 and v2 is "
52                + v1.getL1Distance(v2));
53        // vector norm
54        System.out.println("norm of v1 is " + v1.getNorm());
55        // vector dot product
56        System.out.println("dot product of v1 and v2 is " + v1.dotProduct(v2));
57        // vector outer product
58        System.out.println("outer product of v1 and v2 is "
59                + v1.outerProduct(v2));
60        // vector orthogonal projection
61        System.out.println("hogonal projection of v1 and v2 is "
62                + v1.projection(v2));
63        // vector map operations
64        System.out.println("Map the Math.abs(double) function to v1 is "
65                + v1.mapAbs());
66        v1.mapInvToSelf();
67        System.out.println("Map the 1/x function to v1 itself is " + v1);
68        // vector get sub vector
69        System.out.println("sub vector of v1 is " + v1.getSubVector(0, 2));
70    }
71
72}
73

对应的输出：(x��)
库�ؓ(f��)我们提供�?ji��n)这��h��便的向量表示�Q�在�?/span>Java当然所有的研究要以文��Z��Q�参看文档写代码�q�是必须做到的事情。所以，不要嫌麻�?ch��)，赶紧�?/span>api doccoding相关资料�Q?/span>

包：(x��)http://commons.apache.org/math/index.html

changedi 2010-12-10 17:46 发表评论

changedi — Fri, 10 Dec 2010 09:41:00 GMT

以前学习(f��n)�W�记的整理，没有完成的部分以后会(x��)更新�Q�每天放上来一点点~~

库的研究�Q�标准的名字应该�?/span>The Apache Commons Mathematics Library上网一查，没查到相关的学习(f��n)资料�Q�没办法�Q�自己对着代码一点点啃吧。正好打发闲散时光，�q�可以回��֤��?f��n)一些数学知识，其实一个主要原因是本�h本硕阶段均未学习(f��n)�q��Q何数值分析方面的评��Q�实在�?zh��n)�哀�Q�于是萌发了(ji��n)研究Math写数学代码的同学提供一点参考�?/span>

库的�l�构设计的）(j��)

Section 1 linear algebra 1�Q?nbsp;Vector 2�Q?nbsp;Matrix 3�Q?nbsp;Matrix Decomposition 数学分析�Q�函��Cؓ(f��)主）(j��)

1�Q?nbsp;Function 2�Q?nbsp;Polynomial 3�Q?nbsp;Interpolation 4�Q?nbsp;Integration 5�Q?nbsp;Solver 概率和统�?/span>

1distribution �Q?/span>fraction and complex �Q?/span>random and statistics cluster and regression聚类和回�?/span>

changedi 2010-12-10 17:41 发表评论