亚洲电影国产一区,亚洲精品国产精品国自产网站 ,国产成人精品亚洲2020

实践是最好的理解方式

nianzai — Sat, 27 Apr 2013 02:13:00 GMT

我学东西通常是通过动手的方式来学习�Q�比如最�q�学习分布式服务协议paxos,自己��动手开发了一个该协议的实现版本。如果不动手实现只是靠学习理论是很难理解�q�个理论的本�w�。理解它最好的方式��是实践它�?/p>

�Ҏ��理论或者原理就来做实现��实很难�Q�这需要很强的代码功底、极高的理解能力以及持久的耐心�?/p>

扎实的功底是一切的开始，没有扎实的功底就无法下手。没有很好的悟性就很难保证事情的正��性。没有良好的耐心��很难保证事情的�l�果。一�ơ性就能将事情做成做好的，�q�种人实在太��了。做成一件事情就是在无数的失败、错误中来接�q�成功，通过��p�|来纠正、从而一步一步的接近成功。这��注定了需要持久的耐心才能保证成功�?/p>

nianzai 2013-04-27 10:13 发表评论

分布式服务协议paxos仲裁实现代码

nianzai — Tue, 23 Apr 2013 05:19:00 GMT

1、提��向leader发出询问消息
2、leader向所有的QuorumPeer发出投票��h��
3、QuorumPeer对该��h��q�行投票�Q�如果消息的txid大于QuorumPeer的txid则通过该投��，否则反对该投��?br />4、leader�Ҏ��所有的QuorumPeer投票�l�果�q�行计算�Q�如果有一半以上的QuorumPeer通过则接受提��的��h��Q�否则拒�l�提��的��h��

        switch (message.getType())
        {
            case QuorumCode.ask://询问�c�d��
                //询问该事务是否可操作
                Ask task=new Ask(message,sc);
                My.executor.execute(task);
                m.setCode(JuiceCode.OK);
                break;
            case QuorumCode.vote://投票�c�d��
                if(My.txid>=message.getTxid())
                    //拒绝
                    m.setCode(JuiceCode.ERROR);
                else
                {
                    //通过
                    m.setCode(JuiceCode.OK);
                    My.updateMyTxid(message.getTxid());
                }
                break;
            case QuorumCode.ping://ping
                m.setCode(JuiceCode.OK);
                m.setMyid(message.getMyid());
                break;
        }

    public static boolean sendAndVote(Message m) throws IOException
    {
        m.setType(QuorumCode.vote);
        Map<Integer,Response> mp=new TreeMap<Integer,Response>();
        for(Map.Entry<Integer,NIOClient> entry:voteClientMap.entrySet())
        {
            NIOClient client=entry.getValue();
            Response response=client.send(ByteUtil.getBytes(m));
            mp.put(entry.getKey(), response);
        }

        Map<Integer,Message> vote=new TreeMap<Integer,Message>();
        for(Map.Entry<Integer,Response> entry:mp.entrySet())
            vote.put(entry.getKey(), (Message)ByteUtil.getObject(entry.getValue().getData()));

        int ok=0;
        for(Map.Entry<Integer,Message> entry:vote.entrySet())
        {
            Message f=entry.getValue();
            if(f.getCode()==JuiceCode.OK)
                ok++;
        }
        if(ok/(vote.size()*1.0)>1/2.0)
            return true;
        return false;
    }

nianzai 2013-04-23 13:19 发表评论

分布式服务协议paxos中leader选�D实现代码

nianzai — Wed, 17 Apr 2013 03:15:00 GMT

1、收集第一轮投��结�?br />2、统计投��数�Q�计��出投票数最大的id
3、如果投��数��过1/2则选该id为leader
4、如果最大投��数id没有��过1/2,则推荐txid最大的id为leader
5、计��出最大的txid及其服务器id
6、计��出最大的txid有几�?br />7、如果最大txid��过一个，则比较服务器id�Q�推荐服务id最大的为leader
8、发��L��二轮投票

Java实现代码如下�Q?br />

        /**
         * 选�Dleader
         * @param vote 投票信息
         * @return
         */
        public int forLeader(Map<Integer,Notification> vote)
        {
            //�l�计leader投票�?/span>
            TreeMap<Integer,Integer> tmap=new TreeMap<Integer,Integer>();
            for(Map.Entry<Integer,Notification> entry:vote.entrySet())
            {
                Notification nf=entry.getValue();
                if(tmap.containsKey(nf.leader))
                    tmap.put(nf.leader, tmap.get(nf.leader)+1);
                else
                    tmap.put(nf.leader, 1);
            }
            //计算出投��数最大的id
            int a=0;
            int l=0;
            for(Map.Entry<Integer,Integer> entry:tmap.entrySet())
            {
                if(entry.getValue()>a)
                {
                    a=entry.getValue();
                    l=entry.getKey();
                }
            }
            //如果投票数超�q?/2则选该id为leader
            if(a/(My.serverList.size()*1.0)>1/2.0)
            {
                //选出leader
                if(l==My.myid)
                    My.myServerState=ServerState.LEADING;
                else
                    My.myServerState=ServerState.FLLOWING;
                My.leader=l;

                return -1;
            }
            //如果最大投��数leader没有��过1/2,则推荐txid最大的id为leader
            //计算出最大的txid及其服务器id
            long txid=0;
            int leader=0;
            for(Map.Entry<Integer,Notification> entry:vote.entrySet())
            {
                if(entry.getValue().txid>txid)
                {
                    leader=entry.getKey();
                    txid=entry.getValue().txid;
                }
            }
            //计算出最大的txid有几�?/span>
            Map<Integer,Notification> vte=new TreeMap<Integer,Notification>();
            for(Map.Entry<Integer,Notification> entry:vote.entrySet())
            {
                if(entry.getValue().txid==txid)
                {
                    vte.put(entry.getValue().id, entry.getValue());
                }
            }
            //如果��过一个，则比较服务器id�Q�推荐服务id最大的为leader
            if(vte.size()>1)
            {
                for(Map.Entry<Integer,Notification> entry:vte.entrySet())
                {
                    if(entry.getValue().id>leader)
                        leader=entry.getKey();
                }
            }
            return leader;
        }
    }

nianzai 2013-04-17 11:15 发表评论

脚本、Ajax�|�页内容抓取工具(�W�二�?

nianzai — Sat, 29 Sep 2012 06:26:00 GMT

原理�Q�通过��览器去讉K��要抓取的Ajax、脚本网��地址�Q�通过��d��览器内存document来得到脚本执行以后的�|�页内容

在原有的基础上增�?自定义命令脚�?抓取功能。该功能能够通过用户自定义的脚本来实��C��|�页的交互，比如填写内容�Q�点�ȝ��上的提交按钮�?br />�q�样便能抓取需要提交的�|�页内容了，特别是需要提交的ajax�|�页�?br />

Ajax、脚本网��内�Ҏ��取工�?�W�二�? 点这下蝲

nianzai 2012-09-29 14:26 发表评论

nianzai — Fri, 14 Sep 2012 09:08:00 GMT

摘要: 本隐马可�?HMM)中文分词词性标注程�?中的隐马可夫(HMM)概率模型是由 PFR人民日报标注语料199801语料�?生成Code highlighting produced by Actipro CodeHighlighter (freeware)http://www.CodeHighlighter.com/-->public class HMM{ ... 阅读全文

nianzai 2012-09-14 17:08 发表评论

机器学习:Viterbi(�l�特�?实现�E�序

nianzai — Fri, 07 Sep 2012 08:43:00 GMT

wikipedia上有个java版的Viterbi(�l�特�?实现�E�序�Q?a >http://en.wikipedia.org/wiki/Viterbi_algorithm�Q�，但是3个观察序列会标注�?个状态序列�?br />下面本�h写的�q�个Viterbi(�l�特�?实现�E�序��没�q�个问题�Q?个观察序列就只标注出3个状态序列�?div style="padding: 4px 5px 4px 4px; border: 1px solid rgb(204, 204, 204); width: 98%; font-size: 13px; word-break: break-all; background-color: rgb(238, 238, 238);">public class Viterbi
{
    public static void main(String[] args)
    {
        String[] states = {"Rainy", "Sunny"};
        String[] observations = {"walk", "shop", "clean"};
        double[] start_probability = {0.6, 0.4};
        double[][] transition_probability = {{0.7, 0.3}, {0.4, 0.6}};
        double[][] emission_probability = {{0.1, 0.4, 0.5}, {0.6, 0.3, 0.1}};
        forward_viterbi(observations,states,start_probability,transition_probability,emission_probability);
    }

    public static void  forward_viterbi(String[] observations, String[] states,double[] start_probability, double[][] transition_probability, double[][] emission_probability)
    {
        int[][] path=new int[observations.length][states.length];
        double[][] r=new double[observations.length][states.length];
        for(int j=0;j<states.length;j++)
        {
            r[0][j]=start_probability[j]*emission_probability[j][0];
            path[0][j]=0;
        }

        for(int t=1;t<observations.length;t++)
        {
            for(int i=0;i<states.length;i++)
            {
                double tmp=0;int m=0;
                for(int j=0;j<states.length;j++)
                {
                    double tem=r[t-1][j]*transition_probability[j][i]*emission_probability[i][t];
                    if(tem>tmp)
                    {
                        tmp=tem;
                        m=j;
                    }
                }
                r[t][i]=tmp;
                path[t][i]=m;
            }
        }

        double p=0;int m=0;
        for(int i=0;i<r[0].length;i++)
        {
            if(r[r.length-1][i]>p)
            {
                p=r[r.length-1][i];
                m=i;
            }
        }

        System.out.println("p="+p);

        int[] trace=new int[observations.length];
        trace[observations.length-1]=m;
        for(int t=observations.length-1;t>0;t--)
        {
            trace[t-1]=path[t][m];
            m=path[t][m];
        }

        for(int i=0;i<trace.length;i++)
            System.out.println(states[trace[i]]);
    }
}�?br />

nianzai 2012-09-07 16:43 发表评论

nianzai — Fri, 31 Aug 2012 02:12:00 GMT

摘要: 最大概率分词程序，在所有可能分词�\径中选择概率最大的一条�\径最为分词结果Code highlighting produced by Actipro CodeHighlighter (freeware)http://www.CodeHighlighter.com/-->public class MPM extends M{ &... 阅读全文

nianzai 2012-08-31 10:12 发表评论

nianzai — Fri, 24 Aug 2012 06:57:00 GMT

最短�\径分词法

public class SPM2 extends M
{
    public static final HashMap<Character,TreeNode> dic = Dictionary.loadFreqDictionary("sogou.txt");

    /**
     * @return �q�回可能匚w��词的长度, 没有扑ֈ��q�回 0.
     */
    public ArrayList<Integer> maxMatch(TreeNode node,char[] sen, int offset)
    {
        ArrayList<Integer> list=new ArrayList<Integer>();
        for(int i=offset; i<sen.length; i++)
        {
            node = node.subNode(sen[i]);
            if(node != null)
            {
                if(node.isAlsoLeaf())
                    list.add(i+1);
            }
            else
                break;
        }
        return list;
    }

    @Override
    public ArrayList<Token> getToken(ArrayList<Sentence> list)
    {
        ArrayList<Token> tokenlist=new ArrayList<Token>();
        for(Sentence sen:list)
        {
            AdjList g = new AdjList(sen.getText().length+1);//存储所有被切分的可能的�?/span>
            int i=0;
            while(i<sen.getText().length)
            {
                Token token = new Token(new String(sen.getText(),i,1),i,i+1);
                token.setWeight(1);
                g.addEdge(token);

                TreeNode n=dic.get(sen.getText()[i]);
                if(n!=null)
                {
                    ArrayList<Integer> ilist =maxMatch(n, sen.getText(),i);
                    if(ilist.size()>0)
                        for(int j=0;j<ilist.size();j++)
                        {
                            token = new Token(new String(sen.getText(),i,ilist.get(j)-i),i,ilist.get(j));
                            token.setWeight(1);
                            g.addEdge(token);
                        }
                }
                i++;
            }
            //System.out.println(g);
            ArrayList<Integer> ret=maxProb(g);
            Collections.reverse(ret);
            int first=0;
            for(Integer last:ret)
            {
                Token token = new Token(new String(sen.getText(),first,last-first),sen.getStartOffset()+first,sen.getStartOffset()+last);
                tokenlist.add(token);
                first=last;
            }
        }
        return tokenlist;
    }

    int[] prevNode;
    double[] prob;

    //计算��\径最短的数组
    public ArrayList<Integer> maxProb(AdjList g)
    {
        prevNode = new int[g.verticesNum]; //最佛_��p��?/span>
        prob = new double[g.verticesNum]; //节点路径
        prob[0] = 0;//节点0的初始�\径是0

        //按节�Ҏ��最佛_��?/span>
        for (int index = 1; index < g.verticesNum; index++)
            getBestPrev(g,index);//求出最佛_��?/span>

        ArrayList<Integer> ret = new ArrayList<Integer>();
        for(int i=(g.verticesNum-1);i>0;i=prevNode[i]) // 从右向左找最佛_��p��?/span>
            ret.add(i);
        return ret;
    }

    //计算节点i的最佛_��p��?/span>
    void getBestPrev(AdjList g,int i)
    {
        Iterator<Token> it = g.getPrev(i);//得到前驱词集合，从中挑选最佛_��词
        double maxProb = 1000;
        int maxNode = -1;

        while(it.hasNext())
        {
            Token itr = it.next();
            double nodeProb = prob[itr.getStart()]+itr.getWeight();//候选节点�\�?br />            //System.out.println(itr.getWord()+","+nodeProb);
              if (nodeProb < maxProb)//路径最短的��作最佛_��?/span>
              {
                  maxNode = itr.getStart();
                  maxProb = nodeProb;
              }
         }
        prob[i] = maxProb;//节点路径
        prevNode[i] = maxNode;//最佛_��p��?/span>
    }
}

nianzai 2012-08-24 14:57 发表评论

全切分分词程�?能实��C��英文数字混合分词

nianzai — Mon, 02 Jul 2012 06:17:00 GMT

全切分分词程序。中华�h民共和国切分�?{中华人民共和国|中华|华�h|人民|共和国}�?br />
能实��C��英文数字混合分词。比如能分出�q�样的词�Q�bb霜�?室、乐phone、touch4、mp3、T恤�?br />

public class FMW extends M
{
    public static final HashMap<Character,TreeNode> dic = Dictionary.getFmmdic();

    /**
     * @return �q�回可能匚w��词的长度, 没有扑ֈ��q�回 0.
     */
    public ArrayList<Integer> maxMatch(TreeNode node,char[] sen, int offset)
    {
        ArrayList<Integer> list=new ArrayList<Integer>();
        for(int i=offset; i<sen.length; i++)
        {
            node = node.subNode(sen[i]);
            if(node != null)
            {
                if(node.isAlsoLeaf())
                    list.add(i+1);
            }
            else
                break;
        }
        if(list.size()==0)
            list.add(offset);
        return list;
    }

    public ArrayList<Token> getToken(ArrayList<Sentence> list)
    {
        ArrayList<Token> tokenlist=new ArrayList<Token>();
        for(Sentence sen:list)
        {
            int i=0;
            while(i<sen.getText().length)
            {
                TreeNode n=dic.get(sen.getText()[i]);
                if(n!=null)
                {
                    ArrayList<Integer> ilist =maxMatch(n, sen.getText(),i);
                    if(ilist.size()>1)
                    {
                        for(int j=0;j<ilist.size();j++)
                        {
                            Token token = new Token(new String(sen.getText(),i,ilist.get(j)-i),sen.getStartOffset()+i,sen.getStartOffset()+ilist.get(j));
                            tokenlist.add(token);
                        }
                    }
                    else
                    {
                        if(ilist.get(0)>i)
                        {
                            Token token = new Token(new String(sen.getText(),i,ilist.get(0)-i),sen.getStartOffset()+i,sen.getStartOffset()+ilist.get(0));
                            tokenlist.add(token);
                        }
                        else
                        {
                            if(tokenlist.size()==0 || tokenlist.get(tokenlist.size()-1).getEnd()<=i+sen.getStartOffset())
                            {
                                Token token = new Token(new String(sen.getText(),i,1),sen.getStartOffset()+i,sen.getStartOffset()+i+1);
                                tokenlist.add(token);
                            }
                        }
                    }
                }
                else
                {
                    if(tokenlist.size()==0 || tokenlist.get(tokenlist.size()-1).getEnd()<=i+sen.getStartOffset())
                    {
                        Token token = new Token(new String(sen.getText(),i,1),sen.getStartOffset()+i,sen.getStartOffset()+i+1);
                        tokenlist.add(token);
                    }
                }
                i++;
            }
        }
        return tokenlist;
    }
}

nianzai 2012-07-02 14:17 发表评论