亚洲免费日韩无码系列,亚洲乱码日产精品一二三,亚洲精品乱码久久久久久下载

nianzai — Fri, 14 Sep 2012 09:08:00 GMT

摘要: 本隐马可�?HMM)中文分词词性标注程�?中的隐马可夫(HMM)概率模型是由 PFR人民日报标注语料199801语料�?生成Code highlighting produced by Actipro CodeHighlighter (freeware)http://www.CodeHighlighter.com/-->public class HMM{ ... 阅读全文

nianzai 2012-09-14 17:08 发表评论

nianzai — Fri, 31 Aug 2012 02:12:00 GMT

摘要: 最大概率分词程序，在所有可能分词�\径中选择概率最大的一条�\径最为分词结果Code highlighting produced by Actipro CodeHighlighter (freeware)http://www.CodeHighlighter.com/-->public class MPM extends M{ &... 阅读全文

nianzai 2012-08-31 10:12 发表评论

nianzai — Fri, 24 Aug 2012 06:57:00 GMT

最短�\径分词法

public class SPM2 extends M
{
    public static final HashMap<Character,TreeNode> dic = Dictionary.loadFreqDictionary("sogou.txt");

    /**
     * @return �q�回可能匚w��词的长度, 没有扑ֈ��q�回 0.
     */
    public ArrayList<Integer> maxMatch(TreeNode node,char[] sen, int offset)
    {
        ArrayList<Integer> list=new ArrayList<Integer>();
        for(int i=offset; i<sen.length; i++)
        {
            node = node.subNode(sen[i]);
            if(node != null)
            {
                if(node.isAlsoLeaf())
                    list.add(i+1);
            }
            else
                break;
        }
        return list;
    }

    @Override
    public ArrayList<Token> getToken(ArrayList<Sentence> list)
    {
        ArrayList<Token> tokenlist=new ArrayList<Token>();
        for(Sentence sen:list)
        {
            AdjList g = new AdjList(sen.getText().length+1);//存储所有被切分的可能的�?/span>
            int i=0;
            while(i<sen.getText().length)
            {
                Token token = new Token(new String(sen.getText(),i,1),i,i+1);
                token.setWeight(1);
                g.addEdge(token);

                TreeNode n=dic.get(sen.getText()[i]);
                if(n!=null)
                {
                    ArrayList<Integer> ilist =maxMatch(n, sen.getText(),i);
                    if(ilist.size()>0)
                        for(int j=0;j<ilist.size();j++)
                        {
                            token = new Token(new String(sen.getText(),i,ilist.get(j)-i),i,ilist.get(j));
                            token.setWeight(1);
                            g.addEdge(token);
                        }
                }
                i++;
            }
            //System.out.println(g);
            ArrayList<Integer> ret=maxProb(g);
            Collections.reverse(ret);
            int first=0;
            for(Integer last:ret)
            {
                Token token = new Token(new String(sen.getText(),first,last-first),sen.getStartOffset()+first,sen.getStartOffset()+last);
                tokenlist.add(token);
                first=last;
            }
        }
        return tokenlist;
    }

    int[] prevNode;
    double[] prob;

    //计算��\径最短的数组
    public ArrayList<Integer> maxProb(AdjList g)
    {
        prevNode = new int[g.verticesNum]; //最佛_��p��?/span>
        prob = new double[g.verticesNum]; //节点路径
        prob[0] = 0;//节点0的初始�\径是0

        //按节�Ҏ��最佛_��?/span>
        for (int index = 1; index < g.verticesNum; index++)
            getBestPrev(g,index);//求出最佛_��?/span>

        ArrayList<Integer> ret = new ArrayList<Integer>();
        for(int i=(g.verticesNum-1);i>0;i=prevNode[i]) // 从右向左找最佛_��p��?/span>
            ret.add(i);
        return ret;
    }

    //计算节点i的最佛_��p��?/span>
    void getBestPrev(AdjList g,int i)
    {
        Iterator<Token> it = g.getPrev(i);//得到前驱词集合，从中挑选最佛_��词
        double maxProb = 1000;
        int maxNode = -1;

        while(it.hasNext())
        {
            Token itr = it.next();
            double nodeProb = prob[itr.getStart()]+itr.getWeight();//候选节点�\�?br />            //System.out.println(itr.getWord()+","+nodeProb);
              if (nodeProb < maxProb)//路径最短的��作最佛_��?/span>
              {
                  maxNode = itr.getStart();
                  maxProb = nodeProb;
              }
         }
        prob[i] = maxProb;//节点路径
        prevNode[i] = maxNode;//最佛_��p��?/span>
    }
}

nianzai 2012-08-24 14:57 发表评论

全切分分词程�?能实��C��英文数字混合分词

nianzai — Mon, 02 Jul 2012 06:17:00 GMT

全切分分词程序。中华�h民共和国切分�?{中华人民共和国|中华|华�h|人民|共和国}�?br />
能实��C��英文数字混合分词。比如能分出�q�样的词�Q�bb霜�?室、乐phone、touch4、mp3、T恤�?br />

public class FMW extends M
{
    public static final HashMap<Character,TreeNode> dic = Dictionary.getFmmdic();

    /**
     * @return �q�回可能匚w��词的长度, 没有扑ֈ��q�回 0.
     */
    public ArrayList<Integer> maxMatch(TreeNode node,char[] sen, int offset)
    {
        ArrayList<Integer> list=new ArrayList<Integer>();
        for(int i=offset; i<sen.length; i++)
        {
            node = node.subNode(sen[i]);
            if(node != null)
            {
                if(node.isAlsoLeaf())
                    list.add(i+1);
            }
            else
                break;
        }
        if(list.size()==0)
            list.add(offset);
        return list;
    }

    public ArrayList<Token> getToken(ArrayList<Sentence> list)
    {
        ArrayList<Token> tokenlist=new ArrayList<Token>();
        for(Sentence sen:list)
        {
            int i=0;
            while(i<sen.getText().length)
            {
                TreeNode n=dic.get(sen.getText()[i]);
                if(n!=null)
                {
                    ArrayList<Integer> ilist =maxMatch(n, sen.getText(),i);
                    if(ilist.size()>1)
                    {
                        for(int j=0;j<ilist.size();j++)
                        {
                            Token token = new Token(new String(sen.getText(),i,ilist.get(j)-i),sen.getStartOffset()+i,sen.getStartOffset()+ilist.get(j));
                            tokenlist.add(token);
                        }
                    }
                    else
                    {
                        if(ilist.get(0)>i)
                        {
                            Token token = new Token(new String(sen.getText(),i,ilist.get(0)-i),sen.getStartOffset()+i,sen.getStartOffset()+ilist.get(0));
                            tokenlist.add(token);
                        }
                        else
                        {
                            if(tokenlist.size()==0 || tokenlist.get(tokenlist.size()-1).getEnd()<=i+sen.getStartOffset())
                            {
                                Token token = new Token(new String(sen.getText(),i,1),sen.getStartOffset()+i,sen.getStartOffset()+i+1);
                                tokenlist.add(token);
                            }
                        }
                    }
                }
                else
                {
                    if(tokenlist.size()==0 || tokenlist.get(tokenlist.size()-1).getEnd()<=i+sen.getStartOffset())
                    {
                        Token token = new Token(new String(sen.getText(),i,1),sen.getStartOffset()+i,sen.getStartOffset()+i+1);
                        tokenlist.add(token);
                    }
                }
                i++;
            }
        }
        return tokenlist;
    }
}

nianzai 2012-07-02 14:17 发表评论

逆向最大匹配分词程序，能实��C��英文数字混合分词 (�W�二�?

nianzai — Fri, 29 Jun 2012 09:29:00 GMT

推翻了第一版，参考了其他分词�E�序�Q�重新写的第二版�?/p>

逆向最大匹配中文分词程序，能实��C��英文数字混合分词。比如能分出�q�样的词�Q�bb霜�?室、乐phone、touch4、mp3、T�?/p>

public class RMM2 extends M
{
    public static final HashMap<Character,TreeNode> dic = Dictionary.getRmmdic();

    /**
     * @return �q�回匚w��最长词的长�? 没有扑ֈ��q�回 0.
     */
    public int maxMatch(TreeNode node,char[] sen, int offset)
    {
        int idx = offset;
        for(int i=offset; i>=0; i--)
        {
            node = node.subNode(sen[i]);
            if(node != null)
            {
                if(node.isAlsoLeaf())
                    idx = i;
            }
            else
                break;
        }
        return idx ;
    }

    public ArrayList<Token> getToken(ArrayList<Sentence> list)
    {
        Collections.reverse(list);
        ArrayList<Token> tokenlist=new ArrayList<Token>();
        for(Sentence sen:list)
        {
            int i=sen.getText().length-1;
            while(i>-1)
            {
                TreeNode n=dic.get(sen.getText()[i]);
                if(n!=null)
                {
                    int j=maxMatch(n, sen.getText(),i);
                    if(j<i)
                    {
                        Token token = new Token(new String(sen.getText(),j,i-j+1),sen.getStartOffset()+j,sen.getStartOffset()+i+1);
                        tokenlist.add(token);
                        i=j-1;
                    }
                    else
                    {
                        Token token = new Token(new String(sen.getText(),i,1),sen.getStartOffset()+i,sen.getStartOffset()+i+1);
                        tokenlist.add(token);
                        i--;
                    }
                }
                else
                {
                    Token token = new Token(new String(sen.getText(),i,1),sen.getStartOffset()+i,sen.getStartOffset()+i+1);
                    tokenlist.add(token);
                    i--;
                }
            }
        }
        Collections.reverse(tokenlist);
        return tokenlist;
    }
}

nianzai 2012-06-29 17:29 发表评论

正向最大匹配分词程序，能实��C��英文数字混合分词 (�W�二�?

nianzai — Wed, 27 Jun 2012 05:39:00 GMT

推翻了第一版，参考了其他分词�E�序�Q�重新写的第二版�?br />
正向最大匹配中文分词程序，能实��C��英文数字混合分词。比如能分出�q�样的词�Q�bb霜�?室、乐phone、touch4、mp3、T�?br />

public class FMM2 extends Seg
{
    public static final HashMap<Character,TreeNode> dic = Dictionary.getFmmdic();

    /**
     * @return �q�回匚w��最长词的长�? 没有扑ֈ��q�回 0.
     */
    public static int maxMatch(TreeNode node,char[] sen, int offset)
    {
        int idx = offset - 1;
        for(int i=offset; i<sen.length; i++)
        {
            node = node.subNode(sen[i]);
            if(node != null)
            {
                if(node.isAlsoLeaf())
                    idx = i;
            }
            else
                break;
        }
        return idx + 1;
    }

    public ArrayList<Token> getToken(ArrayList<Sentence> list)
    {
        ArrayList<Token> tokenlist=new ArrayList<Token>();
        for(Sentence sen:list)
        {
            int i=0;
            while(i<sen.getText().length)
            {
                TreeNode n=FMM2.dic.get(sen.getText()[i]);
                if(n!=null)
                {
                    int j=FMM2.maxMatch(n, sen.getText(),i);
                    if(j>i)
                    {
                        Token token = new Token(new String(sen.getText(),i,j-i),sen.getStartOffset()+i,sen.getStartOffset()+j);
                        tokenlist.add(token);
                        i=j;
                    }
                    else
                    {
                        Token token = new Token(new String(sen.getText(),i,1),sen.getStartOffset()+i,sen.getStartOffset()+i+1);
                        tokenlist.add(token);
                        i++;
                    }
                }
                else
                {
                    Token token = new Token(new String(sen.getText(),i,1),sen.getStartOffset()+i,sen.getStartOffset()+i+1);
                    tokenlist.add(token);
                    i++;
                }
            }
        }
        return tokenlist;
    }
}

nianzai 2012-06-27 13:39 发表评论

��Z��词典的逆向最大匹配中文分词算法，逆向分词比正向分词效果好

nianzai — Fri, 19 Aug 2011 05:22:00 GMT

摘要: ��Z��词典的逆向最大匹配中文分词算法，能实��C��英文数字混合分词。比如能分出�q�样的词�Q�bb霜�?室、乐phone、touch4、mp3、T恤。实际分词效果比正向分词效果�?查看�W?版：逆向最大匹配分词程序，能实��C��英文数字混合分词 (�W�二�? Code highlighting produced by Actipro CodeHighlighter (freeware) http://w... 阅读全文

nianzai 2011-08-19 13:22 发表评论

��Z��词典的正向最大匹配中文分词算法，能实��C��英文数字混合分词

nianzai — Thu, 04 Aug 2011 07:31:00 GMT

摘要: ��Z��词典的正向最大匹配中文分词算法，能实��C��英文数字混合分词。比如能分出�q�样的词�Q�bb霜�?室、乐phone、touch4、mp3、T恤第一�ơ写中文分词�E�序�Q�欢�q�拍砖。查看第2版：正向最大匹配分词程序，能实��C��英文数字混合分词 (�W�二�? Code highlighting produced by Actipro CodeHighlighter (freeware)http://www.Code... 阅读全文

nianzai 2011-08-04 15:31 发表评论