2011年8月19日
摘要: Reactor 模式的 JAVA NIO 多線程服務(wù)器，這是比較完善的一版了。Java 的 NIO 網(wǎng)絡(luò)模型實(shí)在是不好用，還是使用現(xiàn)成的好。Code highlighting produced by Actipro CodeHighlighter (freeware)http://www.CodeHighlighter.com/-->public class NIOServer...
閱讀全文
posted @
2013-05-14 16:31 nianzai 閱讀(2726) |
評(píng)論 (1) |
編輯 收藏 我學(xué)東西通常是通過(guò)動(dòng)手的方式來(lái)學(xué)習(xí)，比如最近學(xué)習(xí)分布式服務(wù)協(xié)議paxos,自己就動(dòng)手開(kāi)發(fā)了一個(gè)該協(xié)議的實(shí)現(xiàn)版本。如果不動(dòng)手實(shí)現(xiàn)只是靠學(xué)習(xí)理論是很難理解這個(gè)理論的本身。理解它最好的方式就是實(shí)踐它。
根據(jù)理論或者原理就來(lái)做實(shí)現(xiàn)確實(shí)很難，這需要很強(qiáng)的代碼功底、極高的理解能力以及持久的耐心。
扎實(shí)的功底是一切的開(kāi)始，沒(méi)有扎實(shí)的功底就無(wú)法下手。沒(méi)有很好的悟性就很難保證事情的正確性。沒(méi)有良好的耐心就很難保證事情的結(jié)果。一次性就能將事情做成做好的，這種人實(shí)在太少了。做成一件事情就是在無(wú)數(shù)的失敗、錯(cuò)誤中來(lái)接近成功，通過(guò)失敗來(lái)糾正、從而一步一步的接近成功。這就注定了需要持久的耐心才能保證成功。
posted @
2013-04-27 10:13 nianzai 閱讀(1975) |
評(píng)論 (0) |
編輯 收藏
1、提出者向leader發(fā)出詢(xún)問(wèn)消息
2、leader向所有的QuorumPeer發(fā)出投票請(qǐng)求
3、QuorumPeer對(duì)該請(qǐng)求進(jìn)行投票，如果消息的txid大于QuorumPeer的txid則通過(guò)該投票，否則反對(duì)該投票
4、leader根據(jù)所有的QuorumPeer投票結(jié)果進(jìn)行計(jì)算，如果有一半以上的QuorumPeer通過(guò)則接受提出者的請(qǐng)求，否則拒絕提出者的請(qǐng)求
switch (message.getType())
{
case QuorumCode.ask://詢(xún)問(wèn)類(lèi)型
//詢(xún)問(wèn)該事務(wù)是否可操作
Ask task=new Ask(message,sc);
My.executor.execute(task);
m.setCode(JuiceCode.OK);
break;
case QuorumCode.vote://投票類(lèi)型
if(My.txid>=message.getTxid())
//拒絕
m.setCode(JuiceCode.ERROR);
else
{
//通過(guò)
m.setCode(JuiceCode.OK);
My.updateMyTxid(message.getTxid());
}
break;
case QuorumCode.ping://ping
m.setCode(JuiceCode.OK);
m.setMyid(message.getMyid());
break;
}
public static boolean sendAndVote(Message m) throws IOException
{
m.setType(QuorumCode.vote);
Map<Integer,Response> mp=new TreeMap<Integer,Response>();
for(Map.Entry<Integer,NIOClient> entry:voteClientMap.entrySet())
{
NIOClient client=entry.getValue();
Response response=client.send(ByteUtil.getBytes(m));
mp.put(entry.getKey(), response);
}
Map<Integer,Message> vote=new TreeMap<Integer,Message>();
for(Map.Entry<Integer,Response> entry:mp.entrySet())
vote.put(entry.getKey(), (Message)ByteUtil.getObject(entry.getValue().getData()));
int ok=0;
for(Map.Entry<Integer,Message> entry:vote.entrySet())
{
Message f=entry.getValue();
if(f.getCode()==JuiceCode.OK)
ok++;
}
if(ok/(vote.size()*1.0)>1/2.0)
return true;
return false;
}posted @
2013-04-23 13:19 nianzai 閱讀(1757) |
評(píng)論 (0) |
編輯 收藏1、收集第一輪投票結(jié)果
2、統(tǒng)計(jì)投票數(shù)，計(jì)算出投票數(shù)最大的id
3、如果投票數(shù)超過(guò)1/2則選該id為leader
4、如果最大投票數(shù)id沒(méi)有超過(guò)1/2,則推薦txid最大的id為leader
5、計(jì)算出最大的txid及其服務(wù)器id
6、計(jì)算出最大的txid有幾個(gè)
7、如果最大txid超過(guò)一個(gè)，則比較服務(wù)器id，推薦服務(wù)id最大的為leader
8、發(fā)起第二輪投票
Java實(shí)現(xiàn)代碼如下：
/** *//**
* 選舉leader
* @param vote 投票信息
* @return
*/
public int forLeader(Map<Integer,Notification> vote)
{
//統(tǒng)計(jì)leader投票數(shù)
TreeMap<Integer,Integer> tmap=new TreeMap<Integer,Integer>();
for(Map.Entry<Integer,Notification> entry:vote.entrySet())
{
Notification nf=entry.getValue();
if(tmap.containsKey(nf.leader))
tmap.put(nf.leader, tmap.get(nf.leader)+1);
else
tmap.put(nf.leader, 1);
}
//計(jì)算出投票數(shù)最大的id
int a=0;
int l=0;
for(Map.Entry<Integer,Integer> entry:tmap.entrySet())
{
if(entry.getValue()>a)
{
a=entry.getValue();
l=entry.getKey();
}
}
//如果投票數(shù)超過(guò)1/2則選該id為leader
if(a/(My.serverList.size()*1.0)>1/2.0)
{
//選出leader
if(l==My.myid)
My.myServerState=ServerState.LEADING;
else
My.myServerState=ServerState.FLLOWING;
My.leader=l;
return -1;
}
//如果最大投票數(shù)leader沒(méi)有超過(guò)1/2,則推薦txid最大的id為leader
//計(jì)算出最大的txid及其服務(wù)器id
long txid=0;
int leader=0;
for(Map.Entry<Integer,Notification> entry:vote.entrySet())
{
if(entry.getValue().txid>txid)
{
leader=entry.getKey();
txid=entry.getValue().txid;
}
}
//計(jì)算出最大的txid有幾個(gè)
Map<Integer,Notification> vte=new TreeMap<Integer,Notification>();
for(Map.Entry<Integer,Notification> entry:vote.entrySet())
{
if(entry.getValue().txid==txid)
{
vte.put(entry.getValue().id, entry.getValue());
}
}
//如果超過(guò)一個(gè)，則比較服務(wù)器id，推薦服務(wù)id最大的為leader
if(vte.size()>1)
{
for(Map.Entry<Integer,Notification> entry:vte.entrySet())
{
if(entry.getValue().id>leader)
leader=entry.getKey();
}
}
return leader;
}
}
posted @
2013-04-17 11:15 nianzai 閱讀(1880) |
評(píng)論 (0) |
編輯 收藏
原理：通過(guò)瀏覽器去訪問(wèn)要抓取的Ajax、腳本網(wǎng)頁(yè)地址，通過(guò)讀取瀏覽器內(nèi)存document來(lái)得到腳本執(zhí)行以后的網(wǎng)頁(yè)內(nèi)容
在原有的基礎(chǔ)上增加 自定義命令腳本 抓取功能。該功能能夠通過(guò)用戶(hù)自定義的腳本來(lái)實(shí)現(xiàn)與網(wǎng)頁(yè)的交互，比如填寫(xiě)內(nèi)容，點(diǎn)擊網(wǎng)頁(yè)上的提交按鈕。
這樣便能抓取需要提交的網(wǎng)頁(yè)內(nèi)容了，特別是需要提交的ajax網(wǎng)頁(yè)。
Ajax、腳本網(wǎng)頁(yè)內(nèi)容抓取工具(第二版)
點(diǎn)這下載
posted @
2012-09-29 14:26 nianzai 閱讀(1847) |
評(píng)論 (1) |
編輯 收藏
摘要: 本隱馬可夫(HMM)中文分詞詞性標(biāo)注程序 中的 隱馬可夫(HMM)概率模型 是由 PFR人民日?qǐng)?bào)標(biāo)注語(yǔ)料199801語(yǔ)料庫(kù) 生成Code highlighting produced by Actipro CodeHighlighter (freeware)http://www.CodeHighlighter.com/-->public class HMM{ ...
閱讀全文
posted @
2012-09-14 17:08 nianzai 閱讀(3862) |
評(píng)論 (0) |
編輯 收藏
wikipedia上有個(gè)java版的Viterbi(維特比)實(shí)現(xiàn)程序（
http://en.wikipedia.org/wiki/Viterbi_algorithm），但是3個(gè)觀察序列會(huì)標(biāo)注出4個(gè)狀態(tài)序列。
下面本人寫(xiě)的這個(gè)Viterbi(維特比)實(shí)現(xiàn)程序就沒(méi)這個(gè)問(wèn)題，3個(gè)觀察序列就只標(biāo)注出3個(gè)狀態(tài)序列。
public class Viterbi
{
public static void main(String[] args)
{
String[] states = {"Rainy", "Sunny"};
String[] observations = {"walk", "shop", "clean"};
double[] start_probability = {0.6, 0.4};
double[][] transition_probability = {{0.7, 0.3}, {0.4, 0.6}};
double[][] emission_probability = {{0.1, 0.4, 0.5}, {0.6, 0.3, 0.1}};
forward_viterbi(observations,states,start_probability,transition_probability,emission_probability);
}
public static void forward_viterbi(String[] observations, String[] states,double[] start_probability, double[][] transition_probability, double[][] emission_probability)
{
int[][] path=new int[observations.length][states.length];
double[][] r=new double[observations.length][states.length];
for(int j=0;j<states.length;j++)
{
r[0][j]=start_probability[j]*emission_probability[j][0];
path[0][j]=0;
}
for(int t=1;t<observations.length;t++)
{
for(int i=0;i<states.length;i++)
{
double tmp=0;int m=0;
for(int j=0;j<states.length;j++)
{
double tem=r[t-1][j]*transition_probability[j][i]*emission_probability[i][t];
if(tem>tmp)
{
tmp=tem;
m=j;
}
}
r[t][i]=tmp;
path[t][i]=m;
}
}
double p=0;int m=0;
for(int i=0;i<r[0].length;i++)
{
if(r[r.length-1][i]>p)
{
p=r[r.length-1][i];
m=i;
}
}
System.out.println("p="+p);
int[] trace=new int[observations.length];
trace[observations.length-1]=m;
for(int t=observations.length-1;t>0;t--)
{
trace[t-1]=path[t][m];
m=path[t][m];
}
for(int i=0;i<trace.length;i++)
System.out.println(states[trace[i]]);
}
} 。
posted @
2012-09-07 16:43 nianzai 閱讀(1987) |
評(píng)論 (0) |
編輯 收藏
摘要: 最大概率分詞程序，在所有可能分詞路徑中選擇概率最大的一條路徑最為分詞結(jié)果Code highlighting produced by Actipro CodeHighlighter (freeware)http://www.CodeHighlighter.com/-->public class MPM extends M{ &...
閱讀全文
posted @
2012-08-31 10:12 nianzai 閱讀(2447) |
評(píng)論 (0) |
編輯 收藏
最短路徑分詞法
public class SPM2 extends M
{
public static final HashMap<Character,TreeNode> dic = Dictionary.loadFreqDictionary("sogou.txt");
/** *//**
* @return 返回可能匹配詞的長(zhǎng)度, 沒(méi)有找到返回 0.
*/
public ArrayList<Integer> maxMatch(TreeNode node,char[] sen, int offset)
{
ArrayList<Integer> list=new ArrayList<Integer>();
for(int i=offset; i<sen.length; i++)
{
node = node.subNode(sen[i]);
if(node != null)
{
if(node.isAlsoLeaf())
list.add(i+1);
}
else
break;
}
return list;
}
@Override
public ArrayList<Token> getToken(ArrayList<Sentence> list)
{
ArrayList<Token> tokenlist=new ArrayList<Token>();
for(Sentence sen:list)
{
AdjList g = new AdjList(sen.getText().length+1);//存儲(chǔ)所有被切分的可能的詞
int i=0;
while(i<sen.getText().length)
{
Token token = new Token(new String(sen.getText(),i,1),i,i+1);
token.setWeight(1);
g.addEdge(token);
TreeNode n=dic.get(sen.getText()[i]);
if(n!=null)
{
ArrayList<Integer> ilist =maxMatch(n, sen.getText(),i);
if(ilist.size()>0)
for(int j=0;j<ilist.size();j++)
{
token = new Token(new String(sen.getText(),i,ilist.get(j)-i),i,ilist.get(j));
token.setWeight(1);
g.addEdge(token);
}
}
i++;
}
//System.out.println(g);
ArrayList<Integer> ret=maxProb(g);
Collections.reverse(ret);
int first=0;
for(Integer last:ret)
{
Token token = new Token(new String(sen.getText(),first,last-first),sen.getStartOffset()+first,sen.getStartOffset()+last);
tokenlist.add(token);
first=last;
}
}
return tokenlist;
}
int[] prevNode;
double[] prob;
//計(jì)算出路徑最短的數(shù)組
public ArrayList<Integer> maxProb(AdjList g)
{
prevNode = new int[g.verticesNum]; //最佳前驅(qū)節(jié)點(diǎn)
prob = new double[g.verticesNum]; //節(jié)點(diǎn)路徑
prob[0] = 0;//節(jié)點(diǎn)0的初始路徑是0
//按節(jié)點(diǎn)求最佳前驅(qū)
for (int index = 1; index < g.verticesNum; index++)
getBestPrev(g,index);//求出最佳前驅(qū)
ArrayList<Integer> ret = new ArrayList<Integer>();
for(int i=(g.verticesNum-1);i>0;i=prevNode[i]) // 從右向左找最佳前驅(qū)節(jié)點(diǎn)
ret.add(i);
return ret;
}
//計(jì)算節(jié)點(diǎn)i的最佳前驅(qū)節(jié)點(diǎn)
void getBestPrev(AdjList g,int i)
{
Iterator<Token> it = g.getPrev(i);//得到前驅(qū)詞集合，從中挑選最佳前趨詞
double maxProb = 1000;
int maxNode = -1;
while(it.hasNext())
{
Token itr = it.next();
double nodeProb = prob[itr.getStart()]+itr.getWeight();//候選節(jié)點(diǎn)路徑
//System.out.println(itr.getWord()+","+nodeProb);
if (nodeProb < maxProb)//路徑最短的算作最佳前趨
{
maxNode = itr.getStart();
maxProb = nodeProb;
}
}
prob[i] = maxProb;//節(jié)點(diǎn)路徑
prevNode[i] = maxNode;//最佳前驅(qū)節(jié)點(diǎn)
}
}
posted @
2012-08-24 14:57 nianzai 閱讀(1973) |
評(píng)論 (0) |
編輯 收藏
全切分分詞程序。中華人民共和國(guó)切分成 {中華人民共和國(guó)|中華|華人|人民|共和國(guó)}。
能實(shí)現(xiàn)中英文數(shù)字混合分詞。比如能分出這樣的詞：bb霜、3室、樂(lè)phone、touch4、mp3、T恤。
public class FMW extends M
{
public static final HashMap<Character,TreeNode> dic = Dictionary.getFmmdic();
/** *//**
* @return 返回可能匹配詞的長(zhǎng)度, 沒(méi)有找到返回 0.
*/
public ArrayList<Integer> maxMatch(TreeNode node,char[] sen, int offset)
{
ArrayList<Integer> list=new ArrayList<Integer>();
for(int i=offset; i<sen.length; i++)
{
node = node.subNode(sen[i]);
if(node != null)
{
if(node.isAlsoLeaf())
list.add(i+1);
}
else
break;
}
if(list.size()==0)
list.add(offset);
return list;
}
public ArrayList<Token> getToken(ArrayList<Sentence> list)
{
ArrayList<Token> tokenlist=new ArrayList<Token>();
for(Sentence sen:list)
{
int i=0;
while(i<sen.getText().length)
{
TreeNode n=dic.get(sen.getText()[i]);
if(n!=null)
{
ArrayList<Integer> ilist =maxMatch(n, sen.getText(),i);
if(ilist.size()>1)
{
for(int j=0;j<ilist.size();j++)
{
Token token = new Token(new String(sen.getText(),i,ilist.get(j)-i),sen.getStartOffset()+i,sen.getStartOffset()+ilist.get(j));
tokenlist.add(token);
}
}
else
{
if(ilist.get(0)>i)
{
Token token = new Token(new String(sen.getText(),i,ilist.get(0)-i),sen.getStartOffset()+i,sen.getStartOffset()+ilist.get(0));
tokenlist.add(token);
}
else
{
if(tokenlist.size()==0 || tokenlist.get(tokenlist.size()-1).getEnd()<=i+sen.getStartOffset())
{
Token token = new Token(new String(sen.getText(),i,1),sen.getStartOffset()+i,sen.getStartOffset()+i+1);
tokenlist.add(token);
}
}
}
}
else
{
if(tokenlist.size()==0 || tokenlist.get(tokenlist.size()-1).getEnd()<=i+sen.getStartOffset())
{
Token token = new Token(new String(sen.getText(),i,1),sen.getStartOffset()+i,sen.getStartOffset()+i+1);
tokenlist.add(token);
}
}
i++;
}
}
return tokenlist;
}
}
posted @
2012-07-02 14:17 nianzai 閱讀(3078) |
評(píng)論 (4) |
編輯 收藏推翻了第一版，參考了其他分詞程序，重新寫(xiě)的第二版。
逆向最大匹配中文分詞程序，能實(shí)現(xiàn)中英文數(shù)字混合分詞。比如能分出這樣的詞：bb霜、3室、樂(lè)phone、touch4、mp3、T恤
public class RMM2 extends M
{
public static final HashMap<Character,TreeNode> dic = Dictionary.getRmmdic();
/** *//**
* @return 返回匹配最長(zhǎng)詞的長(zhǎng)度, 沒(méi)有找到返回 0.
*/
public int maxMatch(TreeNode node,char[] sen, int offset)
{
int idx = offset;
for(int i=offset; i>=0; i--)
{
node = node.subNode(sen[i]);
if(node != null)
{
if(node.isAlsoLeaf())
idx = i;
}
else
break;
}
return idx ;
}
public ArrayList<Token> getToken(ArrayList<Sentence> list)
{
Collections.reverse(list);
ArrayList<Token> tokenlist=new ArrayList<Token>();
for(Sentence sen:list)
{
int i=sen.getText().length-1;
while(i>-1)
{
TreeNode n=dic.get(sen.getText()[i]);
if(n!=null)
{
int j=maxMatch(n, sen.getText(),i);
if(j<i)
{
Token token = new Token(new String(sen.getText(),j,i-j+1),sen.getStartOffset()+j,sen.getStartOffset()+i+1);
tokenlist.add(token);
i=j-1;
}
else
{
Token token = new Token(new String(sen.getText(),i,1),sen.getStartOffset()+i,sen.getStartOffset()+i+1);
tokenlist.add(token);
i--;
}
}
else
{
Token token = new Token(new String(sen.getText(),i,1),sen.getStartOffset()+i,sen.getStartOffset()+i+1);
tokenlist.add(token);
i--;
}
}
}
Collections.reverse(tokenlist);
return tokenlist;
}
}
posted @
2012-06-29 17:29 nianzai 閱讀(1369) |
評(píng)論 (0) |
編輯 收藏
推翻了第一版，參考了其他分詞程序，重新寫(xiě)的第二版。
正向最大匹配中文分詞程序，能實(shí)現(xiàn)中英文數(shù)字混合分詞。比如能分出這樣的詞：bb霜、3室、樂(lè)phone、touch4、mp3、T恤
public class FMM2 extends Seg
{
public static final HashMap<Character,TreeNode> dic = Dictionary.getFmmdic();
/** *//**
* @return 返回匹配最長(zhǎng)詞的長(zhǎng)度, 沒(méi)有找到返回 0.
*/
public static int maxMatch(TreeNode node,char[] sen, int offset)
{
int idx = offset - 1;
for(int i=offset; i<sen.length; i++)
{
node = node.subNode(sen[i]);
if(node != null)
{
if(node.isAlsoLeaf())
idx = i;
}
else
break;
}
return idx + 1;
}
public ArrayList<Token> getToken(ArrayList<Sentence> list)
{
ArrayList<Token> tokenlist=new ArrayList<Token>();
for(Sentence sen:list)
{
int i=0;
while(i<sen.getText().length)
{
TreeNode n=FMM2.dic.get(sen.getText()[i]);
if(n!=null)
{
int j=FMM2.maxMatch(n, sen.getText(),i);
if(j>i)
{
Token token = new Token(new String(sen.getText(),i,j-i),sen.getStartOffset()+i,sen.getStartOffset()+j);
tokenlist.add(token);
i=j;
}
else
{
Token token = new Token(new String(sen.getText(),i,1),sen.getStartOffset()+i,sen.getStartOffset()+i+1);
tokenlist.add(token);
i++;
}
}
else
{
Token token = new Token(new String(sen.getText(),i,1),sen.getStartOffset()+i,sen.getStartOffset()+i+1);
tokenlist.add(token);
i++;
}
}
}
return tokenlist;
}
}
posted @
2012-06-27 13:39 nianzai 閱讀(1269) |
評(píng)論 (0) |
編輯 收藏
摘要: Reactor 模式的 JAVA NIO 多線程服務(wù)器
Code highlighting produced by Actipro CodeHighlighter (freeware)http://www.CodeHighlighter.com/-->public class MiniServer extends Thread{ &nb...
閱讀全文
posted @
2011-08-29 18:35 nianzai 閱讀(3100) |
評(píng)論 (3) |
編輯 收藏
摘要: 基于詞典的逆向最大匹配中文分詞算法，能實(shí)現(xiàn)中英文數(shù)字混合分詞。比如能分出這樣的詞：bb霜、3室、樂(lè)phone、touch4、mp3、T恤。實(shí)際分詞效果比正向分詞效果好 查看第2版：逆向最大匹配分詞程序，能實(shí)現(xiàn)中英文數(shù)字混合分詞 (第二版)
Code highlighting produced by Actipro CodeHighlighter (freeware)
http://w...
閱讀全文
posted @
2011-08-19 13:22 nianzai 閱讀(4487) |
評(píng)論 (2) |
編輯 收藏