国产亚洲综合久久系列,AV激情亚洲男人的天堂国语,无码专区一va亚洲v专区在线

爱吃鱼头 — Thu, 04 Jun 2009 13:04:00 GMT

摘要: 转自javaeye。一个高性能的Web爬虫�Q�必��L��一个合适的�|�页容器。该定w��最大的特点是要能够通过URL直接存取�|�页内容�Q��ƈ且要求有很高的性能�Q�在一个千万��别的容器中存取一万次的时间应�?分钟左右(普通PC�?。采用拆��L��办法�Q�在文�g�pȝ��的基��上徏立一�l�大文�g和一�l�辅助文�Ӟ��辅助文�g实现通过URL定位该URL代表的网��在大文件中的位�|�，从页实现不随文�g数量增长而性能变化的快速存取。以下将描述一个简�z�的实现�? 阅读全文

爱吃鱼头 2009-06-04 21:04 发表评论

常用中文分词- 整理攉��

爱吃鱼头 — Thu, 04 Jun 2009 13:01:00 GMT

摘要: 在网上搜集�ƈ整理了一些常用中文分词包�Q�后面慢慢补全：庖丁解牛分词包；LingPipe�Q�开源自然语�a�处理的Java开源工具包�Q�JE分词包；LibMMSeg�Q�IKAnalyzer�Q�PHPCWS 阅读全文

爱吃鱼头 2009-06-04 21:01 发表评论

爱吃鱼头 — Fri, 20 Feb 2009 13:58:00 GMT

    字符集，指的是被分配了整数编��L��字符集合�Q?br />     但是�Q�编码字�W�集中字�W�被分配的整数编��P��不一定就是该字符在计��机中存储时所使用的��|��
    计算��Z��存储的字�W�到底��用什么二�q�制整数值来表示�Q�是�?span style="color: #388fff;">字符集编�?/span>军_��的�?br />
    字符集编码决定了如何��一个字�W�的整数�~�号对应��C��个二�q�制的整数倹{�?br />     有的�~�码�Ҏ��单的��该整数值直接作为其在计��机中的表示而存储，例如英文字符�?br />     几乎所有的字符集编码方案中�Q�英文字母的整数�~�号与其在计��机内部存储的二�q�制形式都一致�?br />     但有的编码方案，例如适用于Unicode字符集的UTF-8�~�码形式�Q�就��很大一部分字符的整数编号作了变换后存储在计��机中�?br />     �?#8220;�?#8221;字�ؓ例，“�?#8221;的Unicode��gؓ0x6C49�Q�但其编码�ؓUTF-8格式后的��gؓ0xE6B189�Q�注意到变成了三个字节）�?br />
    GB2312最初指的是一个编码字�W�集�Q�其中包含了ASCII所包含的英文字�W�，同时加入�?763个简体汉字以及其他一些ASCII之外的符受��GB2312也有自己的编码方案，但这个方案直接��用一个字�W�在GB2312中的�~�号作�ؓ存储��|��与UTF-32的做法类��|��?br />     我们日常说�vGB2312的时候，常常��x��q�个字符集，也指�q�种�~�码�Ҏ���?br />
    GBK是GB2312的后�l�标准，��d��了更多的汉字和特�D�符��P��c�M��的是�Q�GBK也是同时指他的字�W�集和他的编码�?br />     GBK�q�是现如今中文Windows操作�pȝ��的系�l�默认编码（�q�正是几乎所有网��上的，文�g里的��q��问题的根源）�?br />
    在Java中，字符只以一�U�编码�Ş式存在，那就是UTF-16�?br />     �?#8220;在Java�?#8221;到底是指在哪里呢�Q�就是指在JVM中，在内存中�Q�代码里声明的每一个char�Q�String�c�d��的变量中�?br />
    Python中既可以按Ascii�~�码�Q�也可以按unicode�~�码�?br />

爱吃鱼头 2009-02-20 21:58 发表评论

爱吃鱼头 — Tue, 23 Dec 2008 09:36:00 GMT

Google Base64可以搜到相关原理和许多实现�?br /> 下面是我的实玎ͼ�和SUN公司提供的参考实现�?br />

  1 public class Base64 {
  2     static String base64_alphabet = "ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/=";
  3
  4     /**
  5      * �~�码原理:��?个字节�{换成4个字�? (3 X 8) = 24 = (4 X 6) )
  6      * 先读�?个字�?每读一个字�?左移8�?再右�U�d��?每次6�?�q�样��有4个字节了
  7      *
  8      * @param data
  9      * @return �~�码后的Base64字符�?br /> 10      */
11     public static String Base64Encode(byte[] data) {
12         StringBuilder builder = new StringBuilder();
13         int[] temp = new int[4];
14         int len = data.length - data.length % 3;
15         for (int i = 0; i < len; i += 3) {
16             int goal = 0;
17             for (int j = 0; j < 3; j++) {
18                 goal <<= 8;
19                 goal |= (data[i + j] & 0xff);
20             }
21             for (int k = 0; k < 4; k++) {
22                 temp[k] = goal & 0x3f;
23                 goal >>= 6;
24             }
25             for (int k = 3; k >= 0; k--) {
26                 builder.append(base64_alphabet.charAt(temp[k]));
27             }
28         }
29         int index;
30         switch (data.length % 3) {
31         case 1:
32             index = data[data.length - 1] >> 2;
33             builder.append(base64_alphabet.charAt(index));
34             index = (data[data.length - 1] & 0x03) << 4;
35             builder.append(base64_alphabet.charAt(index));
36             builder.append("==");
37             break;
38         case 2:
39             index = data[data.length - 1 - 1] >> 2;
40             builder.append(base64_alphabet.charAt(index));
41             index = (data[data.length - 1 - 1] & 0x03) << 4
42                     | data[data.length - 1] >> 4;
43             builder.append(base64_alphabet.charAt(index));
44             index = (data[data.length - 1] & 0x0f) << 2;
45             builder.append(base64_alphabet.charAt(index));
46             builder.append('=');
47             break;
48         }
49         return builder.toString();
50     }
51
52     /**
53      * 解码原理:��?个字节�{换成3个字�? 先读�?�?�?用或�q�算),每次左移6�?再右�U?��?每次8�?
54      *
55      * @param data
56      *            需解码的Base64字符丌Ӏ?br /> 57      * @return byte[]�Q�解码出的字节数�l?br /> 58      */
59     public static byte[] Base64Decode(String data) {
60         char[] chArray = data.toCharArray();
61         int len = chArray.length;
62         byte[] result = new byte[len * 3 / 4];
63         for (int i = 0, res_i = 0; i < len; i += 4, res_i += 3) {
64             int goal = 0;
65             int index = 0;
66             for (int k = 0; k < 4; k++) {
67                 index = base64_alphabet.indexOf(chArray[i + k]);
68                 goal <<= 6;
69                 goal |= index;
70             }
71             for (int j = 2; j >= 0; j--) {
72                 result[res_i + j] = (byte) goal;
73                 goal >>= 8;
74             }
75         }
76         // �{�号=的处�?/span>
77         if (chArray[len - 1] != '=')
78             return result;
79         else if (chArray[len - 2] == '=')
80             return Arrays.copyOf(result, result.length - 2);
81         else
82             return Arrays.copyOf(result, result.length - 1);
83
84     }
85 // ��?nbsp;s �q�行 BASE64 �~�码
86     public static String getBASE64(String s) {
87         if (s == null)
88             return null;
89         return (new sun.misc.BASE64Encoder()).encode(s.getBytes());
90     }
91
92     // ��?nbsp;BASE64 �~�码的字�W�串 s �q�行解码
93     public static String getFromBASE64(String s) {
94         if (s == null)
95             return null;
96         BASE64Decoder decoder = new BASE64Decoder();
97         try {
98             byte[] b = decoder.decodeBuffer(s);
99             return new String(b);
100         } catch (Exception e) {
101             return null;
102         }
103     }
104 }

爱吃鱼头 2008-12-23 17:36 发表评论

Java 生成随机序列

爱吃鱼头 — Tue, 23 Dec 2008 09:32:00 GMT

摘要: 从网上�ȝ��的比较好的生成随机序列的��法�Q�）阅读全文

爱吃鱼头 2008-12-23 17:32 发表评论

Picture Get

爱吃鱼头 — Mon, 29 Sep 2008 13:05:00 GMT

用了Apache Jakarta Common 下的HttpClient库，把原来的BatchImageFetch�E�序完全修改了一番，烦�h的cookie问题�l�于解决了。Discuz论坛是用cookie验证用户是否��d��Q��ƈ且时�怼�更新cookie。在原来初始的代码中�Q�在socket层面上操作，�l�护cookie真是一仉��烦的事情�?br /> HttpClient可以自动的处理cookie�Q��ƈ且封装cookie�c�，要手动操作也很方�ѝ��在实际中发玎ͼ�若让HttpClient自动处理cookie�Q�还是无法维持论坛的��d��状态的�Q�因��然HttpClient接收了服务器端的的Http响应头中�?#8220;Set-cookie”,但�ƈ没有��Cookie应用到新的请求当中，另外通过用iehttpheaders截包��׃��发现�Q�httpclient会在header里构件多个cookie��，每一��只含有一个cookie�Q�这同IE是不一��L��。IE和Firefox会把所有的cookie打包成一个，然后在这个cookie里按照分��h��每一��w��开�Q�中间有个空根{��因此，在代码中�Q�先是获取HttpClient接收到的Cookie�Q�然后再��之打包成IE那种形式�Q�直接设�|�请求头“Cookie�Q?...”�?br /> 用HttClient真的很方便，论坛��d��Q�网��下载，囄��下蝲�Q�仅仅几行代码即可，大大的减��了工作量�?/p>

爱吃鱼头 2008-09-29 21:05 发表评论

国产亚洲综合久久系列,AV激情亚洲男人的天堂国语,无码专区一va亚洲v专区在线

常用中文分词- 整理攉���

Java 生成随机序列

Picture Get

常用中文分词- 整理攉��