Twiki 4.1.1 @ RedHat Enterprise AS 4 安装备忘

�|�明 — Mon, 12 Mar 2007 03:59:00 GMT

摘要: 关键字：Permission denied, 不能正常��d��, 中文支持阅读全文

�|�明 2007-03-12 11:59 发表评论

用Perl实现HTTP�|�络下蝲�E�序

�|�明 — Wed, 03 Jan 2007 13:00:00 GMT

先讲讲做�q�个��程序的动机吧，昨天看了�?a title="哈工大��Y件学院新��d��? target="_blank">以前学院的新�?/a>�Q�没什么更斎ͼ�但发现列表很长，保留�?003�q?月至今的所有新闅R�?br />
�q�个新闻列表是大学期间我们了解学院信息的主要来源�Q�都��L��了每天先看新��d��?a title="哈工大��丁香BBS" target="_blank">BBS的习惯。在大连实习期间更是如此�Q�也��是产生感情了^__^�Q�所以。。。决定把�q?00+新闻全部保存下来...

需求：指定一个网址�Q�将�q�个�|�页和里面所有的子链接页面都下蝲下来�Q�保存到指定的文件夹中�?br />
如下图所�C�：

需求有了，怎么完成呢？�?a target="_blank">�q�雷下蝲全部链接�Q�嗯�Q�这是个好主意，�Q�我��实也这么做了一�ơ，�q�接数开得太多了�Q�差点被��orz �Q�，但咱们是搞��Y件的@_@�Q�这个小功能是不是写个程序就能搞定，�?a target="_blank">Java�Q�想到那一堆Stream的封装（new BufferedReader(new BufferedOutputStream(new FileOutputStream(new File("blabla.html"))))�Q?..我就头晕�?br />
��程序用脚本语言�Q�应该不错！

�?a target="_blank">Perl�q�是Python�Q�。。。经�q�一番网上查询论证，��g��Q�Perl语法复杂�Q�但��l�，API库也��多；Python语法清晰易懂�Q�有点像Java�Q�适合开发大型应用�?br />
Java是我的最爱，也算熟悉了，��学点bt的吧�Q�用Perl

完成代码期间主要参考了Perl文档中URL�Q�HTML::LinkExtor�Q�HTTP::Request的用法，Perl中国的一��文�?a target="_blank">《LWP与WEB的基本��用�?/a>�Q�还占用了J2EE的上课时间来�~�写�E�序。。�?br />

1 #
2 # Copyright (C) 2007 �|�明
3 #
4
5 use strict " vars " ; # 严格遵��@my scope定义
6
7 use LWP :: Simple;
8 use HTML :: LinkExtor;
9 use HTTP :: Request :: Common;
10 use LWP :: UserAgent;
11 use URI :: URL;
12
13 # 从命令行参数中取�ȝ��地址和保存文件夹
14 my $url = $ARGV [ 0 ];
15 my $location = $ARGV [ 1 ];
16
17 # 子程序，解析�ȝ��中的链接地址
18 my @urls = ();
19 sub urlCallback
20 {
21      my ( $tag , %attr ) = @_ ;
22      return if $tag ne ' a ' ;
23      push ( @urls , values %attr );
24 }
25
26 # 用于解析链接的LinkExtractor
27 my $p = HTML :: LinkExtor -> new( \& urlCallback);
28
29 # 载入�ȝ��内容，及解析链接地址
30 my $ua = LWP :: UserAgent -> new;
31 my $res = $ua -> request(HTTP :: Request -> new(GET => $url ) , sub { $p -> parse( $_ [ 0 ])});
32
33 # ��链接的相对路径转换为绝对�\�?/span>
34 my $base = $res -> base;
35 @urls = map { $_ = url( $_ , $base ) -> abs } @urls ;
36
37 # ��网��写入文�?/span>
38 $ua -> request(GET( $url ) , $location . ' \\index.html ' );
39 my $index = 1 ;
40 foreach ( @urls )
41 {
42      $ua -> request(GET( $_ ) , $location . ' \\ ' . $index . ' .html ' );
43      $index += 1 ;
44 }

�ȝ��保存�ؓindex.html�Q�子�|�页�?�?�?排序生成1.html�?.html�{?br />
因�ؓ�?a target="_blank">Google Desktop�Q�即使文件名�?.html...�Q�搜索�v来也是很方便的。也可以扩充下，��?lt;a>中的新闻主题抽出来作为文件名。但�q�个�E�序�Ҏ��来说已经��_��了，所以就不��l�做了�?br />
�ȝ��来说用Perl�q�是很简单的�Q�库也很多，写�v来挺方便�Q�但是要记得常翻��?a target="_blank">Perl手册�Q�呵�?br />
Technorati Tag : Perl LWP Download web script

�|�明 2007-01-03 21:00 发表评论

久久久久久亚洲AV无码专区,噜噜综合亚洲AV中文无码,亚洲精品一品区二品区三品区

Twiki 4.1.1 @ RedHat Enterprise AS 4 安装备忘

用Perl实现HTTP�|�络下蝲�E�序