网页爬虫

/*网页爬虫
*
* 爬邮箱、爬关键字

* */

/* 1、读取文件
2、对读取的数据进行规则匹配，从中获取符合规则的数据
3、将符合规则的数据储存到集合中*/

package regexTest;

import java.io.BufferedReader;
import java.io.FileNotFoundException;
import java.io.FileReader;
import java.io.InputStreamReader;
import java.net.URL;
import java.util.ArrayList;
import java.util.List;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

/**
 * @author Administrator  Alt+Shift+j
 *
 */

/*网页爬虫
 * 
 * 爬邮箱、爬关键字
 * */
public class RegexTest {
    
 public static void main(String[] args){
  
  try {
   List<String> list=getMail();
   System.out.println("爬到的资源");
   for(String mail:list){
    System.out.println("====>"+mail);
   }
  } catch (Exception e) {
   // TODO Auto-generated catch block
   e.printStackTrace();
  }
  
 }
/ 
/* 1、读取文件
 2、对读取的数据进行规则匹配，从中获取符合规则的数据
 3、将符合规则的数据储存到集合中*/
 
 public static List<String> getMail() throws Exception{
  ///从本地文件中爬
  //BufferedReader br=new BufferedReader(new FileReader("d:\\mail.html"));
  
  ///从网络文件中爬
  URL url=new URL("http://www.hao123.com/index.html");
  BufferedReader br=new BufferedReader(new InputStreamReader(url.openStream()));
  
  String mail_regex="\\w+@\\w+(\\.\\w+)+";///邮箱的匹配规则
  Pattern p =Pattern.compile(mail_regex);//将规则封装成对象
  
  List<String> list=new ArrayList<String>();
  
  String line=null;
  while((line=br.readLine())!=null){
   Matcher m=p.matcher(line);//一行一行地进行匹配
   while(m.find()){
    //m.group()找到就放进组里
    list.add(m.group());
   }
  }
  return list;
 }
 
}