java抓取网页并解析

[java]代码库

String query = URLEncoder.encode（"xxx", "UTF-8"）；

               　　String url = ".baidu./s?wd=" + query + "&pn=" + p * 10 + "&tn=baiduhome_pg&ie=utf-8"

　　public void MakeQuery（String domain） {

    　　try {

        　　HttpClient httpClient = new HttpClient（）；

        　　GetMethod getMethod = new GetMethod（domain）；

        　　//System.out.println（"*************************************************************"）；

        　　//System.out.println（getMethod）；

        　　try{

            　　httpClient.executeMethod（getMethod）；

            　　
        } catch（Exception e）{

            　　System.out.println（"网络问题"）；

            　　
        }

        　　getMethod.getParams（）。setParameter（HttpMethodParams.RETRY_HANDLER,

        　　new DefaultHttpMethodRetryHandler（））；

        　　int statusCode = httpClient.executeMethod（getMethod）；

        　　if （statusCode != HttpStatus.SC_OK） {

        　　System.err.println（"Method failed: "

        　　 + getMethod.getStatusLine（））；

        　　
    }

    　　byte[] responseBody = getMethod.getResponseBody（）；

        　　//System.out.println（"*************************************************************"）；

        　　//System.out.println（responseBody）；

        　　String response = new String（responseBody, "UTF-8"）；

        　　//System.out.println（"*************************************************************"）；

        　　//System.out.println（response）；

        　　//Jsoup解析html

        　　Document doc = Jsoup.parse（response）；

        　　//System.out.println（"*************************************************************"）；

        　　//System.out.println（doc）；

        　　Elements contents = doc.getElementsByClass（"f"）；

　　for（Element content: contents）{

        　　Element links = content.getElementsByTag（"a"）。first（）；

        　　String linkHref = links.attr（"href"）；//链接

        　　String linkText = links.text（）；//摘要

        　　FoursearchZH.map.put（linkHref, linkText）；

        　　System.out.println（"------------------"）；

        　　System.out.println（linkHref）；

        　　System.out.println（linkText）；

        　　
    }

    　　
} catch （Exception e） {

    　　System.err.println（"Something went wrong…"）；

    　　e.printStackTrace（）；

    　　
}

　　
}