资讯

精准传达 • 有效沟通

从品牌网站建设到网络营销策划,从策略到执行的一站式服务

php爬虫原型

/*
 @desc:爬虫原型
 @author [Lee] <[]>
 @param url 初始url
 @param callback 处理业务的回调函数
 @param 挖掘url的深度 默认3
 */
function crawl($url,$callback,$depth = 3){
    if($depth > 0){
        $depth--;
        $http = new http($url);
        $content = $http->get()->exec();
        // 业务处理开始
        call_user_func($callback,$content);
        // 业务处理结束
        $preg = '/<[a|A].*?href=[\'\"]{0,1}([^>\'\"\ ]*).*?>/';
        $bool = preg_match_all($preg,$content,$res);
        $urls = array();
        if($bool){
            $urls = $res[1];
        }
                $urls = array_unique($urls);
        $info = parse_url($url);
        $scheme = $info["scheme"]?:'http';
        $user = $info["user"];
        $pass = $info["pass"];
        $host = $info["host"];
        $port = $info["port"];
        $path = $info["path"];
        $url = $scheme . '://';
        if ($user && $pass) {
            $url .= $user . ":" . $pass . "@";
        }
        $url .= $host;
        if ($port) {
            $url .= ":" . $port;
        } 
        $url .= $path;
        if (is_array($urls)) {
            foreach ($urls as $u) {
                if (preg_match('/^http/', $u)) {
                    $returl = $u;
                } else {
                    $real = $url . '/' . $u;
                    $returl = $real;
                }
                crawl($returl,$callback,$depth);
            }
        }
    }
}

名称栏目:php爬虫原型
分享路径:http://cdkjz.cn/article/pepeeh.html
多年建站经验

多一份参考,总有益处

联系快上网,免费获得专属《策划方案》及报价

咨询相关问题或预约面谈,可以通过以下方式与我们联系

大客户专线   成都:13518219792   座机:028-86922220