PHP实现的curl批量并发请求操作示例

PHP 投稿 82100 1 评论

PHP实现的curl批量并发请求操作示例

通常情况下 PHP 中的 curl 是阻塞运行的,就是说创建一个 curl 请求以后必须等它执行成功或者超时才会执行下一个请求。

API接口访问一般会首选curl在实际项目或者自己编写小工具(比如新闻聚合,商品价格监控,比价)的过程中, 通常需要从第3方网站或者API接口获取数据, 在需要处理1个URL队列时, 为了提高性能, 可以采用curl提供的curl_multi_*族函数实现简单的并发。

PHP怎么实现curl批量请求?

$ch = array(); 
$res = array(); 
$conn = array(); 
$urls = array( 
  'baidu' => "http://www.baidu.com/", 
  'sfjvip' => "https://www.feishuai.vip", 
  'feishuai' => "http://www.feishuai.vip",
); 
// 创建批处理cURL句柄 
$mh = curl_multi_init(); 
foreach ($urls as $i => $url) {  
  $conn[$i] = curl_init(); // 创建一对cURL资源 
  // 设置URL和相应的选项 
  curl_setopt($conn[$i], CURLOPT_URL, $url); 
  curl_setopt($conn[$i], CURLOPT_HEADER, 0); 
  curl_setopt($conn[$i], CURLOPT_RETURNTRANSFER, 1); 
  curl_setopt($conn[$i], CURLOPT_TIMEOUT, 10);   
  curl_setopt($conn[$i], CURLOPT_FOLLOWLOCATION, 1); //302跳转   
  curl_multi_add_handle($mh, $conn[$i]); // 增加句柄 
} 
$active = null; 
//防卡死写法:执行批处理句柄
do { 
  $mrc = curl_multi_exec($mh, $active); 
} while ($mrc == CURLM_CALL_MULTI_PERFORM); 
while ($active && $mrc == CURLM_OK) { 
  if (curl_multi_select($mh) != -1) { 
    do { 
      $mrc = curl_multi_exec($mh, $active); 
    } while ($mrc == CURLM_CALL_MULTI_PERFORM); 
  } 
} 
foreach ($urls as $i => $url) {
  $info = curl_multi_info_read($mh); //获取当前解析的cURL的相关传输信息   
  $heards = curl_getinfo($conn[$i]); //获取请求头信息 
  var_dump($heards);
  $res[$i] = curl_multi_getcontent($conn[$i]); //获取输出的文本流   
  curl_multi_remove_handle($mh, $conn[$i]); // 移除curl批处理句柄资源中的某个句柄资源  
  curl_close($conn[$i]); //关闭cURL会话 
} 
curl_multi_close($mh);//关闭全部句柄 
//var_dump($res);

编程笔记 » PHP实现的curl批量并发请求操作示例

赞同 (66) or 分享 (0)
游客 发表我的评论   换个身份
取消评论

表情
(1)个小伙伴在吐槽
  1. 旅行Vlog让仿佛亲身经历了旅程。
    毒蛇舞者 2023-09-12 19:00 (2年前) 回复