php многопоточность

Romaxa55 · 14 Jan 2011

Доброе время суток, ребята, подкиньте пару примеров по реализации многопоточности в пхп, очень интересно, хочется на примерах посмотреть.

LStr1ke · 14 Jan 2011

В php многоточности нету. Есть эмуляция.

Почитай http://habrahabr.ru/blogs/php/40245/

Лучше использовать perl, или консольное приложение и интегрировать с веб интерфейсом.
Статей много, думаю нету смысла поднимать эту тему тут (хотя и не раз поднималась)

KATYA · 14 Jan 2011

Perl учи!

De-visible · 14 Jan 2011

Python лучший выход)

Romaxa55 · 14 Jan 2011

да уж, пыху нуно до ума довести, а потом уже на другие переключаться языки, ну кайфую я от пыхи просто =)

b3 · 14 Jan 2011

Попробуй multicurl значительно ускоряет процесс, при правильной настройке apache. С Многопоточными ЯП не сравнить но все же.

necroleptick · 14 Jan 2011

De-visible said:

Python лучший выход)
Click to expand...

угу C++ или Java

j-prof · 14 Jan 2011

c#
там для веба asp

Gifts · 15 Jan 2011

Romaxa55 многопоточность и даже многопроцессорность - можно реализовать практически на любом ЯП, только вопрос готовы ли вы кое-чем пожертвовать.

Для чего вам нужна многопоточность? Если парсить страницы, то можно и нужно воспользоваться асинхронным вводом-выводом, на сокетах (пост LStr1ke) или multi_curl (пост b3)

Если для вычислений - то можно плодить несколько процессов выполняемых в фоне, например так:

PHP:

system('php do_smth.php 2>&1 1> result.txt > /dev/null &');

А потом забирать результат из файла (лучше перенаправлять в разные файлы)

Но только учтите, в пхп нет средств поддержки синхронизации таких "потоков", этим извращением вам придется заниматься самим.

De-visible в питоне нет нормальной многопоточности

Всем тема была обречена на флейм, но не стоит этим заниматься тут. Вечером тема будет перенесена в болталку

Tigger · 22 Jan 2011

Многопоточность на PHP это только если ради спортивного интереса.

De-visible · 23 Jan 2011

De-visible в питоне нет нормальной многопоточности
Click to expand...

Что в твоем понятии нормальная многопоточность, а что не нормальная.
Как ты различаешь эти два понятия?
В чем заключается ненормальность многопоточности в Python?

Gifts · 23 Jan 2011

De-visible выполнение ровно одного потока в процессе при любых воздействиях и любом аппаратном обеспечении - это НЕ нормально.

Разделение времени выполнения потока по тикам (выполненным командам), а не по времени - тоже не фонтан

Я знаю, что вы сейчас скажете - "а вот если сделать вот таааак" или начнете придираться к словам. На холивары я не подписывался, можете успокоиться и почитать какую нить бяку в гугле по поводу GIL

Romaxa55 · 23 Jan 2011

Тема разгорелась.. так и не реализовал я пока по нормальному эмуляцию многопоточности. так хотелось бы чтоб ктонить скрипты выложил готовые любые паблики чисто на примерах уже двигаться проще и я бы их в первом посте закоментил

Gifts · 23 Jan 2011

Romaxa55 Вы определитесь для чего оно вам надо

Romaxa55 · 25 Jan 2011

Интересуют любые авторегеры, которые способны работать в несколько потоков. Ну понятное дело на пыхе

GRRRL Power · 25 Jan 2011

Интересуют любые авторегеры, которые способны работать в несколько потоков. Ну понятное дело на пыхе
Click to expand...

Таких не существует, а вышеупомянутые способы эмуляции потоков - всего лишь способы эмуляции. В ПХП нет потоков, смиритесь с этим, возьмитесь за ум и идите учите полноценный язык.

ну кайфую я от пыхи просто =)
Click to expand...

Потому что он прост, как бревно. Но заточен он практически полностью под веб, и извращения вроде автореггеров - это уже выжимка возможностей языка при том, что самому лень (или просто не получается из-за недостатка ума) освоить другой какой-нибудь язык.

Romaxa55 · 15 Mar 2011

Так как тему поднял, цели я всетаки свой достиг, выгладываю НЕ АКТУАЛЬНЫЙ вк парсер который я реализовал в свое время.

скрипт запуска start.php

<?php
set_time_limit(0);
include('multi.php');

$FILE_ACC = $server."accs.txt";

$f=fopen($FILE_ACC, "r");
while($str= fgets($f))
{
list($login, $pass) = explode(":", $str);
$login = urlencode(trim($login));
$pass = urlencode(trim($pass));

$multithreading = new MultiThreading();

$multithreading->setScriptName('clear.php?login'.$login.'&pass='.$pass);
// гетом запускаем скрипт равное колличеству акков

$multithreading->execute();

}
Click to expand...

class multi.php

<?
class MultiThreading
{
/**
* Имя сервера
*
* @var string
* @access private
*/
private $server;

/**
* Максимальное количество потоков
*
* @var int
* @access private
*/
private $maxthreads;

/**
* Имя скрипта, который выполняет нужную нам задачу
*
* @var string
* @access private
*/
private $scriptname;

/**
* Параметры, которые мы будем передавать скрипту
*
* @var array
* @access private
*/
private $params = array();

/**
* Массив, в котором хранятся потоки
*
* @var array
* @access private
*/
private $threads = array();

/**
* Массив, в котором хранятся результаты
*
* @var array
* @access private
*/
private $results = array();

/**
* Конструктор класса. В нем мы указываем максимальное количество потоков и имя сервера. Оба аргумента необязательны.
*
* @param int $maxthreads максимальное количество потоков, по умолчанию 10
* @param string $server имя сервера, по умолчанию имя сервера, на котором запущено приложение
* @access public
*/
public function __construct($maxthreads = 10, $server = '')
{
if ($server)
$this->server = $server;
else
$this->server = $_SERVER['SERVER_NAME'];

$this->maxthreads = $maxthreads;
}

/**
* Указываем имя скрипта, который выполняет нужную нам задачу
*
* @param string $scriptname имя скрипта, включая путь к нему
* @access public
*/
public function setScriptName($scriptname)
{
if (!$fp = fopen('http://'.$this->server.'/'.$scriptname, 'r'))
throw new Exception('Cant open script file');

fclose($fp);

$this->scriptname = $scriptname;
}

/**
* Задаем параметры, которые мы будем передавать скрипту
*
* @param array $params массив параметров
* @access public
*/
public function setParams($params = array())
{
$this->params = $params;
}

/**
* Выполняем задачу, комментарии в коде
*
* @access public
*/
public function execute()
{
// Запускаем механизм, и он работает, пока не выполнятся все потоки
do {
// Если не превысили лимит потоков
if (count($this->threads) < $maxthreads) {
// Если удается получить следующий набор параметров
if ($item = current($this->params)) {

// Формируем запрос методом GET

$query_string = '';

foreach ($item as $key=>$value)
$query_string .= '&'.urlencode($key).'='.urlencode($value);

$query = "GET http://".$this->server."/".$this->scriptname."?".$query_string." HTTP/1.0\r\n";

// Открыватем соединение

if (!$fsock = fsockopen($this->server, 80))
throw new Exception('Cant open socket connection');

fputs($fsock, $query);
fputs($fsock, "Host: $server\r\n");
fputs($fsock, "\r\n");

stream_set_blocking($fsock, O);
stream_set_timeout($fsock, 3600);

// Записываем поток

$this->threads[] = $fsock;

// Переходим к следующему элементу

next($this->params);
}
}

// Перебираем потоки
foreach ($this->threads as $key=>$value) {
// Если поток отработал, закрываем и удаляем
if (feof($value)) {
fclose($value);
unset($this->threads[$key]);
} else {
// Иначе считываем результаты
$this->results[] = fgets($value);
}
}

// Можно поставить задержку, чтобы не повесить сервер
sleep(1);

// ... пока не выполнятся все потоки
} while (count($this->threads) > O);

return $this->results;
}
}
?>
Click to expand...

clear.php

<?
set_time_limit(0);
header("Content-Type: text/html; charset=windows-1251");

include('function.php');
//config
$server = $_SERVER['DOCUMENT_ROOT']."/";
$login = $_GET['login'];
$pass = $_GET['pass'];
//config

//logined

$log = get_url('http://vkontakte.ru/login.php', 'http://vkontakte.ru/', '', 'email='.$login.'&pass='.$pass, $server.$login.".txt",$server.$login.".txt");
//logined end

$page = get_url('http://vkontakte.ru/al_search.php', 'http://vkontakte.ru/', '','al=1&c%5Bcategory%5D=30&c%5Bcity%5D=2&c%5Bcountry%5D=1&c%5Bsection%5D=ads&c%5Btype%5D=3', $server.$login.".txt",$server.$login.".txt");

preg_match_all("(<div class=\"title\"><a href=\"market.php\?act=view&id=(.*)&hash=(.*)\">)",$page,$urls);

print_r($urls);
for ($i=0;$i<count($urls[1]);$i++)
{
$page = get_url('http://vkontakte.ru/market.php?act=view&id='.$urls[1][$i].'&hash='.$urls[2][$i], 'http://vkontakte.ru/', '','', $server.$login.".txt",$server.$login.".txt");
echo "ok";
flush();
}
unlink($server.$login.".txt");

?>
Click to expand...

function.php

function get_url($url, $ref = '', $header = '', $post = '', $cookie = '', $cookiefile = '', $proxy = '', $timeout = '', $popitok = 10) {
$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, $url);

if ($ref != '')
curl_setopt($ch, CURLOPT_REFERER, $ref);
if ($header != '')
curl_setopt($ch, CURLOPT_HEADER, true);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
if ($post != '') {
curl_setopt($ch, CURLOPT_USERAGENT, 'Opera/10.00 (Windows NT 5.1; U; ru) Presto/2.1.1');

curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, $post);
}
if ($cookie != '')
curl_setopt($ch, CURLOPT_COOKIE, $cookie);
if ($cookiefile != '') {
curl_setopt($ch, CURLOPT_COOKIEJAR, $cookiefile);
curl_setopt($ch, CURLOPT_COOKIEFILE, $cookiefile);

}
if ($proxy != '')
curl_setopt($ch, CURLOPT_PROXY, $proxy);
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, FALSE);
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, 2);
curl_setopt($ch, CURLOPT_USERAGENT, 'Opera/9.60 (Windows NT 5.1; U; ru) Presto/2.1.1');
curl_setopt($ch, CURLOPT_ENCODING, "gzip");
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
curl_setopt($ch, CURLOPT_HEADER, 1);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);

if ($timeout != '')
curl_setopt($ch, CURLOPT_TIMEOUT, $timeout);

$i = 0;
do {
$i++;
flush();
$content = curl_exec($ch);
} while ($i < $popitok && $content == '' || curl_errno($ch) != 0 && $i < $popitok);

if (curl_errno($ch) != 0 || $content == '') {
echo "<br><div style=\"border-style:solid; border-width:1px; width:750px; padding:10px; position:relative; border-color:#FF8000;\"><b><font color=\"#B30000\">Error CURL:</font></b> ".curl_error($ch)." | <b><font color=\"#B30000\">Error number:</font></b> ".curl_errno($ch)."<br> <b>Url: <a href='".$url."'> ".$url."</a></b></div><br><br>";
curl_close($ch);
return false;
} else {
curl_close($ch);
return $content;
}
}
Click to expand...

accs.txt

emailass
Click to expand...

В результате достиг ожидаемого результата, правда работать пришлось с локалхоста, после 3-х запусков ко мне постучал сапорт хоста и погразив сообщил, что не нужно нагрушать цп. Подобные скрипты юзайте в другом месте.

Спасибо, тема ЗАКРЫТА

|qbz| · 16 Mar 2011

Спасибо, тема ЗАКРЫТА
Click to expand...

ты модер?

По теме: я юзал всегда мультикурл или аякс )

Romaxa55 · 16 Mar 2011

Не модер, а создатель темы, я поднял вопрос на который сам ответил, тема некому не нужна, вправе ее закрыть

php многопоточность

Romaxa55 Banned

LStr1ke Elder - Старейшина

KATYA Active Member

De-visible [NDC] Network develope c0ders

Romaxa55 Banned

b3 Banned

necroleptick Member

j-prof Banned

Gifts Green member

Tigger Elder - Старейшина

De-visible [NDC] Network develope c0ders

Gifts Green member

Romaxa55 Banned

Gifts Green member

Romaxa55 Banned

GRRRL Power Elder - Старейшина

Romaxa55 Banned

|qbz| Banned

Romaxa55 Banned

Useful Searches

php многопоточность

Romaxa55 Banned

LStr1ke Elder - Старейшина

KATYA Active Member

De-visible [NDC] Network develope c0ders

Romaxa55 Banned

b3 Banned

necroleptick Member

j-prof Banned

Gifts Green member

Tigger Elder - Старейшина

De-visible [NDC] Network develope c0ders

Gifts Green member

Romaxa55 Banned

Gifts Green member

Romaxa55 Banned

GRRRL Power Elder - Старейшина

Romaxa55 Banned

|qbz| Banned

Romaxa55 Banned