как увидеть содержимое страницы на slil.ru закачанную курлом

eldar85 · 9 Jul 2010

понять никак не могу, почему загружается один только хидер на http://slil.ru/29447416(это пример, ссылка не важно какая на slil.ru) .
загружаю страницу любого сайта, все отлично, но http://slil.ru/ выводится один хидер и хоть убейся... вообще никак не могу разобраться, мне нужно именно html код страницы и все, чтобы парсить название файла хранящегося файла и все.

eldar85 · 9 Jul 2010

беру ссылку http://slil.ru/29447416

в браузере выводиться страница, смотрю ее содержимое

<html><head>
<title>Хранение файла, бесплатно закачать и скачать</title>
<link rel="shortcut icon" href="/favicon.ico" type="image/x-icon">
<link rel="stylesheet" type="text/css" media="all" href="/style/default.css" />
<script type='text/javascript' src='/banners/swfobject.js'></script>
</head><body>
<table id="container">
<tr><td colspan="3" height="90" valign="top" align="center">

<div id="MarketGid2673"><center><a href="http://marketgid.com/" target="_blank">Загрузка...</a></center></div>
</td></tr><tr><td width="300" valign="top">

<div id="MarketGid2663"><center><a href="http://marketgid.com/" target="_blank">Загрузка...</a></center></div>

</td><td id="content">
<table height="100%" width="100%" id="nogi">
<tr height="25"><td></td></tr>
<tr><td height="100" align="center" valign="middle">
<p>Спасибо всем, кто помогает развивать ресурс.</p>
</td></tr>
<tr><td valign="middle">
<p align="center">
proxy2.txt   304B<br><br>
</p>
<p align="center">

Закачка файла начнется через 10 секунд, или воспользуйтесь <span id="link_place"></span><br>
<a href="/page/abuse?id=29447416">Пожаловаться на файл.</a>

<script type="text/javascript">

var link='/29447416/57308dfe.4c37f360/proxy2.txt';
document.getElementById('link_place').innerHTML='<a href="'+link+'" onclick="dl_fl=0">ссылкой</a>';

var dl_fl=1;

setTimeout(function(){
if(dl_fl==1)
document.location.href=link;
}, 5000);

</script>

</p>

<table width="100%">
<tr><td height="20"></td></tr>
<tr>
<td> </td>
<td width="400">
</td>
<td> </td>
</tr>
</table>

<td></tr>
<tr height="100"><td align="center" valign="top">

<a href="http://www.nthost.ru/our_services/anticrisis/" target="_blank">
Хостинг по системе все включено за 129 руб. в мес.<br>
Windows или Unix, бесплатный домен ru, MSSQL, mySQL...
</a>

</td></tr>
</table>

</td>
<td width="240" valign="top">

</td>

</tr>
<tr>
<td></td>
<td id="copyright">

<span>©2010</span>
<a href="/page/">О проекте</a>
<a href="mailto:[email protected]">Реклама</a>
<a href="mailto:[email protected]">Тех. поддержка</a>
</td>
<td></td>
</tr>
</table>

<div style="position:absolute;bottom:26;right:20;">
<[email protected] COUNTEr--><script language="JavaScript" type="text/javascript"></script><script language="JavaScript1.1" type="text/javascript"></script><script language="JavaScript1.2" type="text/javascript"></script><script language="JavaScript1.3" type="text/javascript"></script><script language="JavaScript" type="text/javascript"></script><noscript><a
target=_top href="http://top.mail.ru/jump?from=956201"><img
src="http://d7.c9.be.a0.top.list.ru/counter?js=na;id=956201;t=84"
border=0 height=18 width=88
alt="Рейтинг@Mail.ru"/></a></noscript><script language="JavaScript" type="text/javascript"></script>

</div>

<script src="http://www.google-analytics.com/urchin.js" type="text/javascript">
</script>
<script type="text/javascript">
_uacct = "UA-2283330-1";
urchinTracker();
</script>

<div style="position:absolute;bottom:15px;right:19px;">

</div>

<div style="position:absolute;bottom:15px;left:15px;">

</div>


<script language="javascript">
document.write('<img s'+'rc="http://support.ecto.ru/counter.php'+
'?i=2&r='+escape(document.referrer)+
'" style="border:0;"/>');
</script>
<noscript>
<img src="http://support.ecto.ru/counter.php?i=2" border="0"/>
</noscript>


<script type="text/javascript" src="http://mg.dt00.net/gjs/s/l/slil.ru.2663.js" charset="windows-1251"></script>
<script type="text/javascript" src="http://mg.dt00.net/gjs/s/l/slil.ru.2673.js" charset="windows-1251"></script>

</body>

</html>
Click to expand...

а курлом выводит только

HTTP/1.1 200 OK
Server: nginx/0.3.17
Date: Fri, 09 Jul 2010 16:16:44 GMT
Content-Type: text/html; charset=windows-1251
Transfer-Encoding: chunked
Connection: keep-alive
Click to expand...

и все, один только хидер, а куда тело то делось?

eldar85 · 9 Jul 2010

#ifndef AS_CURL_H
#define AS_CURL_H
#include <curl/curl.h>
#include <c++/string>
#include <c++/iostream>
#include <QtGui>
#include <QtCore>

using namespace std;
QString Error;

int writer(char *data, size_t size, size_t nmemb, QString *buffer)
{
int result = 0;

if (buffer != NULL)
{
buffer->append(data);
result = size * nmemb;
}

return result;
}

class as_curl
{
public:
as_curl();
as_curl *load(QString url);
as_curl *disableHeader();
as_curl *disableBody();
as_curl *disableFollow();
as_curl *setRef(QString ref);
as_curl *setPost(QString post);
as_curl *setCookie(QString c);
as_curl *setProxy(QString Proxy);
as_curl *setImage(QString imageDirectory);
QString exec();

private:
CURL *curl;
CURLcode result;
string url;
string referer;
string postdata;
string cookie;
string image;
string proxy;
QString buffer;
char errorBuffer[CURL_ERROR_SIZE];

bool disBodyFlag;
bool followFlag;
bool header;

};

as_curl::as_curl()
{
header = 1;
disBodyFlag = 0;
followFlag = 1;
curl = curl_easy_init();

if(!curl)
{
//cout << "cant init curl. exit";
}
}

as_curl *as_curl::disableHeader()
{
header = 0;
return this;
}

as_curl *as_curl::setProxy(QString Proxy)
{
proxy = Proxy.toStdString();
return this;
}

as_curl *as_curl::setCookie(QString c)
{
cookie = c.toStdString();
return this;
}

as_curl *as_curl::disableFollow()
{
followFlag = 0;
return this;
}

as_curl *as_curl::disableBody()
{
disBodyFlag = 1;
return this;
}

as_curl *as_curl::setRef(QString ref)
{
referer = ref.toStdString();
return this;
}

as_curl *as_curl::setPost(QString post)
{
postdata = post.toStdString();
return this;
}

as_curl *as_curl::load(QString newUrl)
{
//url.clear();
url = newUrl.toStdString();
return this;
}

as_curl *as_curl::setImage(QString imageDirectory)
{
image = imageDirectory.toStdString();
return this;
}

QString as_curl::exec()
{

buffer.clear();
struct curl_httppost* Post = NULL;
struct curl_httppost* last = NULL;

if(image !="")
{
curl_formadd(&Post, &last, CURLFORM_COPYNAME, "act", CURLFORM_COPYCONTENTS, "add", CURLFORM_END);
curl_formadd(&Post, &last, CURLFORM_COPYNAME, "from", CURLFORM_COPYCONTENTS, "file", CURLFORM_END);
curl_formadd(&Post, &last, CURLFORM_COPYNAME, "new_photo", CURLFORM_FILE, image.c_str(), CURLFORM_CONTENTTYPE, "image/jpeg", CURLFORM_END);
curl_easy_setopt(curl, CURLOPT_HTTPPOST, Post);
}
curl_global_init(CURL_GLOBAL_ALL); //new

curl_easy_setopt(curl, CURLOPT_URL, url.c_str());
curl_easy_setopt(curl, CURLOPT_ERRORBUFFER, errorBuffer);

curl_easy_setopt(curl, CURLOPT_HEADER, header);

//==================Proxy HTTP====================================================================
if(proxy != "")
{
curl_easy_setopt(curl, CURLOPT_PROXYTYPE, CURLPROXY_HTTP);
curl_easy_setopt(curl, CURLOPT_PROXY, proxy.c_str());
}
//==============================Socks5============================================================
/* if(Soks5 != "")
{
curl_easy_setopt(curl, CURLOPT_PROXYTYPE, CURLPROXY_SOCKS5);
curl_easy_setopt(curl, CURLOPT_PROXY, Soks5.toStdString().c_str());
}*/
//==========================================================================================

curl_easy_setopt(curl, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.1) Gecko/20061204 Firefox/2.0.0.1");

curl_easy_setopt(curl, CURLOPT_FOLLOWLOCATION, followFlag);
curl_easy_setopt(curl, CURLOPT_REFERER, referer.c_str());

curl_easy_setopt(curl, CURLOPT_NOBODY, disBodyFlag);

curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, writer);
curl_easy_setopt(curl, CURLOPT_WRITEDATA, &buffer);
//=====================SSL===================================
curl_easy_setopt(curl, CURLOPT_SSL_VERIFYPEER, 0L);
curl_easy_setopt(curl, CURLOPT_SSL_VERIFYHOST, 0L);
//============================================================
curl_easy_setopt(curl, CURLOPT_TIMEOUT, 3600);
qApp->processEvents();
if(postdata != "")
{
curl_easy_setopt(curl, CURLOPT_HTTPPOST, 1);
curl_easy_setopt(curl, CURLOPT_POST, true);
curl_easy_setopt(curl, CURLOPT_POSTFIELDS, postdata.c_str());

qApp->processEvents();
}

if(cookie == "")
{
// curl_easy_setopt(curl, CURLOPT_COOKIEJAR, "c:/cookie.txt");
//curl_easy_setopt(curl, CURLOPT_COOKIEFILE, "c:/cookie.txt");
curl_easy_setopt(curl, CURLOPT_COOKIEFILE, "");
//curl_easy_setopt(curl, CURLOPT_COOKIELIST, "");
}
else
{
curl_easy_setopt(curl, CURLOPT_COOKIE, cookie.c_str());
}

result = curl_easy_perform(curl);

curl_easy_reset(curl);

referer.clear();
postdata.clear();
header = 1;
disBodyFlag = 0;
followFlag = 1;

qApp->processEvents();
if (result == CURLE_OK)
{

return buffer;
}
else
//cout << "Error: [" << result << "] - " << errorBuffer;
Error = errorBuffer;
Error.append(" ");
Error.append(result);

return "";

}

#endif // AS_CURL_H
Click to expand...

это класс курла, ну и вот как загружаю

QString xStr = curl->load("http://slil.ru/29447416")->exec();

qDebug() << xStr;
Click to expand...

в общем проблема не в в классе, потому что любой другой сайт она загружает отлично, я им давно пользуюсь, либо именно для этого сайта в нем чего то не хватает.

M_script · 9 Jul 2010

Без этого slil.ru не пускает:

PHP:

curl_easy_setopt(curl, CURLOPT_HTTP_CONTENT_DECODING, 1); curl_easy_setopt(curl, CURLOPT_ENCODING, "deflate, gzip, x-gzip, identity, *;q=0");

На будущее:
Если через браузер работает, а через программу нет, то посмотри, какие различия в заголовках.

eldar85 · 9 Jul 2010

спасибо большое, сейчас попробую))
а я смотрел этот декодинг, перепробывал кучу вариантов, гуглил гуглил в итоге только распсиховался... ))

eldar85 · 9 Jul 2010

HTTP/1.1 200 OK
Server: nginx/0.3.17
Date: Fri, 09 Jul 2010 17:40:24 GMT
Content-Type: text/html; charset=windows-1251
Transfer-Encoding: chunked
Connection: keep-alive
Content-Encoding: gzip
Click to expand...

не помогло, только последняя строка в хидере добавилась и все, а тела как не было так и нет...

eldar85 · 9 Jul 2010

блин... какой странный сайт зараза, уже за него второй раз берусь и никак не въеду...
я так понимаю содержимое тела страницы закодировано, в принципе те строки что вы показали должны его раскодировать, но один хрен тишина, попробывал для интереса поставить

curl_easy_setopt(curl, CURLOPT_HTTP_CONTENT_DECODING, 0); curl_easy_setopt(curl, CURLOPT_ENCODING, "deflate, gzip, x-gzip, identity, *;q=0");
Click to expand...

в итоге хоть какие то квадратики появились в теле))))

eldar85 · 9 Jul 2010

curl_easy_setopt(curl, CURLOPT_HTTP_CONTENT_DECODING, 1);
curl_easy_setopt(curl, CURLOPT_ENCODING, "deflate, gzip, x-gzip, identity, *;q=0");
Click to expand...

а так тела нет по прежнему...

M_script · 9 Jul 2010

eldar85 said:

не помогло, только последняя строка в хидере добавилась и все, а тела как не было так и нет...
Click to expand...

Действительно, не работает.
Писал программу пару дней назад, все было отлично. Видимо что-то сменили. Сейчас посмотрю

Peklots · 9 Jul 2010

as_curl *disableBody();
Click to expand...

WTFOMG?

eldar85 · 9 Jul 2010

да нет, он же отключен

as_curl *disableBody();
Click to expand...

включается если прописываешь что то типа

curl->load("http://google.ru")->disableBody()->exec();
Click to expand...

а если так

curl->load("http://google.ru")->exec();
Click to expand...

то он выключен

eldar85 · 9 Jul 2010

ну как там дела, посмотрели? блин я тут тоже химичу, но пока безрезультатно...

assdancer · 9 Jul 2010

Проблема в куках. Попробуй получить страницу zalil.ru, потом 2 раза запросить саму стр с файлами (сохраняя куки). я писал когдато прогу. работает и сейчас

eldar85 · 9 Jul 2010

погоди, но ведь если мне кто то скидывает ссылку http://slil.ru/29447416 то я же сразу без zalil.ru могу открыть ее в браузере...

eldar85 · 10 Jul 2010

попробывал загрузить zalil.ru
потом два раза slil.ru
куки вот так использовал, но то же самое один в один

curl_easy_setopt(curl, CURLOPT_COOKIEJAR, "c:/cookie.txt");
curl_easy_setopt(curl, CURLOPT_COOKIEFILE, "c:/cookie.txt");
Click to expand...

eldar85 · 10 Jul 2010

причем zalil.ru

curl->load("http://zalil.ru")->exec();
Click to expand...

выводится отлично, тело видно, а slil.ru ни в какую гад

eldar85 · 10 Jul 2010

и slil.ru если без цифр то тоже выводит тело

xStr = curl->load("http://slil.ru/")->exec();
Click to expand...

Chrome~ · 10 Jul 2010

У меня выходит получить страницу slil.ru, когда составляю такой запрос:

GET / HTTP/1.1
Host: slil.ru
User-Agent: <User-Agent>
Accept-Encoding: gzip,deflate
Keep-Alive: <какое нибудь значение>
Connection: keep-alive
Click to expand...

Но только сервак после данного запроса возвращает редирект на zalil.ru, у которого уже код страницы такой, как написал ТС.

eldar85 · 10 Jul 2010

а можешь код показать как получил?

greki_hoy · 10 Jul 2010

ы ? "Закачка файла начнется через 10 секунд"

Code:

int main(void)
{
	SOCKET s;
	int len;
	wsa_init();
	strcpy(req, "GET /29447416 HTTP/1.1\r\n"
		"Host: www.slil.ru\r\n"
		"User-Agent: Mozilla/1.0 (Windows; U; Windows NT 5.1; ru; rv:1.9.0.3) Gecko/2008092417 AdCentriaIM/1.7 Firefox/3.0.3\r\n"
		"Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8\r\n"
		"Accept-Language: ru,en-us;q=0.7,en;q=0.3\r\n"
		"Accept-Encoding: inflate\r\n"
		"Accept-Charset: windows-1251,utf-8;q=0.7,*;q=0.7\r\n"
		"Keep-Alive: 300\r\n"
		"Connection: keep-alive\r\n\r\n");
	init(&s, "www.slil.ru", 80);
	send(s, req, strlen(req), 0);
	req[len = recv(s, req, _countof(req) - 1, 0)] = ANSI_NULL;
	CharToOem(req, req);
	WriteConsole(GetStdHandle(-11), req, len, &len, 0);
	closesocket(s);
}

как увидеть содержимое страницы на slil.ru закачанную курлом

eldar85 New Member

eldar85 New Member

eldar85 New Member

M_script Members of Antichat

eldar85 New Member

eldar85 New Member

eldar85 New Member

eldar85 New Member

M_script Members of Antichat

Peklots Elder - Старейшина

eldar85 New Member

eldar85 New Member

assdancer New Member

eldar85 New Member

eldar85 New Member

eldar85 New Member

eldar85 New Member

Chrome~ Elder - Старейшина

eldar85 New Member

greki_hoy Member

Useful Searches

как увидеть содержимое страницы на slil.ru закачанную курлом

eldar85 New Member

eldar85 New Member

eldar85 New Member

M_script Members of Antichat

eldar85 New Member

eldar85 New Member

eldar85 New Member

eldar85 New Member

M_script Members of Antichat

Peklots Elder - Старейшина

eldar85 New Member

eldar85 New Member

assdancer New Member

eldar85 New Member

eldar85 New Member

eldar85 New Member

eldar85 New Member

Chrome~ Elder - Старейшина

eldar85 New Member

greki_hoy Member