Форум

Написать парсер самостоятельно

Цитировать

Для начало каждого парсера необходимо определить способ соединения с сайтом(донором). Простое или через авторизацию. Простое соединение понятно. А вот соединение через авторизацию сразу на вскидку не так просто. Тем более (типы) стандарты авторизации разные. В данном примере рассматриваем авторизацию basic. Ниже приведу пример  :

Цитировать

На первый взгляд ни чем не отличается от метода curl в php

 var webRequest = (HttpWebRequest)WebRequest.Create(str);
webRequest.Method = "GET";
webRequest.ContentType = "application/json";
webRequest.UserAgent = "Mozilla/5.0 (Windows NT 5.1; rv:28.0) Gecko/20100101 Firefox/28.0";
webRequest.ContentLength = 0; // added per comment
string autorization = "ST1970" + ":" + "Lancusi-2006";//сюда логин и пароль в запрос
byte[] binaryAuthorization = System.Text.Encoding.UTF8.GetBytes(autorization);
autorization = Convert.ToBase64String(binaryAuthorization);
autorization = "Basic " + autorization;
webRequest.Headers.Add("AUTHORIZATION", autorization);

Цитировать

Ну а дальше получаем  наш response  и передаем в строку.

var webResponse = (HttpWebResponse)webRequest.GetResponse();
if (webResponse.StatusCode != HttpStatusCode.OK) Console.WriteLine("{0}", webResponse.Headers);
using (StreamReader reader = new StreamReader(webResponse.GetResponseStream()))
{
string s = reader.ReadToEnd();

reader.Close();
return s;
}

Цитировать

В приложении приведен полный пример метода авторизации basic

Загруженные файлы:
  • Skrinshot-2017-11-02-11_54_43.png