Organizē Botmaster Labs, nav plānots. Man nav laika, video vajadzīgs sacensībām, kā jauna tendence, lai gan ar labiem ekrānuzņēmumiem visu var izskaidrot vienkāršāk (mans IMHO), un es īsti nevēlos neko filmēt. Palicis ļoti maz ienesīgu tēmu, stulbais spams vispār vairs nevalda, te vajag padomāt un neviens tēmas nešaus, ja vien nemēģināsi novecojušās ielikt smukā iesaiņojumā un nedaudz piepūderēt. :) Bet tas nav par mums. Kopumā šie 3 “nedrīkst”, manuprāt, būtībā kļuva par šķēršļiem dalībai konkursā lielākajai daļai potenciālo dalībnieku. Tas ir tāpat kā automašīnas remonts no trim: lēts, kvalitatīvs, ātrs - serviss var izpildīt tikai 2 nosacījumus vienlaikus. sēdēt un izvēlēties to, kas jums ir tuvāks. :) Ar konkursu ir tāpat: man ir laiks, es zinu, kā uztaisīt video, bet nav tēmas, vai es zinu, kā uztaisīt video, ir tēma, bet man nav laika plkst. viss, vai man ir brīvs laiks un ir maza tēma, bet video ir bail. Bet tas ir labi, ja vienlaikus tiek izpildīti 2 nosacījumi. Nu, labi, atmetīsim dziesmu tekstus. Es turpināšu pie sevis. Es neplānoju, tas nozīmē, ka piedalījos konkursā, pat izvēlējos, par kuru rakstu balsošu. Lai ko jūs teiktu, Doz ļoti labi pārzina programmatūru un zina, kā to ļoti saprātīgi izmantot. Bet šodien uzzināju, ka konkursā ir parādījusies intriga. Izrādās, ka es nevarēšu balsot, un to varēs izdarīt tikai jaunpienācēji, kuri iegādājās programmatūru 2011. gadā, un konkurss ir paredzēts viņiem. Es biju nedaudz pārsteigts, bet īpašnieks ir džentlmenis. Konkurss ir reklāmas kampaņa, un Aleksandrs labāk zina, kā to īstenot. Vispār es tad nolēmu ievietot rakstu, nedaudz vieglāk ir rakstīt, ja ir skaidrs, kam, visam kolhozam, patiesībā to nav iespējams izdarīt.
Garais ievads ir beidzies, tagad pie lietas.
Kas vajadzīgs iesācējam, kad viņš ir iegādājies šādu superkombainu, kas ir Xrumer + Hrefer komplekss? Tieši tā, iemācieties strādāt pie tā un atmetiet ilūziju, ka jūs varat nopelnīt naudu, sākot sūtīt surogātpasta lapas. Ja jūs tā domājat, labāk nekavējoties ziedojiet savu naudu labdarībai. Jums jāiemācās izmantot kompleksa rīkus, vēlams to uzasināt sev. “Ņem vairāk – met tālāk” laiks ir pagājis. Kvantitāte dod vietu kvalitātei. Tas nozīmē, ka mēs paši saliksim bāzi; ja jūs neiemācīsieties to izdarīt, jūs atpaliksiet no vilciena. Protams, Khrefer mums palīdzēs šajā jautājumā. Ja plānojat reklamēt savus resursus Google tīklā, mums arī ir jāmeklē donoru vietnes, izmantojot Google. Manuprāt, tas ir saprotami un loģiski. Taču Google, tāpat kā vara kalna saimniece, neatdod savu bagātību visiem. Jums ir nepieciešama pieeja tam. Uzreiz gribu teikt, ka neceriet, ka, balstoties uz zīmēm, ko atrodat sabiedrībā, varēsiet kaut ko savākt. Iemesls, kāpēc tie ir pieejami publiski, ir tāpēc, ka tie ir bezvērtīgi. Tālāk tēmu neattīstīšu. Labāk ir pastāstīt, kā to pareizi salikt, lai jūs varētu redzēt rezultātu, pārējo varat izstrādāt pats, galvenais ir saprast principu. Mums ir jāsavāc pareizie, pamatojoties uz konkrēto mums nepieciešamo dzinēju īpašībām, nevis forumu īpašībām kopumā. Tā ir galvenā iesācēju kļūda – nekoncentrēties uz kādu konkrētu lietu, bet mēģināt aptvert visu pilnībā. Un arī, ja vēlaties parsēt vairāk vai mazāk normālu datu bāzi, pārtrauciet izmantot operatorus vaicājumos. Nav "inurl:", "site:", "title" utt. Google nekavējoties aizliedz tādus meklētājus kā jūs. Tāpēc mēs rūpīgi izpētām dzinējus, ar kuriem Khrumer pašlaik strādā:
Darbojas ar php-Fusion
Versijā Khroomer 7.07 programma ir apmācīta vairākiem jauniem dzinējiem:
forums.biz, forums.biz, 1forum.biz, 7forum.biz utt.
phpBB-fr.com, Solaris phpBB tēma
Un jaunu lietu apguves process ir nepārtraukts.
Kopumā mums ir jāsagatavo pareizi vaicājumi parsēšanai, ko veic Hrefer. Ņemsim par piemēru forumu dizhok. SMF forumi. Un sāksim izjaukt to rezerves daļās parsēšanai. Mūsu mīļais Google mums palīdzēs šajā jautājumā. Ievadiet vaicājumu Google tīklā SMF forumi- meklēšanas rezultātos ir daudz atkritumu, attinam uz kādu 13. lapu un atlasām jebkuru saiti. Es uzgāju šo: http://www.volcanohost.com/forum/index.php?topic=11.0. Atvērsim un izpētīsim. Lapā jāatrod kaut kas raksturīgs, ko var izmantot citu lapu meklēšanai šajā dzinējā. Kājenē pamanām šādu uzrakstu Darbojas ar SMF 1.1.14, citējiet to un ievadiet to Google, tas parāda, ka šim vaicājumam tas zina aptuveni 59 miljonus iespēju. Mēs ātri izskatām saites, pievienojam šim atslēgvārdam vēl dažas opcijas, piemēram, "Darbojas ar SMF 1.1.14" papele vai "Powered by SMF 1.1.14" viagra. Mēs pārliecināmies, ka pieprasījums ir lielisks, rezultāti ir tikai forumi un gandrīz nekādu atkritumu.
Turklāt mūs neinteresē kvantitāte, bet gan kvalitāte, kā jau teicu iepriekš. Uz priekšu. No tā paša foruma mēs paņemam vēl vienu frāzi no kājenes: , mēs to arī citējam un ievadām Google. Atbildot uz to, viņš atklāj, ka zina vairāk nekā 13 miljonus rezultātu. Atkal mēs ātri izskatām rezultātus, pievienojam papildu vārdus un pārbaudām rezultātus ar tiem. Mēs pārliecināmies, ka pieprasījums ir lielisks un tajā arī gandrīz nav atkritumu. Vispār jau ir 2 dzelzs pieprasījumi. Iesaku pagaidām atstāt pirmo forumu mierā un turpināt vākt pieprasījumus no citiem forumiem. Par laimi, Google ir atvērts pēc pieprasījuma. 2006-2008, Simple Machines LLC. No meklēšanas rezultātiem mēs ņemam, piemēram, šos forumus: http://www.snowlinks.ru/forum/index.php?topic=1062.0 un http://litputnik.ru/forum/index.php?action=printpage ;topic=380.0 kājenēs mēs no viņiem paņemam šādus vaicājumus: “Powered by SMF 1.1.7” un “Powered by SMF 1.1.10” (Es vienmēr iesaku Hrefer vaicājumus ievadīt pēdiņās, jo mums vispirms ir vajadzīga kvalitāte visi). Es domāju, ka ir skaidrs, ko mēs darām, galu galā mums būs noteikta vaicājumu datu bāze forumu meklēšanai SMF dzinējā (tā tika izvēlēta kā piemērs, tas pats ar citiem dzinējiem).
Tas izskatīsies apmēram šādi:
"Nodrošina SMF 1.1.2"
"Nodrošina SMF 1.1.3"
"Darbojas ar SMF 1.1 RC2"
"Nodrošina SMF 1.1.4"
"Darbojas ar SMF 1.1.8"
"Nodrošina SMF 1.1.7"
"2006-2008, Simple Machines LLC"
Un tas vēl nav viss. Apkopojot dzinēju versijas, dažos SMF forumos kājenē atrodam uzrakstu “2001-2006, Lewis Media”. Mēs pārbaudām šo pieprasījumu, tas arī mūs pilnībā apmierina. Mēs atrodam līdzīgu pieprasījumu: "2001-2005, Lewis Media". Pārlūkojot kājenes tālāk, mēs atrodam šādu pieprasījumu: “SMFone dizains, ko izveidojis A.M.A, ported to SMF 1.1”. Pārbaudām - lieliski. Un tā tālāk. Pusstunda darba, un jums ir brīnišķīga dzinēja vaicājumu datu bāze, un Google jums aizliedz šos vaicājumus daudz retāk nekā tad, ja tajos izmantojat operatorus. Un tajā pašā laikā jūsu datu bāze būs daudz tīrāka nekā tad, ja izmantojat vaicājumus, piemēram, "index.php?topic=", jo šeit Google sniegs ne tikai mums nepieciešamos forumus, bet arī daudzus kreisos resursus, kur tas bija iespējams atstāj saiti uz foruma tēmu. Jūs varētu iebilst, kas tur slikts? Citi atstāja saiti, tāpēc varam arī mēs. Bet! Saites var atstāt ne tikai Khrumer, bet arī citas programmas. Turklāt tos var īpaši pielāgot komentāru rakstīšanai par noteiktu resursu, tā saukto augsti specializēto programmatūru, kā arī šādas saites var atstāt ar roku. Es vēlreiz atkārtoju, ka mums nav svarīgs atkritumu daudzums, bet gan kvalitāte, mēs apkoposim datu bāzi ar pareiziem pieprasījumiem. Šīs metodes priekšrocība ir tāda, ka jums praktiski nebūs jākonfigurē siets - filtrs
, varat to vienkārši izslēgt, jo Google jums atkritumus praktiski nedos.
Es domāju, ka sākotnējā posmā iemācīties pareizi lietot Hrumeru ir ļoti svarīgi, jo, kad to iemācīsities, jūs vienmēr varat atrast Hrumeru pielietojumu neatkarīgi no situācijas izmaiņām. Aizsardzība kļūst arvien sarežģītāka, un, ja dažiem dzinēju veidiem aizsardzība ir pastiprināta un Khrumer šobrīd ar to netiek galā, tad nav jēgas tērēt resursus šo saišu savākšanai un pēc tam strādāt pie tām ar Khroomer. labāk ir koncentrēt spēkus tam, kas dod rezultātus. Un tajā pašā laikā, ja Botmaster Labs komanda iemācīja Khroomer kaut ko jaunu, jūs varat ātri izoperēt jaunu pacientu un sagatavot bāzi Khroomer, kamēr pacients vēl ir silts. Laiks ir nauda; resurss var vairs nebūt svarīgs, pērkot bāzi. kāds savācis. Turklāt pareiza bāzu savākšana sev ievērojami paplašina Khrumer “balto” lietojumu. Un tieši šeit viss virzās, gribam vai negribam, un turpinās balināšanas vai nosirmošanas process. Melni palagi kļūst par pagātni visos iespējamos veidos.
Visi pārējie tehniskie aspekti darbā ar Hrefer apskatāmi palīdzībā un pie tiem nav jēgas kavēties, visi mērķi, punkti, sekundes tiek iestatītas eksperimentāli katram auto atsevišķi.
Kā bonusu es šeit ievietošu veidni ķīniešu meklētājprogrammas Baidu parsēšanai. Kādu dienu viņi man par to jautāja, tāpēc es to darīju nejauši, atvainojos par vārdu spēli. :)
Hostname=http://www.baidu.com
Query=s?wd=
LinksMask =
TotalPages=100
Nākamā lapa=
Nākamā lapa2=
CaptchaURL=
CaptchaImage=
CaptchaField=
Mēģināju tos testēt parsēt, aizlieguma nebija, Khrefer ātri savāca resursus, visi parsēšanas vaicājumi bija līdzīgi kā Google, bet tur bija daudz ķīniešu resursu, ar augstu PR, un turklāt bija daudz vietu, kur nebija Eiropietis kādreiz bija spēris kāju. Labāk ir parsēt ķīniešu vaicājumus. Google tulkotājs palīdzēs šajā jautājumā, ierakstiet atslēgvārdu sarakstu krievu valodā un tulkojiet to ķīniešu valodā. Patiesība filmā "
Vārdi"Ķīniešu valodā nevar pievienot atsauces vārdus, tie ir jāpārkodē.
Ķīniešu valodas vietā:
伟哥 - Viagra
吉他 - ģitāra
其他 - atpūta
保险公司 - apdrošināšana
Ievietojiet šos aizstājošos kodus Words failā:
%E4%BC%9F%E5%93%A5
%E5%90%89%E4%BB%96
%E5%85%B6%E4%BB%96
%E4%BF%9D%E9%99%A9%E5%85%AC%E5%8F%B8
Ja reklamējat apdrošināšanas vietni, tad, ievietojot saiti savā profilā tematiskā (!) pat pēc pieprasījuma atrastā ķīniešu forumā " SMF forums" 保险公司 tas būs ļoti labi.
Nobeigumā es vēlos teikt, ka es nekad nesapratu cilvēkus, kuri sūdzējās, ka Khrefers ir slikti vai slikti pagatavoti; atbildot uz to, es vienmēr gribēju teikt, jūs vienkārši nezināt, kā tos pagatavot. Neviens parsētājs nevar apkopot rezultātus labāk par atsauci; pieprasījumiem ir jābūt pareiziem. Hrefer ir auto: labs, ciets, ražots vāciski, bet to vada cilvēks un viss atkarīgs no tā, cik labi braukts, nevar piespiest mašīnu braukt gan pa labi, gan pa kreisi vienlaicīgi.
Atsevišķs temats ir datu bāzu tīrīšana, es reiz to darīju pirms 3 gadiem iepriekšējam konkursam. Lielākoties tur joprojām viss ir aktuāls, bet tagad var atteikties pārbaudīt 200 OK, man ļoti nepatika šis process, bija ļoti lielas kļūdas, tika izfiltrēts daudz nevajadzīgu lietu. Tagad to var izdarīt gandrīz automātiski Khrumer darbības laikā, lai gan šis process nav pilnīgs analogs pārbaudei “200 OK”. Jebkurā gadījumā: pirms neilga laika Khrumer parādījās brīnišķīga iespēja - projekta īstenošanas laikā aplaupīt informāciju no resursiem. Tas izskatās šādi. Jūs ievadāt veidni, kas tiks apstrādāta darbības laikā, un no veidnes savāktā informācija tiks ievadīta failā xgrabbed.txt mapē Žurnāli. Šo funkciju var izmantot jebko, iztēles lidojums ir milzīgs. Es izmantoju šo funkciju reizi nedēļā, lai noņemtu saites no savas darba datu bāzes, kurai beidzies derīguma termiņš. Nav noslēpums, ka forumi katru dienu izmirst, lai iztīrītu mūsu datu bāzi no šādiem resursiem, un šajā gadījumā mums palīdzēs rīks “Automātiskā sagrābšana”.
Galu galā jāatzīst, ka, bieži ierakstot, piemēram, http://www.laptopace.com/index.php, mēs redzam, ka šis domēns jau ir, piemēram, labs puisis, kas pārdod naudu, bet nav forums tur. Tātad, lai izmestu šo izdedžu no bāzes, mēs aplaupīsim. :) Atveriet lapas avota kodu un skatiet tur šo ierakstu:
laptopace.com
Satveršanai mēs to pārveidojam par
[...]
Tagad visi “mirušie vīrieši” no Goudaddi mums būs zināmi pēc vārda.
Šeit ir neliela automātiskās sagrābšanas rīka izvēle, ja vēlaties notīrīt dažādu domēnu, kuriem beidzies derīguma termiņš, datubāzi:
[...]
[...]
