Διαβάστε τα άρθρα πίσω από τα paywalls με το masquerading ως Googlebot

Το Διαδίκτυο βρίσκεται σε σημείο ανατροπής. Η συνεχιζόμενη άνοδος του adblocking έθεσε τέρμα στο πρότυπο εσόδων που βασίζεται αποκλειστικά σε δολάρια διαφημίσεων για τη λειτουργία ιστοτόπων και επιχειρήσεων.

Ειδικά οι περιοχές ειδήσεων έχουν αρχίσει να πειραματίζονται με τρόπους διαφοροποίησης των εισοδηματικών πηγών και μια εξέχουσα επιλογή που έχουν όλα τα sites όπως το The Wall Street Journal, οι Financial Times, οι New York Times ή το The Washington Post είναι το σύστημα paywall.

Υπάρχουν διάφοροι τύποι paywalls, αλλά όλοι έχουν κοινό ότι εμποδίζουν την πρόσβαση στο περιεχόμενο είτε άμεσα είτε μετά την ανάγνωση συγκεκριμένου αριθμού άρθρων στο χώρο.

Οι επισκέπτες στη συνέχεια καλούνται να εγγραφούν στον ιστότοπο για να συνεχίσουν να διαβάζουν άρθρα σχετικά με αυτό.

Μπορεί να έχει νόημα από επιχειρηματική άποψη, και μπορεί να είναι πιο προσοδοφόρα από το να αγωνίζεται με χρήστες που τρέχουν adblockers, αλλά υπάρχει ένα μειονέκτημα σε αυτό τόσο για την πληρωμένη τοποθεσία και τον αποκλεισμένο χρήστη.

Οι ιστότοποι χάνουν ένα υψηλό ποσοστό επισκεπτών εάν εφαρμόσουν ένα σύστημα paywall. Δεν είναι σαφές πόσο υψηλό είναι το ποσοστό και πιθανότατα ποικίλλει από τοποθεσία σε τοποθεσία, αλλά πιθανότατα είναι πολύ υψηλότερο από το ποσοστό των επισκεπτών που προσυπογράφουν στον ιστότοπο αφού παρουσιάστηκε η επιλογή να εγγραφεί για να διαβάσει το επιθυμητό άρθρο.

Μασκάρετε τον περιηγητή σας

Δεν είναι μυστικό ότι οι ιστότοποι ειδήσεων επιτρέπουν την πρόσβαση σε aggregators και μηχανές αναζήτησης. Εάν ελέγξετε τις Ειδήσεις Google ή την Αναζήτηση για παράδειγμα, θα βρείτε άρθρα από ιστότοπους με paywalls που αναφέρονται εκεί.

Στο παρελθόν, οι ιστότοποι ειδήσεων επέτρεψαν την πρόσβαση στους επισκέπτες που προέρχονταν από μεγάλους συλλέκτες ειδήσεων, όπως το Reddit, το Digg ή το Slashdot, αλλά αυτή η πρακτική φαίνεται να είναι τόσο καλή όσο οι νεκροί σήμερα.

Ένα άλλο τέχνασμα, για να επικολλήσετε τον τίτλο του άρθρου σε μια μηχανή αναζήτησης για να διαβάσετε απευθείας την αποθηκευμένη ιστορία σε αυτό, δεν φαίνεται να λειτουργεί σωστά πια, καθώς και τα άρθρα σχετικά με τοποθεσίες με paywalls δεν αποθηκεύονται πλέον.

Ενημέρωση : Το Wall Street Journal ανακοίνωσε ότι θα συνδέσει την τρύπα που περιγράφεται παρακάτω. Μπορείτε ακόμα να διαβάσετε τα άρθρα πίσω από το paywall του ιστότοπου, ωστόσο, χρησιμοποιώντας την ακόλουθη μέθοδο:

  1. Πατήστε το F12 όταν βρίσκεστε στη σελίδα του άρθρου με το κομμένο αντικείμενο και το αίτημα εγγραφής για να το διαβάσετε πλήρως.
  2. Ανοίξτε την καρτέλα της κονσόλας.
  3. Επικόλληση javascript: window.location = "// m.facebook.com/l.php?u="+encodeURIComponent (window.location.href);
  4. Πατήστε enter.

Η σελίδα πρέπει να φορτωθεί ξανά και το άρθρο πρέπει να φορτωθεί πλήρως. Θα μπορούσατε επίσης να δημοσιεύσετε τον σύνδεσμο άρθρου στο Facebook, για παράδειγμα σε μια νέα θέση που μόνο εσείς μπορείτε να δείτε. Κάνοντας κλικ στον αναρτημένο σύνδεσμο θα πρέπει να φορτώσετε το άρθρο στο σύνολο του στην ιστοσελίδα The Wall Street Journal.

User-Agent και Referrer

Αναρωτιέστε πιθανώς πώς μπλοκάρουν οι ιστότοποι ή επιτρέπουν την πρόσβαση στο περιεχόμενο του ιστότοπου. Οι μέθοδοι έχουν βελτιωθεί με την πάροδο των ετών και δεν είναι πλέον αρκετό να αλλάξετε απλώς τον παραπεμπτικό του προγράμματος περιήγησης στο //www.google.com/ για να αποκτήσετε πλήρη πρόσβαση στο περιεχόμενο ενός ιστότοπου.

Αντ 'αυτού, οι ιστότοποι χρησιμοποιούν διάφορους ελέγχους που περιλαμβάνουν το χρήστη-παράγοντα, παραπομπή και τα cookies, και μερικές φορές ακόμη περισσότερο από αυτό, για να καθορίσουν τη νομιμότητα της πρόσβασης.

Γενικές πληροφορίες

Πιθανώς ο καλύτερος τρόπος για να αποκρύψετε το πρόγραμμα περιήγησης είναι να το εμφανίσετε να είναι το Googlebot.

  • Αναφορά: //www.google.com/
  • User-Agent: Mozilla / 5.0 (συμβατό, Googlebot / 2.1; + // www.google.com/bot.html

Firefox

Οι χρήστες του Firefox χρειάζονται δύο πρόσθετα προγράμματος περιήγησης για αυτό: το πρώτο, το RefControl, για να αλλάξετε την τιμή αναφοράς όταν επισκέπτεστε ιστότοπους ειδήσεων, το δεύτερο, Switcher Agent Agent, για να αλλάξετε τον παράγοντα χρήστη του προγράμματος περιήγησης.

  1. Κάντε λήψη και εγκαταστήστε και τις δύο επεκτάσεις στο πρόγραμμα περιήγησης ιστού του Firefox.
  2. Πατήστε το πλήκτρο Alt και επιλέξτε Εργαλεία> Επιλογές RefControl.
  3. Κάντε κλικ στο κουμπί "Προσθήκη ιστότοπου", εισάγετε ένα όνομα τομέα κάτω από τον ιστότοπο, επιλέξτε προσαρμοσμένη ενέργεια και πληκτρολογήστε //www.google.com/ ως παραπομπή.
  4. Επαναλάβετε αυτό για όλους τους ιστότοπους ειδήσεων στους οποίους θέλετε να έχετε πρόσβαση (μερικοί μπορεί να μην λειτουργούν ακόμη και αν κάνετε τις αλλαγές, γι 'αυτό να έχετε κατά νου).
  5. Όταν τελειώσετε, κλείστε το παράθυρο διαμόρφωσης.
  6. Αγγίξτε πάλι το πλήκτρο Alt και επιλέξτε Εργαλεία> Προεπιλεγμένος παράγοντας χρήστη> Επεξεργασία πράκτορες χρηστών από το μενού.
  7. Επιλέξτε Νέο> Συνεργάτη Χρήστη και αντικαταστήστε τη συμβολοσειρά στο πεδίο Χρήστη Χρήστη με το Mozilla / 5.0 (συμβατό, Googlebot / 2.1; + // www.google.com/bot.html). Ονομάστε το Googlebot.
  8. Βγείτε από το μενού.
  9. Πριν αποκτήσετε πρόσβαση σε αυτούς τους ιστότοπους, πατήστε Alt και επιλέξτε Default Agent Agent> Googlebot.

Αυτό είναι το μόνο που υπάρχει σε αυτό. Είναι λίγο ατυχές το γεγονός ότι δεν υπάρχει επέκταση για τον Firefox που αλλάζει τον παράγοντα χρήστη αυτόματα με βάση τους ιστότοπους που επισκέπτεστε.

Google Chrome

Οι χρήστες του Google Chrome μπορούν να εγκαταστήσουν επεκτάσεις όπως το Switcher Agent Agent και το Referer Control που είναι διαθέσιμες για να κάνουν το ίδιο το πρόγραμμα περιήγησης.

Υπάρχει όμως μια άλλη δυνατότητα, και αυτό είναι να δημιουργήσετε μια προσαρμοσμένη επέκταση που αυτοματοποιεί τη διαδικασία στο πρόγραμμα περιήγησης.

Παρέχονται οδηγίες στην Elaineou. Το μόνο που χρειάζεται βασικά είναι να δημιουργήσετε ένα νέο κατάλογο στον τοπικό υπολογιστή, να δημιουργήσετε τα δύο αρχεία background.js και manifest.json μέσα σε αυτό και να αντιγράψετε και να επικολλήσετε τον κώδικα που βρίσκεται στον ιστότοπο στα αρχεία.

Θα χρειαστεί να ενεργοποιήσετε την "κατάσταση προγραμματιστή" στο chrome: // extensions / και στη συνέχεια να επιλέξετε "load unpacked extension" για να επιλέξετε τον φάκελο που έχετε δημιουργήσει για να φορτώσετε την επέκταση στο Chrome.

Μπορείτε να τροποποιήσετε τη λίστα ιστότοπων που υποστηρίζει για να προσθέσετε νέες.