Web mining, czyli sieć patrzy na Ciebie

/0 Komentarze/w , /Autor

Sieć patrzy i próbuje Cię zrozumieć, żeby móc się dostosować do Twoich potrzeb, przede wszystkim zaś, by te potrzeby wykreować – tak w sporym uproszczeniu wyjaśnić można pojęcie web mining. Eksploracja danych w internecie to zjawisko związane z opisywanym już na blogu brakiem anonimowości w internecie, ale też z poruszaną niedawno kwestią coraz powszechniejszej automatyzacji. Data mining to zbiór technik —automatycznego odkrywania nietrywialnych zależności, schematów, wzorców, reguł (ang. patterns) w zbiorach danych (ang. Knowledge Discovery in Databases, KDD) . Jednym z takich zbiorów jest internet, którego eksplorację nazywamy z angielskiego web mining lub web data mining.

Analiza użytkowania sieci pozwala na kontrolę zachowań użytkowników i wysnuwanie wniosków z wyników tej kontroli. Badania mogą na przykład wykazać, że właściwe zachowanie użytkowników różni się od zachowania oczekiwanego podczas projektowania strony.  W efekcie możliwe jest wprowadzenie zmian na stronie tak, by jak najskuteczniej odpowiadała na zapotrzebowanie odbiorców.
Eksploracja zasobów może być przeprowadzona na wiele sposobów, najczęściej jednak realizowana jest według modelu Cross-Industry Standard Process for Data Mining, który składa się z sześciu etapów. 

Etapy modelu Cross-Industry Standard Process for Data Mining:

  1. —Zrozumienie uwarunkowań biznesowych – na tym etapie kluczowe jest jasne sformułowanie celów i wymagań dotyczące projektu.
  2. Zrozumienie danych –  zebranie danych i ich poznanie za pomocą eksploracyjnej analizy. Na tym etapie odkryte zostają pierwsze zależności, może też ocenić jakość danych.
  3. Przygotowanie danych – wykonanie przekształceń, czyszczenie danych, usunięcie wartości skrajnych.
  4. —Modelowanie –  wybór i zastosowanie odpowiednich technik modelujących, następnie zaś skalowanie parametrów modelu w celu optymalizacji wyników. Wyróżnia się trzy główne techniki modelowania: —grupowanie, —reguły asocjacyjne i —klasyfikację.
  5. Ewaluacja –  ocena  modeli pod względem jakości i efektywności przed ich wdrożeniem. Na tym etapie konieczne jest ustalenie, czy model spełnia wszystkie założenia z pierwszego etapu.
  6. Wdrożenie – wykorzystanie modeli zgodnie z celami biznesowymi.

 Kilka elementów analizy użytkowania sieci:

  • —Analiza kliknięć (ang. click stream analysis) – do jej zrozumienia konieczna jest znajomość pojęcia strumienia kliknięć. Jest on sekwencją odwiedzanych stron przez użytkownika podczas surfowania w sieci. Oprócz odsłon dane strumienia kliknięć obejmują pliki log, pliki cookies oraz inne dane używane podczas przesyłania stron internetowych z serwera do przeglądarki.
  • —Pliki log serwera – jeszcze przed rozpoczęciem analizy kliknięć niezbędne jest zapoznanie się z rodzajem dostępnych danych do tej analizy. Informacja dotycząca sposobów korzystania z sieci przyjmuje formę plików log serwera. Dla każdego żądania z przeglądarki do serwera generuje się automatycznie odpowiedź, której wynik jest zapisywany właśnie w ten sposób – przyjmuje formę rekordu zapisanego w pojedynczej linii, który jest dołączany do pliku tekstowego znajdującego się na serwerze.
  • Rekord logu serwera EPA zawiera:
    • Pole adresu IP hosta – zawiera adres internetowy IP hosta, który wysyła żądanie. Jeśli nazwa hosta znajduje się w serwerze DNS to ta nazwa jest dostępna.
    • Pole data/czas – zawiera czas żądania.
    • Pole żądanie HTTP – zawiera informację, którą przeglądarka zażądała od serwera. Zasadniczo pole to może być podzielone na cztery części: metoda HTTP, identyfikator zasobu (URL), nagłówek i protokół.
    • Pole kodu odpowiedzi HTTP – trzycyfrowa odpowiedź z serwera na żądanie przeglądarki klienta. Oznacza status żądania, czyli powodzenie, niepowodzenie błąd i ewentualnie typ błędu.
    • Pole wielkości transferu – wskazuje na rozmiar pliku w bajtach, wysyłanego przez serwer do przeglądarki klienta. Wartość ta jest uzupełniona tylko w przypadku pomyślnego zakończenia żądania (pole kodu odpowiedzi sugeruje powodzenie).

Innym sposobem na identyfikację użytkownika są ciasteczka, czyli opisywane już pliki cookies.

I kilka ważnych pytań …

Jakich danych potrzebujemy do przeprowadzenia analizy za pomocą modelu eksploracji danych?
1. Odsłon
2. Tożsamości użytkownika
3. Sesji użytkownika (jakie strony zostały odwiedzone, w jakiej kolejności i ile to trwało)
Odpowiedzi na jakie pytania dostarcza analiza kliknięć?
1. Która strona internetowa jest najpopularniejszym punktem wejścia dla użytkowników?
2. W jakiej kolejności strony są odwiedzane?
3. Które inne witryny skierowały użytkowników na naszą stronę?
4. Ile stron odwiedzają użytkownicy podczas typowej wizyty?
5. Jak długo typowy gość przebywa na naszej stronie?
6. Która strona jest najczęściej punktem wyjścia dla użytkowników?
Jakie są zadania przetwarzania danych z pliku log?
1. Czyszczenie danych
2. Usunięcie wpisów pochodzących od robotów internetowych
3. Identyfikacja każdego użytkownika
4. Identyfikacja sesji
5. Uzupełnienie ścieżek
I najważniejsze: po co nam web mining?
  • Sprzedaż internetowaEksploracja danych może pomóc sprzedawcom internetowym, poprzez dostarczanie im przydatnych i dokładnych trendów dotyczących zachowań nabywczej swoich klientów. Dzięki temu możliwe jest bardziej precyzyjne i skuteczne dotarcie do klienta z dedykowaną ofertą.
  • Bankowość / KredytowanieEksploracja danych może pomóc instytucjom finansowym w obszarach takich jak raportowanie zdolności kredytowej oraz innych informacji kredytowych. Umożliwia oszacowanie poziomu ryzyka związanego z każdym kredytobiorcą.
  • Egzekwowanie prawaEksploracja danych może pomóc w identyfikacji osób podejrzanych oraz przestępców na bazie ich przyzwyczajeń i innych wzorców zachowań.
Czy wśród tych plusów kryją się minusy? Oczywiście, jak zawsze, gdy w grę wchodzi gromadzenie danych:
  • Kwestie bezpieczeństwaIle razy słyszeliście już o wycieku danych? No właśnie. Nawet takie giganty rynkowe jak Sony nie są bezpieczne.
  • Nieetyczne wykorzystanie danychGwarancji na to, że nasze dane wykorzystane będą tylko w dobrym celu, nie uzyskamy nigdzie. Szantaż, dyskryminacja – wszystko się zdarzyć może. Co więcej – techniki zbierania i analizy danych nie są bezwzględnie skuteczne. Wszędzie może wkraść się błąd i użytkownicy mogą ponieść tego konsekwencje.

Podsumowując …

Web mining to szansa na skrojoną na miarę ofertę sprzedawców, na usługi dostosowane do naszych potrzeb, nawet na propozycje wyprzedzające nasze zainteresowania.  Nic jednak za darmo – ceną jest tu nasza prywatność, odnotowanie przez system każdego kliknięcia. Pytanie tylko czy jest to dla nas wysoka cena – doświadczenie pokazuje, że aktualnie większość z nas zgadza się na monitorowanie naszej aktywności w Internecie.

Automatyczne generowanie treści, czyli blog pisze się sam …

/3 komentarze/w , /Autor

Ironia, kpina, intonacja głosu – jest wiele czynników, które sprawiają, że nawet najprostszy komunikat może mieć różne znaczenie. Przetwarzanie naturalnego języka (ang. Natural Language Processing) i związane z tym automatyczne generowanie treści (ang. Automatic Text Generation) to zagadnienia z trudnego pogranicza sztucznej inteligencji i językoznawstwa. Nauka od dawno usiłuje przystosować maszyny do komunikowania w sposób możliwie zbliżony do ludzkiego. Niuanse języka sprawiają, że nie jest to proces łatwy.

NLP – więcej niż algorytm

Komputer przyjmuje dane w formie uproszczonej, jako ciąg znaków, bez rozumienia kontekstu. By poradzić sobie z tym problemem przy odczytywaniu dłuższych ciągów wyrazów, używa się tak zwanego statystycznego NLP. Do tego celu wykorzystywane są liczne algorytmy, które połączone mają doprowadzić do odczytania przez algorytmy prawidłowej treści. Służą temu m.in.: metody stochastyczne, probabilistyczne, czy statystyczne.

Na NLP składa się wiele pomniejszych zagadnień, takich jak: automatyczne streszczanie tekstu (sumaryzacja), tłumaczenia, rozpoznawanie mowy czy wyszukiwanie w tekście konkretnych fragmentów. Nas dziś interesuje najbardziej automatyczne generowanie tekstu.

Na czym to polega?

Za pomocą specjalnych algorytmów przetwarzających dostępne bazy tekstów, oprogramowanie jestwstanie wygenerować spójny tekst. Tekst taki kieruje się do użytkowników, ale też wysyłany być może do innych urządzeń, generując konkretne reakcje. Systemów generowania jest wiele, jednak wciąż nie udało się stworzyć bezwzględnie dokładnego i idealnie skutecznego – wciąż konieczny jest nadzór człowieka.

Jak to się robi?

Istnieje kilka sposobów automatycznego generowania, są to między innymi:

a) Tekst tworzony przy użyciu automatycznych procesów.

Warto zapamiętać: w tym celu sprawdzają się łańcuchy Markowa. Proces Markowa to ciąg zdarzeń, w którym prawdopodobieństwo każdego zdarzenia zależy jedynie od wyniku poprzedniego. Metody te – z racji dostępu do potężnej bazy tekstów – używane równiez przez Google np w translatorze sprawdzają się w postaci tzw. modeli n-gramowych. 

b) Tekst wygenerowany przy użyciu technik automatycznego dobierania synonimów lub przetwarzania słów kluczowych.

Na podstawie artykułu złożonego z 1500 słów, bez problemu można stworzyć 100 praktycznie identycznych, przekazujących te same wiadomości, lecz używających innych słów. Czy to na pewno bezpieczna technika? Wrócimy do sprawy już za chwilę.

c) Łączenie w odpowiedni sposób zawartości niezwiązanych ze sobą dokumentów, instrukcji, czy też prostych ciągów znakowych.

Rozwiązanie najczęściej używane jest w systemach zarządzania procesami biznesowymi (BPM – Business Process Management). Wpływa na obniżenie pracochłonności tworzenia nowych dokumentów, zapewnia ich standaryzację i zgodność, eliminuje błędy i pozwala na automatyzację standardowych, rutynowych czynności związanych z przygotowaniem i wysłaniem dokumentu.

Google przeciwny synonimom

Generowanie odbywać się może na bazie synonimów – system wychwytuje pojedyncze słowa i zastępuje je wyrazami bliskoznacznymi. Możliwa jest też zmiana kolejności wyrażeń. Niby najlepsze są te piosenki, które już znamy, ale w przypadku tekstów generowanych Google mówi stanowcze „nie”, jeśli tylko takowe teksty pojawią się na drodze botów indeksujących Google. W końcu w cenie są publikacje unikalne, o czym mowa na tym blogu była już wielokrotnie przy okazji omawiania sprawy pozycjonowania oraz wyszukiwania semantycznego.

I po co to wszystko?

Automatyczne generowanie tekstów to rozwiązanie praktyczne, szybkie i ekonomiczne. Przydatne jest też w dobie technologii Big Data i Cloud Computing, gdy w cenie jest ujednolicanie danych w przeróżne statystyki i podsumowania.

W praktyce przekłada się to na:

Tworzenie spersonalizowanych treści,
Business Intelligence,
Raporty finansowe,
Personal fitness,
Sportowe ligi Fantasy,
Treści sportowe,
Analizy internetowe,
Treści w czasie rzeczywistym.
Nieco więcej o tych możliwościach:
  • Tworzenie spersonalizowanych treści – jak coś jest do wszystkiego, to jest do niczego, dlatego warto zamienić jednego rodzaju treści dedykowanego wielkim grupom na dużą ilość artykułów dla pojedynczych użytkowników, bądź małych grup. W treść wkomponować można wzorce i trendy, jako pojedyncze dane.
  • Business Intelligence – dostarczenie raportów dopasowanych specjalnie do każdego działu przedsiębiorstwa. Raporty mają postać nie tylko wykresów czy tabelek, lecz również całych analiz, wszystko zautomatyzowane przez system.
  • Raporty finansowe –  doniesienia na temat wszelkich zmian w teczkach i portfelach finansowych wraz z możliwością dokładnego spersonalizowania porad oraz reklam odpowiednich źródeł – świetna opcja dla biznesu.

  • Personal fitness – coś na czasie w kontekście postanowień noworocznych – pomoc w osiąganiu prywatnych celów życiowych, zbieranie codziennych danych i interpretowanie ich w celu samodoskonalenia się. Alternatywa dla osobistego trenera.

  •  Sportowe ligi Fantasy – ligi Fantasy zbierają fanów dyscyplin sportowych, którzy na podstawie statystyk chcą wytypować najlepszych graczy oraz drużyny. Walka 

    o zdobycie wirtualnych punktów opiera się o inne zasady i zwraca uwagę na trochę inne statystyki, aniżeli zastosowania typowo sportowe.

  • Treści sportowe – sportowe statystyki i artykuły ułożone w wybrany sposób. Pozwala na tworzenie zapowiedzi meczów, raportów z gry zawodników czy też całych rozgrywek. Opisanie i analiza statystyk sportowych dla spersonalizowanych potrzeb.

  • Analizy internetowe – agencje marketingowe udostępniają klientom automatycznie dopasowane informacje, dane na temat działań, zwrotów z inwestycji.

  • Treści w czasie rzeczywistym – platforma działająca w chmurze umożliwia relację na żywo z wybranego przedsięwzięcia, korzystając z wybranych danych ułożonych odpowiednio w czasie.

Powyższe rozwiązania udowadniają, że automatyczne generowanie treści jest tylko pozornie odczłowieczone – w praktyce wszystko prowadzi do stworzenia narzędzi przydatnych, a nawet niezbędnych człowiekowi. Najlepszym tego dowodem jest spersonalizowane dobieranie treści WWW. Wiadomo, że to, co widzimy na ekranach komputerów wędrując po sieci nie jest ani trochę przypadkowe. Informacje i reklamy dopasowane do naszych potrzeb, zainteresowań i oczekiwać to jeden z licznych przykładów Automatic Text Generation. Inteligentny internet, osobisty trener, raporty finansowe – trudno nie lubić zjawiska o takim spektrum działania!

Ciekawostka:
Fred Zimmerman, założyciel firmy Nimble Combinatorial Publishing, przestawił projekt systemu, który na bazie wprowadzonych zagadnień będzie w stanie sam ściągnąć wszelkie niezbędne teksty i stworzyć… książkę. Rola człowieka ograniczałaby się w takim wypadku do korekty i redakcji.  Kroi sie niezły patent na dość wtórne podręczniki czy opracowania, ale czy da się tak stworzyć dzieło warte Nobla? Wątpimy, ale obserwujemy sprawę.

Pliki cookies i spółka, czyli w sieci nigdy nie jesteś anonimowy

/0 Komentarze/w , /Autor

Trzy lata temu na wszystkich szanujących się stronach internetowych pojawiły się komunikaty dotyczące cookies. Ciasteczka to dane przechowywane na komputerze lokalnym w postaci pliku tekstowego. Pliki cookies gromadzimy podczas wędrówek po internecie, łącznie składać się one mogą na kompleksowy obraz użytkownika internetu, co wcale nie jest wiadomością dobrą. Internet, który wie o nas za dużo, nie tylko uprzejmie podsuwa nam dopasowane do naszych potrzeb treści, ale stanowi też bank danych, często wrażliwych, które w niepowołanych rękach stanowić mogą potężną broń.  Niestety, sposobów na to, by dowiedzieć się o nas wszystkiego, jest więcej, niż tylko powszechnie znane cookies, zaś czyszczenie historii czy tryb incognito nie gwarantują nam niewidzialności.

Podstępne cookies, czyli na czym problem polega:

Ciasteczka oraz podobne środki wykorzystania nowych technologii wspomagają marketing poprzez jego automatyzację oraz służą jako narzędzia do usprawnienia procesów sprzedażowych. Na podstawie zgromadzonych danych dotyczących zainteresowań konsumenta, czynników demograficznych czy czynności podejmowanych na danej witrynie, oprogramowanie identyfikuje internautę, a następnie kieruje do nich spersonalizowany specjalnie dla nich przekaz marketingowy w postaci reklam, które w szczególności mogą zainteresować zidentyfikowany lead. Również mailowy spam reklamowy oraz wciąganie do baz danych zawdzięczamy ciasteczkom. Wszystko to składa się na automatyzację marketingu i gromadzenie danych przez marketingowców.

Przykłady takich danych to :
• typ przeglądarki,
• pluginy zainstalowane w przeglądarce,
• czas lokalny,
• preferencje językowe,
• typ urządzenia,
• wielkość ekranu urządzenia, głębia kolorów wyświetlacza, czcionki systemowe.

Nie tylko zwykłe cookies – również inne mechanizmy szpiegowskie, na które trafić możemy w internecie:

  • Ciasteczka FLASH – działają w ten sam sposób, co zwykłe cookies, czyli gromadzą dane, jednak ich informacje są używane przez program Adobe Flash Player, który lokalnie je przechowuje. Wykazują one podobne zagrożenie prywatności, jak normalne pliki cookie, jednak nie jest łatwe ich blokowanie, ponieważ ich wykrycie nie jest wspierane natywnie przez przeglądarki internetowe. Jednym ze sposobów, by je wykryć i kontrolować to wykorzystanie rozszerzeń firm trzecich lub dodatków do przeglądarki. Można również odinstalować dodatek Flash dla przeglądarki, jednak może to znacznie ograniczyć nasze możliwości w sieci. Jak działają ciasteczka FLASH? Przeglądarka internetowa odczytuje i tworzy ich kopię, nie wysyłając bezpośrednio pakietów z lokalnej maszyny. W badaniu z 2009 roku, ciasteczka Flash okazały się popularnym sposobem na gromadzenie informacji o użytkowniku na 100 najpopularniejszych stronach WWW.
  • Evercookie – przedrostek „wszech” informuje nas bez ogródek, że mamy do czynienia z poważnym zawodnikiem. „Wszechciastka” to aplikacje oparte na języku JavaScript, które produkują ciasteczka w przeglądarce internetowej. To, co je wyróżnia, to wyjątkowa odporność – usunięcie „wszechciastka” skutkuje jego wskrzeszeniem w innej, dostępnej postaci, np. ciastka Flash.

Co dalej ze zgromadzonymi danymi?

Informacje zebrane przez ciastka trafić mogą w kilka miejsc, a w każdym z tych miejsc zrobić z danymi można naprawdę imponujące rzeczy:

  • Google AdSense – czyli usługa, która umożliwia wydawcom w witrynach partnerskich Google publikować tekst, obrazy, video oraz interaktywne treści reklamowe, które są kierowane do odwiedzających witrynę na podstawie kontekstu stron odwiedzanych przez użytkownika.
  • Google AdWords – system reklamowy, pozwalający na wyświetlanie linków sponsorowanych w wynikach wyszukiwarki Google i na stronach współpracujących w ramach programu AdSense.

Warto pamiętać:

nawet jeśli uważanie, że utrata prywatności nie jest wysoką ceną za spersonalizowane, przydatne reklamy, starajcie się unikać ciastek, chociażby poprzez czyszczenie historii. To ważne – trackery zwyczajnie spowalniają internet i utrudniają korzystanie z niego.

Uważajcie na ciastka!