Membuat Ringkasan Berita Dari Situs Berita Nasional – Website Crawl

Bagi kebanyakan dari kita membaca berita merupakan aktivitas rutin bahkan mungkin wajib, tetapi sebaliknya banyak yang menganggap membaca berita adalah aktivitas yang istimewa karena mereka susah punya waktu cukup luang untuk membaca berita di koran maupun di situs berita online. Untuk orang yang tidak mempunyai waktu yang cukup, maka membaca ringkasan berita akan sangat membantu. Membuat ringkasan berita merupakan ide yang sudah lama saya pikirkan dan mungkin sudah dilakukan oleh banyak orang. Berbagai macam teknik diperkenalkan yang tujuan akhirnya membuat ringkasan berita pada satu periode tertentu misal berita harian, berita mingguan, berita bulanan dan seterusnya berdasarkan topik topik tertentu.

Salah satu teknik yang paling umum dilakukan adalah melakukan “crawling” situs berita online. Aktivitas “crawling” ini tidak mudah, diperlukan pengetahuan programming dan layout halaman web (HTML, CSS, JS dll). Dengan kebutuhan yang tinggi maka aktivitas ekstraksi situs berita akan menjadi lama dan biaya mahal (biaya programmer, komputer, internet dan lain lain). Representasi bentuk ringkasan berita pun bisa bermacam macam, contohnya bisa saja dilakukan proses kompleks menggunakan text miningnetwork text analysis ataupun yang sederhana seperti word cloud / tag cloud

Untungnya saat ini terdapat cara untuk membuat API online sehingga proses “crawling” ini bisa dilakukan dengan cepat dan mudah. Mahasiswa saya Rio memberitahu saya mengenai aplikasi import.io untuk membuat API crawling website menjadi lebih mudah. Saya mencoba eksperimen dengan situs berita antara , dimana saya ambil berita nasional selama satu bulan terakhir (2 september 2015 – 2 oktober 2015), dan saya peroleh 1495 berita. Atribut informasi yang saya ekstrak adalah judul berita, isi berita, quote berita, waktu berita di post dan identitas wartawan penulis. Kemudian hasilnya saya tampilkan dalam ringkasan sederhana yaitu  word cloud / tag cloud.

Kalo anda ingin membuat ringkasan / ekstraksi informasi dari website, maka bisa melakukannya dengan cara ini, baik website berita, ecommerce, forum online, dan lain lain. Jika ingin bantuan mendetail atau tidak mau repot repot otak atik dan cuma butuh datanya saja bisa kontak Rio.  Cek screenshot dari eksperimen saya dibawah ini. Semoga sharing ini bermanfaat ..

1

 

2

 

proses crawling url website pada situs berita antara

3

 

proses penentuan informasi apa yang akan diambil dari suatu situs, import.io membuatnya sangat mudah

 

4

 

proses konstruksi API import.io

 

5

 

wordcloud dari isi situs berita antara sub berita nasional periode 2 september 2015 – 2 oktober 2015

Crawling – Mining Twitter Data menggunakan R

Dalam aktivitas content mining, data mining, social network analysis dan sebagai bagian dari pekerjaan data science, maka melakukan mining terhadap media sosial merupakan hal yang ‘wajib’. Dalam entri blog kali ini saya akan menuliskan mengenai crawling percakapan dan konten dari media sosial Twitter menggunakan bahasa R. Penjelasan mengenai R ada di halaman wikipedia ini. R dibangun secara crowdsourcing dimana banyak saintis dan programmer membuat modul modul khusus untuk meningkatkan fungsi fungsi dari bahasa R.

Salah satu package / library / modul yang menarik adalah twitteR, modul ini dibuat untuk mengakses API dari Twitter, sehingga kita bisa melakukan operasi operasi seperti melihat profile, melihat daftar teman, daftar followers, pencarian kata kunci dan lain lainnya. Operasi yang sering saya lakukan adalah pencarian kata kunci untuk kemudian saya lakukan data mining, sentiment analysis atau social network analysis.

Langkah langkah yang perlu dilakukan adalah yang pertama kali membuat aplikasi di Twitter, setelah membuat aplikasi kita akan memperoleh 4 jenis kunci (consumer key, consumer secret, access token dan access token secret). 4 kunci tersebut kita gunakan pada modul twitteR untuk terhubung dengan API Twitter. Setelah terhubung baru kita bisa ikutin dokumentasi twitteR ini untuk melakukan operasi yang kita inginkan.

Pada contoh gambar di bawah, saya perlihatkan pencarian kata kunci “Telkom University” sebanyak 100 tweet, pada lokasi bandung (geocode=longitude dan latitude, dengan radius 20 mil). Hasil yang diperoleh adalah table csv dengan total 16 variabel seperti teks, tanggal tweet, penulis  tweet, dan yang lain lainnya  yang bisa dilihat pada gambar di bawah.

Selain modul twitteR, banyak sekali cara lain untuk crawling data Twitter, diantaranya adalah modul streamR untuk akses stream data pada Twitter (forward search). Di luar R, ada juga cara lain menggunakan Java, .ASP C/C++, Perl, PHP Javascript, Python, Ruby dan lain lainnya. Klik untuk daftar lengkap aplikasi untuk crawling twitter – Twitter Libraries

Selamat Mencoba !!

Screen Shot 2015-03-01 at 8.06.03 PM (2)

tampilan R pada pencarian tweet dengan kata kunci “Telkom University”. Hasil bisa dilihat pada kanan atas dan beberapa perintah ada di kanan bawah

Screen Shot 2015-03-01 at 8.12.23 PM (2)

data hasil crawling dengan perintah search keyword ‘Telkom University”, terdiri dari 16 variabel.