Python爬蟲學習 learn from 大數學堂

依稀記得在七月初到台大上課,第一次聽到爬蟲,一直以為是某種高等生物.
但事實證明不是高等也不是生物,只是我等級太低,智商也是...
在PECU老師的帶領下,一步一步學習使用R來爬蟲.雖然有些迴圈我還是很頭痛.
不過真的對我未來的學習很有幫助,即使coding過程痛苦,但還是有些樂趣的.(扯遠了...

這篇文章是有關於如何在網路抓取資料的初心者學習紀錄
如果是您的等級較高,那就當作休閒來看看吧...

註:這篇文章爬蟲過程都從大數學堂學來,coding source 也是.
(這篇為簡略學習紀錄,大家有興趣,要仔細學習就請自行觀看大數學堂囉.)



由上圖可知,爬的資料是PTT的Money板.
把板上的標題-作者-日期都爬下來了.
對完全零基礎的人來說,可能覺得那複製貼上不是比較快,
但其實爬蟲可做到的是能快速地按照特定格式,擷取指定範圍的資料.
在新手還在整理複製貼上的原始資料時,高手就已經在泡茶囉.

資料爬下來後,
使用2016年開始到現在在Money板上出現的標題資料,直接使用R繪製WordCloud文字雲



註:以上wordcloud raw code 來自於 Nick Oliver

分析結果

將最後文字雲結果輸出,可以發現從年初到現在Money板都討論甚麼主題居多.

但因樣本不夠多,所以有些雲狀沒產生出來.

可發現金融市場動盪不安啊,

看空:金管會要查/出口連黑/浩鼎之後/假美金/比水便宜...

看多:人民幣美金/人民幣兌台幣/./////

有個很奇怪的標題字為三新竹場...我猜是三星(最近爆炸了...

Processing: How FUN！?

剛開學,發現了一個超棒的開放式課程(政大Moocs: 玩電玩.學語言)

吸引我的不只是課程的設計,更是使用來教學的程式語言Processing.

快速google這個processing語言,發現是一個專門用於多媒體設計互動的語言,

在畫圖上有很大的自由度,能畫出多樣特殊且充滿藝術的圖形.

且畫出的圖形,能賦予動畫和其他特殊屬性,使得圖形能在多媒介上產生高度互動性.

官網: Processing.org

省略過基礎的畫圖Demo.

直接來看看Processing 在特殊的繪圖與影像處理上,有多強大.

註:以下範例 code source皆由Daniel Shiffman share on GitHub提供.

範例 1: PerlinNoiseTerrain

範例 2: Mirror

可觀察到上面兩範例,一為複雜的幾何圖形不斷延伸,另一為camera像素影格的調整.

兩者demo出來的成果,可以串聯許多媒體,也有更多衍生使用性,

BTW,當初processing這個程式語言就是由一群藝術家和工程師所開發出來的,

因此可想像它的用途會多用於各種展場或藝術秀.

看完了這麼神奇的東西, 大部分對多媒體應用有興趣的觀眾,都躍躍欲試了吧.

那就和我一樣,先修課於政大Moocs:玩電玩,學程式.

閒暇之餘,別忘了多逛逛Processing的官網.裏頭有許多寶藏可挖掘喔~

簡易修改樣板 (Favicon設計)

做一個網站除了有標題有內容,更要有一個具有識別度的品牌,
而此品牌的建立,是基於Favicon的設計基礎.
只要Favicon設計的好,便能帶給所有觀眾專業的形象.

而何謂Favicon,它是由Favorite Icon所集合的縮字,

使用Google搜尋頁面來做解說,
Favicon和一般廣泛認知的Logo有啥區別?

上方的特小標誌為Favicon,下方為Logo.(注意:兩者在法律層面上都為商標)

一般LOGO設計的發揮度較大,因為大小可能較為多變,

而Favicon的設計相較於Logo就較多限制了.原因看上圖應該非常清楚.

Favicon設計須知:

實際觀察Favicon設計,你會發現這類的設計跟"點描繪"的繪畫方式很像,
Favicon圖片框架為一正方形,且大小16*16到48*48,普遍不大.
因此在設計上,就要考量到圖片格式的問題,
盡量設計簡單但又能讓人輕易識別且聯想到網站形象是最好的.

設計Favicon流程:

1. illustrator 繪製Logo
2. Logo轉換為Favicon
3. 上傳至自己的網站

正常來說,所有設計流程皆從最小的尺寸開始設計,

但我因為沒受過正規設計訓練,因此習慣要先從較清楚且尺寸較大的Logo開始設計,
才能再轉為尺寸較小的Favicon.

1. Illustrator:

為了凸顯個人特色,我取自己英文名字的縮寫 JC做為象徵符號,
參考許多字體刑式並畫出自己喜歡的字形,
最後套用前陣子流行的Low Poly design 風格,
並以冷暖色系的對比,強調網站的豐富性,
最後出來的成果就是我的網站標誌囉.

2. Logo Convert to Favicon:

接下來這一步就剩轉檔跟微調了,

其實這部分可以在Photoshop完成,但我的Ps有點怪怪的,就不想用了.

所以直接用favicon.ico Generator 這個網站轉檔.

可以觀察到上傳圖片後,它的像素大小,就能理解為何我會說favicon設計方式是"點描繪".

在這階段,你可以透過此平台自己在微調logo樣貌,他會直接show出來favicon的圖示,

讓你確認實際效果,確認完後,就可直接轉檔下載圖片並留存檔案.

設計完favicon就能套用到自己的網站或blogger.

在這輕鬆帶過如何套用到自己的blogger.

方法:blogger後台 - 版面配置 - 點選網站小圖示  就可上傳自己的favicon囉.