Build 2018 大會系列 Part 2: Windows Development

// Build 2018 對於 Windows Development 提出了很多内容,包括:更進階的 Fluent Design, .NET Core 3.0, MSIX, Windows 10 on ARM … 等,這篇將整理每個 Sessions 的重點,方便大家更快瞭解。
Continue reading

Posted in Windows | Tagged , , , , , , , , , , , | Leave a comment

Build 2018 大會系列 Part I: The Future of C#

Part I 比較特別一點,其他篇會是濃縮重點為主,不過因為是關於語言的,除了把 //Build 2018 的 The Future of C# 中的重點節錄外,也順便自己也整理了一些 C# 7.0 ~ 7.3 的新特性,覺得 C# 7 的幾個新的特性的調整主要算是效能為主,讓我們往下看下去。
Continue reading

Posted in Windows | Tagged , , , | Leave a comment

Google I/O 2018 Android 相關 Session 摘要 – 上集

今年 2018 我們也針對 Google I/O 影片中的 Android 相關議題做了懶人包分享,雖然說是各影片的摘要,但篇幅還是有點長,不過還是建議從事 Android App 開發工作的朋友們讀讀,對於了解這一年過去及未來即將發生的事會很有概念。
Continue reading

Posted in Android, KKBOX | 1 Comment

Google I/O 2018 Android 相關 Session 摘要 – 下集

今年 2018 我們也針對 Google I/O 影片中的 Android 相關議題做了懶人包分享,雖然說是各影片的摘要,但篇幅還是有點長,不過還是建議從事 Android App 開發工作的朋友們讀讀,對於了解這一年過去及未來即將發生的事會很有概念。
Continue reading

Posted in Android, KKBOX | 1 Comment

[KKS Tech. talk] 輕輕鬆鬆認識專利

之前在整理隨身碟裡的文件時,看到一份在前公司時做的投影片,是有關專利知識的介紹, 身處科技爆發時代的大家,對於了解一些專利常識滿有興趣,所以當時的反應不錯。因此,有了把文件做增修後,於KKStream再次介紹的想法,也希望透過一些專利實例,讓研發人員們理解一些發明概念及創新的可能方向。

從過去案例中(Polaroid vs Kodak, eBay vs MercExchange),可體認到專利制度對於產業的影響,其實除了採主動積極的保護專利權人權益外,將手上的專利權作為談判籌碼的”護身符”模式也是一種專利的應用方向(HTC vs Apple透過交互授權達成和解協議)。但是將發明申請專利,有其伴隨的義務要付出: 公開發明內容與繳納各項費用,公開發明內容在申請18個月後進行,以發明專利審查期長達2~4年來說,也就是專利核准前(還不知未來是否會過關)就得公開。將來若有他人侵權發生,是否有能力/財力去維護專利權也會是申請專利時的考量,只能說這是有錢人才能玩的遊戲啊~

撇開這些考量,那什麼可以申請專利呢? 基本上只要不在專利法裡負面列表,且符合專利實質審查所要求的三大專利要件:新穎性(無習知技術(prior art)). 進步性(非顯而易見). 具產業利用性。

那究竟發明難不難呢? 從現有的專利中,我們可以整理出幾個較為簡單的創新方向:
* 組合發明- 將多個現有產品組合出新用途。
* 逆向思考- 思維轉個彎,也許會就有新作法。
* 使用上的痛點,表示有改進空間,是可以研究的地方。

因此,透過專利,除了是理解現今產業的遊戲規則外,也是一種能快速了解別人技術. 產業方向,以及幫助自身發展創新的途徑。

整理了一下今天下午分享會裡的一些討論, 以及附上今天的投影片:
Q: 若是在台灣申請到了發明專利,兩三年後才想到要去美國申請專利,這樣還適用WTO會員國的國際優先權嗎?
A: 不適用,發明專利的優先權期是12個月。所以產品在未來要上市前就需要規劃好將來的專利佈局,包含產品裡哪些技術是需要申請專利的,以及將來產品是要銷往哪些市場,事先就規劃好在將這些技術在哪些國家申請專利。

Q: 如P.19頁投影片裡,假設我發明了配有鉛筆的帽子,但是帽子本身的專利是握在其他人手裡,那這樣我還可以生產配有鉛筆的帽子嗎?
A: 不行,雖然你握有鉛筆帽子的發明專利,但是也同時踩在別人的專利權上,所以必須先得到帽子的授權,才能生產鉛筆帽子。

Q: 申請專利大概要花多少錢啊?
A: 各項目的價目表:台灣專利規費清單美國專利規費整理

Q: 既然專利法是屬地主義,那如果我在某個小國家裡,看到一個東西不錯,拿去美國申請專利,這樣會過關嗎?
A: 如果在2011年美國專利法修法前申請的,可能會過,之前的prior art範圍限於美國境內,但2013年開始實施新法後,prior art範圍擴張到全球,只要審查時被發現,申請案便會因新穎性不足而被駁回,或是事後被他人舉發(新穎性不足)導致專利無效。

Q: 將來如果英國脫離歐盟,會影響他在歐洲專利局的成員身份嗎?
A: 歐洲專利局(EPO)是歐洲國家處理專利申請的統一窗口,有自己的會員國組織,也非歐盟機構,所以將來英國脫離歐盟,不會影響他EPO成員身份。

 

Posted in KKStream, KKV | Tagged , | Leave a comment

Google I/O 2017 Android 相關 Session 摘要 – 上集

部門內總是習慣大家分著看東西,再互相分享,這是我們團隊內保持快速移動的有效方法之一,今年我們也針對 Google I/O 2017 上百部影片中的 Android 相關議題做了分享,算一算這是我們第四年分享懶人包了呢 :P
Continue reading

Posted in Android | Leave a comment

Google I/O 2017 Android 相關 Session 摘要 – 下集

部門內總是習慣大家分著看東西,再互相分享,這是我們團隊內保持快速移動的有效方法之一,今年我們也針對 Google I/O 2017 上百部影片中的 Android 相關議題做了分享,算一算這是我們第四年分享懶人包了呢 :P
Continue reading

Posted in Android | Leave a comment

MPEG-DASH 開源專案

據說,在參加了某一場 AWS Taiwan 舉辦的活動後,
我們曾對著一群人,豪邁的說出了「我們來在台灣辦例行性的 streaming workshop」吧!
然後,與大部分的政客一樣,只有發聲,沒有行動,遲遲沒有任何動作。
當時一時興起,以為,只要有人先說出口,
就自然會有其它人出來接棒,執行。當然,我也會全力協助與參與…

但就像 g0v 的座右銘

「不要問為何沒有人做這個,先承認你就是『沒有人』」。
因為,「沒有人」是萬能的。

過了快一年,似乎沒有因此產生什麼變化,
想說先做點什麼一個人可以做的,簡單一點的事好了。
於是有了這麼一篇,從分享簡單而公開的資訊開始。
夾雜點個人觀點,然後期待有人跳出來指正我哪寫錯了,
或是提供 patch ;D

MPEG-DASH 起始於 2010 年,2011 年有了草案。
同年,成為國際標準。於 2012 年以 ISO/IEC 23009-1:2012 的型式發佈。
這樣的一個標準,因為 video streaming 成了新世界的載體,漸漸成為基礎建設。
於是有不少開源專案:

Continue reading

Posted in KKV, Streaming, Video | Tagged , , , | Leave a comment

KKV Programming Contest 2016

2016/11/11,有一群愛台灣的人進電影院看李安導演的比利‧林恩的中場戰事 Billy Lynn’s Long Halftime Walk 。有更多人受到商人的鼓吹與店家的特惠活動,在當天貢獻了不少商業行為,買了不少東西,活絡了市場。然後有一群來自 KKBOX 子集團 – KKV (KKStream & KKTV) 的人,窩在台北的一個角落,他們有的是在寫程式 PK;有的下注手指彩卷。至於喝 Orion 啤酒、聽台灣的故事,聆聽現場的演奏,則是每個人共同享受這個下午時光的方式。
是的,我要記錄的就是我們這一群人下午的一個小故事…

緣起

KKStream 與 KKTV 在今年的 3 月正式宣佈成立,以 KKBOX 集團子公司的形式問世。是個好理由,可以來做點什麼不一樣的,平衡一下每天工作之餘的左右腦,順道把大家帶離開辦公室(這才是重點)。於是,我說,我們來辦個程式設計比賽吧。KKV Programming Contest 2016!

上半年就提出要來個程式設計比賽,然後一路發懶,拖到下半年,驚覺到再不捲起袖子來執行,就要跳票了!趕緊號召人組成籌備組,相較於 PyCon Taiwan 的籌備,我們運氣比較好,彈指間就處理好了金援、場地、攝影、娛樂,以及最重要的人手。

接下來的一個難題,是要怎麼讓整個活動成功。整個活動叫 KKV Programming Contest 2016 (#kkvcodecontent),活動報名頁有兩種組別,分別是競賽組以及歡樂組。
競賽組負責程式設計比賽以及吃喝玩樂;歡樂組參與手指彩卷(感謝 Vicky)以及吃喝玩樂。

我們成功的偷拐搶騙,組了 18 隊競賽組,一組至多兩人,但想要獨挑大梁的也可以一人參賽。

目標

整個活動的目的很簡單,就是:

  • 離開辦公室。
  • 程式設計比賽。
  • 非競賽組的人也可以同樂。
  • 愈刺激愈好,愈好玩愈好。
  • 替接下來的 KKV Hackathon 來個暖場。

嚴肅點說的話,就是想把我學生時代的 ACM ICPC 的感覺,帶進我們的團隊。ACM ICPC 是大學時期,有幸跟著同學一起參與的一個年度活動。五個小時,八個題目,一台電腦,一組四個人,同時只能三位進場,旁邊有小點心,每完成一題就有一顆氣球,可以一路從區域賽比到世界總冠軍賽,題目都很難,不乏數學,資料結構,演算法比重很高的題目,而且對程式的執行效率非常要求。

ACM ICPC 的活動,是個非常特殊的一個過程。雖然可以同時有三位團員進場,但是只有一台電腦可以用,而且題目多達八題,難度是那種你五個小時內解不完的程度,挑戰性十足,不是目前網路上的面試考題所可以比擬的。

於是你為了在這種限制下勝出,就會發展出不同的團隊合作方式,其中像是 paper coding, pair programming, printed implementation for algorithms, cooperation of different fields of questions, … 就現在軟體產業來看,是會覺得非常詭異的一種比賽的。它一方面強調考題的困難度,而且情境是要求你自己從無到有刻出來,沒有什麼 library 可以用。另一方面,它又只給你一台電腦,讓你的隊友想幫你都很困難,隊友甚至無法幫你 google 或是上 stackoverflow!?事實上,在那個時代,stackoverflow 根本還沒有出現!聰明如你,一定會覺得辦這種程式比賽要幹麻,一點用處都沒有,還不如辦個 hackathon 比較有意義。

但如果我換個方式說明,你可能就不會這麼想了。大家都知道 Google 是一家非常優秀的公司對吧?雖然有 Facebook, Amazon, Apple, Microsoft, Twitter, Netflix 等這些一樣非常厲害的公司,但是一但聊到「比較硬派的軟體公司」或是「基礎技術比較深厚的公司」時,大部分人應該會覺得還是 Google 拔得頭籌的吧?那你知道有個叫 Google Code Jam 的活動嗎?!

Google Code Jam is an international programming competition hosted and
administered by Google. The competition began in 2003 as a means to
identify top engineering talent for potential employment at Google.
The competition consists of a set of algorithmic problems which
must be solved in a fixed amount of time.
Competitors may use any programming language and development environment to obtain their solutions.

In 2008, over 11,000 people from more than 128 countries competed for
prize money totaling over $80,000, including a top prize of $10,000.

wikipedia

KKV 並不是要這麼不務實,喊著要朝向 Google 為目標發展,但實際上卻只做著技術整合的公司。相反的,KKV 更像是在朝向商業成功的同時,持續花力氣在某些領域深耕,同時以各種形式來提醒自己,我們是一群要求在技術上有不同觀點與堅持的公司。某種程度上,是傳承著 KKBOX 這家以「技術著手,產品著眼」的公司文化的一群人。

競賽規則

  • 會一次收到三封 codility 的邀請函(題組)。點開聯結,就差不多開始了。
  • 只能有一台電腦,同時開啟三封信來比賽。
  • 總共有 18 (3組 * 6) 題,不用擔心太快就沒事了。
  • 比賽時間總計 137’(是個質數)。
  • 可以選擇最擅長的程式語言比,但你的英文一定要 Ok。
  • 每題只能 submit 一次,多多善用 test run。
  • 每一題的得分是 0~100,總分 1800,最高分得獎。
  • 每完成 [1, 3, 5, 10, 15, 18] 題,就有一顆氣球!60 分算完成。
  • 拿到所有組的第 [10, 30, 50] 顆氣球的組別,一樣有獎!
  • 不欣賞作弊行為,但是,我們也不阻止互相騷擾的行為 :D

至於歡樂組規則呢…這點我們就跳過,當作營業祕密吧 :D

場地

感謝後台Backstage Café的協助,在這個舒適的場地,渡過了一個下午。

現場演奏

天空下 by 盧芸

另一首安可曲(忘了名字) by 盧芸

沒 Youtube ;p

阿春仔伊阿嬤 by 進錕

228 by 進錕

沒 Youtube ;p

黃昏的故鄉 by 進錕

母親的名叫台灣 by 進錕

沒 Youtube ;p

回顧與反思

我想…我們這樣硬是拿 codility 來作為程式競賽的系統,應該算是及格了。codility 原本只是 KKBOX 集團拿來做為輔助面試時的一個工具:主考官出幾題程式題目,應徵者在規定的時間內,上機 live 解答,整個過程都會被錄下來。它目前有約 15x 個題目,其中 coding 與 algorithm 是比較適合,加起來約有 100 題可以挑選。這些題目支援的程式語言很多,從 C/C++/Java/JavaScript/Python/PHP 到 Go/Scala/Swift 2&3 都有。

美中不足的,是一個題組只能有 6 題,這也是為什麼我們的比賽規則要求選手要一次開三個題組。如果以 codility 一個 credit 約台幣 200 元來看,
我們這一次的活動用掉了 18 * 3 * 200 = 10,800 TWD :D

另一個非常不 ok 的,是每一個題目你只能送件一次,這點與 ACM ICPC 很不同 :p要求參賽者每一題只能送件一次,有點太嚴苛~

另一個讓人覺得有點可惜的,是啤酒實在太少了!有競賽組的同事表示,沒有啤酒他無法專心下來寫 code…更有表演的進錕自己掏腰包買杯冰啤上台表演的…

對了,我有沒有提到,整個活動能完成,全歸功於所有 KKV 成員?!

參考

原文刊登在KKV Programming Contest 2016 on Drake’s weblog

Posted in Events, KKV | Tagged , , | Leave a comment

KKBOX 的音樂檔案儲存技術

前情提要

時間拉回到 2013 年,KKBOX 在當年的 COSCUP 曾介紹過如何使用 MogileFS 這套 DFS(Distributed file systems),儲存其音樂服務的各種檔案。

Slide: 全台灣最宅的科科科技如何利用 MogileFS 儲存數千萬個音樂檔案
錄影:

現在的狀況

時隔三年,雖然各間雲端服務商都有提供可靠的儲存技術可以使用,但 KKBOX 還是繼續使用原本的 MogileFS 來儲存大量的音樂檔案,隨著串接的唱片及版權公司逐年增加,音檔數量一直不斷成長。2013 年突破 1,000 萬首,2016/8/1 最新公布的數字(賀!KKBOX曲庫國際級水準 擴增至超過3000萬首歌!)是 3,000 萬首,這是取得授權上架的數字,實際上 KKBOX 後端的曲庫數量是超過這個數字。

MogileFS 規模

  • 儲存伺服器超過 75 台。
  • 總硬碟超過 2,300 顆。
  • 總儲存空間超過 10 PB
  • 使用 8 個機櫃。

Metadata Database

儲存檔案 Metadata 的 Database 技術沒有變化,依然使用 MySQL 搭配 HeartbeatDRBD 達到 High Availability

Tracker

Tracker 原本利用部分 storage server 分擔 replicate 工作,但遇到效能問題,所以改使用 4 台 dedicated 的伺服器負責 Tracker 角色。

每台 Tracker 都是兩張 1Gbps NIC 設定 802.3ad 模式的 Linux Bonding。

Storage Server 硬體規格

  • 系統碟用 2 顆 500GB SATA 硬碟設定成 RAID 1
  • 36 顆 6TB WD 紅標硬碟儲存 MogileFS 檔案。
  • 兩張 1Gbps NIC 利用 Linux Bonding Driver 設定標準 802.3ad 模式 LACP。
  • 一台 storage server 有 200TB 的空間。
  • 一機櫃 10 台 storage server 能提供 2PB 空間。

網路架構

  • tracker 和 storage server 都是兩條 1Gbps LACP 接到 Top-of-Rack 的 L2 Switch。
  • 每台 Top-of-Rack 都是兩條 10Gbps 光纖 LACP 到資料中心的 Core Router。

三年來的使用心得

優點

  • 成本相較企業級儲存解決方案(NetApp, EMC, …)低。
  • 容易擴充,KKBOX 從最一開始的 3 台 data node 逐漸成長到現在的超過 75 台。
  • 直接使用 NginxWebDAV module 包裝磁碟讀寫行為,能提供很高的效能,實際使用上能輕易的吃滿 storage server 的 2Gbps 頻寬。

缺點

  • 沒有自動 rebalance 的功能,在擴充容量後需要自行下指令 rebalance,讓各台間的磁碟使用量一致。
  • MogileFS 策略上會優先往磁碟使用量低的 device 寫入新資料,在平常的寫入量就不低的情況下,新增的 data node 數量太少,就容易有磁碟 I/O 及網路傳輸瓶頸。
Posted in Uncategorized | 3 Comments