文件拷貝、文件打印、文件蒐索、文件排序、文件統計類的程序一般都會有比較相似的程序結構:一個處理輸入的循環,在每一個輸入元素上執行計算處理,在處理的同時或者處理完成之後進行結果輸出。我們會展示一個名爲dup的程序(duplicate)的三個版本;這個程序的靈感來自於linux的uniq命令,我們的程序將會找到相鄰的重複的行。這個程序提供的模式可以很方便地被脩改來完成不同的需求。
第一個版本的dup輸出標準輸入流中的出現多次的行,在行內容前是出現次數的計數。這個程序將引入if表達式,map內置數據結構和bufio的package。
gopl.io/ch1/dup1
// Dup1 prints the text of each line that appears more than
// once in the standard input, preceded by its count.
package main
import (
"bufio"
"fmt"
"os"
)
func main() {
counts := make(map[string]int)
input := bufio.NewScanner(os.Stdin)
for input.Scan() {
counts[input.Text()]++
}
// NOTE: ignoring potential errors from input.Err()
for line, n := range counts {
if n > 1 {
fmt.Printf("%d\t%s\n", n, line)
}
}
}
和前面提到的for循環一樣,if條件兩邊也不需要加括號,但是if表達式後的邏輯體的花括號是不能省略的。如果需要的話,像其它編程語言一樣,這個if表達式也可以有else部分,這部分邏輯會在if中的條件結果爲false時被執行。
map是Go語言內置的key/value型數據結構,這個數據結構能夠提供常數時間的存取操作。key支持任意數據類型,隻要該類型能夠用==運算符來進行比較,string是最常用的key類型。而value類型的可選范圍就更廣了,基本上什麽類型都可以。這個例子中的key都是string類型,value用的是int類型。使用內置make函數來創建空map,但除了創建空map以外,make方法還有别的用處。4.3章會對map進行更深入的討論。
dup程序每次讀取輸入的一行,這一行的內容會被當做一個map的key,而其value值會被+1。counts[input.Text()]++這個語句和下面的兩句是等價的:
line := input.Text()
counts[line] = counts[line] + 1
不用擔心map在未初始化某個key時就去對其進行++操作,Go語言在碰到這種情況時,會自動將其初始化爲0,然後再進行操作。
這個例子使用了range來遍歷map併打印結果。和上次使用到了range的程序類似,range會返迴兩個值,一個key和在map對應這個key的value。對map進行range循環時,其迭代順序是不確定的,從實踐來看,很可能每次運行都會有不一樣的結果(譯註:這是Go語言的設計者有意爲之的,因爲其底層實現不保證插入順序和遍歷順序一致,也希望程序員不要依賴遍歷時的順序,所以榦脆直接在遍歷的時候做了隨機化處理,醉了。補充:好像説隨機序可以防止某種類型的攻擊,雖然不太明白,但是感覺還蠻厲害的),來避免程序員在業務中依賴遍歷時的順序。
程序中用到的bufio package,主要的目的是幫助我們更方便有效地處理程序的輸入和輸出。這個包最有用的一個特性是Scanner類型,可以簡單實現接收輸入,或把輸入打散成行或者單詞;這個工具通常是處理行形式的輸入最簡單的方法了。
程序中使用短變量聲明來創建buffio.Scanner對象:
input := bufio.NewScanner(os.Stdin)
scanner對象從程序的標準輸入中讀取內容。對input.Scanner的每一次調用都會調入一個新行,併且會自動將其行末的換行符去掉;結果用input.Text()得到。Scan方法在讀到了新行的時候會返迴true,而在沒有新行被讀入時,會返迴false。
例子中還有一個fmt.Printf,這個函數和C繫的其它語言里的那個printf函數差不多,都是格式化輸出的方法。fmt.Printf的第一個參數卽是輸出內容的格式規約,每一個參數如何格式化取決於在格式化字符串里出現的“轉換字符”,這個字符串是%號後跟隨一個字母。比如%d表示以一個整數的形式來打印一個變量,而%s,則表示以string形式來打印一個變量。
Printf有一大堆這種轉換,Go語言程序員把這些叫做verb(動詞)。下面的表格列出了常用的動詞,當然了不是全部,但基本也夠用了。
%d int變量
%x, %o, %b 分别爲16進製,8進製,2進製形式的int
%f, %g, %e 浮點數: 3.141593 3.141592653589793 3.141593e+00
%t 布爾變量:true 或 false
%c rune (Unicode碼點),Go語言里特有的Unicode字符類型
%s string
%q 帶雙引號的字符串 "abc" 或 帶單引號的 rune 'c'
%v 會將任意變量以易讀的形式打印出來
%T 打印變量的類型
%% 字符型百分比標誌(%符號本身,沒有其他操作)
dup1中的程序還出現了\t和\n的格式化字符串。這些特殊的轉義字符在字符串中表示不可見字符。Printf默認不會在輸出內容後加上換行符。按照慣例,用來格式化的函數都會在末尾以f字母結尾(譯註:f後綴對應format或fmt縮寫),比如log.Printf,fmt.Errorf,同時還有一繫列對應以ln結尾的函數(譯註:ln後綴對應line縮寫),這些函數默認以%v來格式化他們的參數,併且會在輸出結束後在最後自動加上一個換行符。
很多程序像上面的例子一樣從標準輸入中讀取數據,但輸入源有時還可能是一些文件。下面的dup程序從標準輸入得到一些文件名,然後用os.Open函數來打開每一個文件獲取內容。
gopl.io/ch1/dup2
// Dup2 prints the count and text of lines that appear more than once
// in the input. It reads from stdin or from a list of named files.
package main
import (
"bufio"
"fmt"
"os"
)
func main() {
counts := make(map[string]int)
files := os.Args[1:]
if len(files) == 0 {
countLines(os.Stdin, counts)
} else {
for _, arg := range files {
f, err := os.Open(arg)
if err != nil {
fmt.Fprintf(os.Stderr, "dup2: %v\n", err)
continue
}
countLines(f, counts)
f.Close()
}
}
for line, n := range counts {
if n > 1 {
fmt.Printf("%d\t%s\n", n, line)
}
}
}
func countLines(f *os.File, counts map[string]int) {
input := bufio.NewScanner(f)
for input.Scan() {
counts[input.Text()]++
}
// NOTE: ignoring potential errors from input.Err()
}
os.Open函數會返迴兩個值。第一個值是一個打開的文件類型(*os.File),這個對象在下面的程序中被Scanner讀取。
os.Open返迴的第二個值是一個Go語言內置的error類型。如果這個error和內置值的nil(譯註:相當於其它語言里的NULL)相等的話,説明文件被成功的打開了。之後文件被讀取,一直到文件的最後,文件的Close方法關閉該文件,併釋放占用的一切資源。如果err的值不是nil的話,那説明在打開文件的時候出了某種錯誤。這種情況下,error類型的值會描述具體的問題。我們例子里的簡單錯誤處理會在標準錯誤流中用Fprintf和%v來格式化該錯誤字符串。然後繼續處理下一個文件;continue語句會直接跳過之後的語句,直接開始執行下一個循環迭代。
我們在本書早期的例子中做了比較詳盡的錯誤處理,當然了,在實際編碼過程中,像os.Open這類的函數是一定要檢査其返迴的error值的;爲了減少例子程序的代碼量,我們姑且簡化掉這些不太可能返迴錯誤的處理邏輯。後面的例子里我們會跳過錯誤檢査。在5.4節中我們會對錯誤處理做更詳細的闡述。
讀者可以再觀察一下上面的例子,countLines函數是在其聲明之前就被調用了。在Go語言里,函數和包級别的變量可以以任意的順序被聲明,併不影響其被調用。(譯註:最好還是遵循一定的規范)
再來講講map這個數據結構,map是用make函數創建的數據結構的一個引用。當一個map被作爲參數傳遞給一個函數時,函數接收到的是一份引用的拷貝,雖然本身併不是一個東西,但因爲他們指向的是同一塊數據對象(譯註:類似於C++里的引用傳遞,實際上指針是另一個指針了,但內部存的值指向同一塊內存),所以你在函數里對map里的值進行脩改時,原始的map內的值也會改變。在我們的例子中,我們在countLines函數中插入到counts這個map里的值,在主函數中也是看得到的。
上面這個版本的dup是以流的形式來處理輸入,併將其打散爲行。理論上這些程序也是可以以二進製形式來處理輸入的。我們也可以一次性的把整個輸入內容全部讀到內存中,然後再把其分割爲多行,然後再去處理這些行內的數據。下面的dup3這個例子就是以這種形式來進行操作的。這個例子引入了一個新函數ReadFile(從io/ioutil包提供),這個函數會把一個指定名字的文件內容一次性調入,之後我們用strings.Split函數把文件分割爲多個子字符串,併存儲到slice結構中。(Split函數是strings.Join的逆函數,Join函數之前提到過)
我們簡化了dup3這個程序。首先,它隻讀取命名的文件,而不去讀標準輸入,因爲ReadFile函數需要一個文件名參數。其次,我們將行計數邏輯移迴到了main函數,因爲現在這個邏輯隻有一個地方需要用到。
gopl.io/ch1/dup3
package main
import (
"fmt"
"io/ioutil"
"os"
"strings"
)
func main() {
counts := make(map[string]int)
for _, filename := range os.Args[1:] {
data, err := ioutil.ReadFile(filename)
if err != nil {
fmt.Fprintf(os.Stderr, "dup3: %v\n", err)
continue
}
for _, line := range strings.Split(string(data), "\n") {
counts[line]++
}
}
for line, n := range counts {
if n > 1 {
fmt.Printf("%d\t%s\n", n, line)
}
}
}
ReadFile函數返迴byte類型的slice,這個slice必須被轉換爲string,之後才能夠用strings.Split方法來進行處理。我們在3.5.4節中會更詳細地講解string和byte slice(字節數組)。
在更底層一些的地方,bufio.Scanner,ioutil.ReadFile和ioutil.WriteFile使用的都是*os.File的Read和Write方法,不過一般程序員併不需要去直接了解到其底層實現細節,在bufio和io/ioutil包中提供的方法已經足夠好用。
練習 1.4: 脩改dup2,使其可以分别打印重複的行出現在哪些文件。