string.gmatch untuk Tokenisasi

Apa Itu string.gmatch?

Melakukan Iterasi pada Kata

local s = "the quick brown fox"
for word in s:gmatch("%S+") do
  print(word)
end

Mengumpulkan Kecocokan ke dalam Tabel

local function split(s, pat)
  local parts = {}
  for token in s:gmatch(pat) do
    parts[#parts+1] = token
  end
  return parts
end
local words = split("one two three", "%S+")
print(#words)  -- 3

Mengekstrak Angka

local s = "x=10, y=20, z=30"
for n in s:gmatch("%d+") do
  print(tonumber(n))
end

Menggunakan Hasil Tangkapan dalam gmatch

local s = "from=Alice, to=Bob, cc=Carol"
for k, v in s:gmatch("(%w+)=(%w+)") do
  print(k, "->", v)
end

Tokenizer CSV

local csv = "apple,banana,cherry,date"
for field in (csv .. ","):gmatch("([^,]*),") do
  print(field)
end

Penguraian Pasangan Kunci-Nilai

local headers = "Content-Type: text/html; Content-Length: 1234"
local parsed = {}
for k, v in headers:gmatch("([%w%-]+): ([^;]+)") do
  parsed[k] = v:match("^%s*(.-)%s*$")
end

Menghitung Kemunculan Pola

local function count(s, pat)
  local n = 0
  for _ in s:gmatch(pat) do n = n + 1 end
  return n
end
print(count("banana", "an"))  -- 2

Tokenizer Kalimat

local text = "Hello. How are you? Fine!"
for sent in text:gmatch("[^.!?]+[.!?]?") do
  print(sent:match("^%s*(.-)%s*$"))
end

gmatch vs string.find dalam Perulangan

Keterbatasan Unicode

Pertanyaan tentang gmatch

Ringkasan: string.gmatch