( Этот вопрос о рефакторинге кода F # дал мне один отрицательный голос, но также дал несколько интересных и полезных ответов. И 62 вопроса F # из 32 000+ на SO кажутся жалкими, поэтому я ' Я собираюсь пойти на риск большего неодобрения!)
Я пытался опубликовать немного кода в блоге блоггера вчера и обратился к этому сайту , который я нашел полезным в прошлом. Однако редактор блогов съел все объявления стилей, так что это оказался тупик.
Итак (как и любой хакер) я подумал: "Как это может быть сложно?" и свернул свой в <100 строк F #. </p>
Вот «мясо» кода, которое превращает входную строку в список «токенов». Обратите внимание, что эти токены не следует путать с токенами в стиле lexing / parsing. Я кратко посмотрел на них, и хотя я почти ничего не понимал, я понял, что они дадут мне только токенов, тогда как я хочу сохранить свою исходную строку.
Вопрос в том, есть ли более элегантный способ сделать это? Мне не нравятся n переопределений s, необходимых для удаления каждой строки токена из входной строки, но сложно заранее разбить строку на потенциальные токены из-за таких вещей, как комментарии, строки и директива #region (которая содержит несловесный символ).
//Types of tokens we are going to detect
type Token =
| Whitespace of string
| Comment of string
| Strng of string
| Keyword of string
| Text of string
| EOF
//turn a string into a list of recognised tokens
let tokenize (s:String) =
//this is the 'parser' - should we look at compiling the regexs in advance?
let nexttoken (st:String) =
match st with
| st when Regex.IsMatch(st, "^\s+") -> Whitespace(Regex.Match(st, "^\s+").Value)
| st when Regex.IsMatch(st, "^//.*?\r?\n") -> Comment(Regex.Match(st, "^//.*?\r?\n").Value) //this is double slash-style comments
| st when Regex.IsMatch(st, "^/\*(.|[\r?\n])*?\*/") -> Comment(Regex.Match(st, "^/\*(.|[\r?\n])*?\*/").Value) // /* */ style comments http://ostermiller.org/findcomment.html
| st when Regex.IsMatch(st, @"^""([^""\\]|\\.|"""")*""") -> Strng(Regex.Match(st, @"^""([^""\\]|\\.|"""")*""").Value) // unescaped = "([^"\\]|\\.|"")*" http://wordaligned.org/articles/string-literals-and-regular-expressions
| st when Regex.IsMatch(st, "^#(end)?region") -> Keyword(Regex.Match(st, "^#(end)?region").Value)
| st when st <> "" ->
match Regex.Match(st, @"^[^""\s]*").Value with //all text until next whitespace or quote (this may be wrong)
| x when iskeyword x -> Keyword(x) //iskeyword uses Microsoft.CSharp.CSharpCodeProvider.IsValidIdentifier - a bit fragile...
| x -> Text(x)
| _ -> EOF
//tail-recursive use of next token to transform string into token list
let tokeneater s =
let rec loop s acc =
let t = nexttoken s
match t with
| EOF -> List.rev acc //return accumulator (have to reverse it because built backwards with tail recursion)
| Whitespace(x) | Comment(x)
| Keyword(x) | Text(x) | Strng(x) ->
loop (s.Remove(0, x.Length)) (t::acc) //tail recursive
loop s []
tokeneater s
(Если кому-то действительно интересно, я с удовольствием выложу остаток кода)
EDIT
Используя превосходное предложение из активных паттернов от kvb, центральный бит выглядит так, намного лучше!
let nexttoken (st:String) =
match st with
| Matches "^\s+" s -> Whitespace(s)
| Matches "^//.*?\r?(\n|$)" s -> Comment(s) //this is double slash-style comments
| Matches "^/\*(.|[\r?\n])*?\*/" s -> Comment(s) // /* */ style comments http://ostermiller.org/findcomment.html
| Matches @"^@?""([^""\\]|\\.|"""")*""" s -> Strng(s) // unescaped regexp = ^@?"([^"\\]|\\.|"")*" http://wordaligned.org/articles/string-literals-and-regular-expressions
| Matches "^#(end)?region" s -> Keyword(s)
| Matches @"^[^""\s]+" s -> //all text until next whitespace or quote (this may be wrong)
match s with
| IsKeyword x -> Keyword(s)
| _ -> Text(s)
| _ -> EOF