컴파일러 개발 강좌를 진행하려 합니다.

Question

취미활동으로 컴파일러를 개발하면서 쌓은 노하우를 강좌로 풀어볼까 합니다.간단한 인터프리터부터 윈도우에서 실행할 수 있는 파일을 생성할 수 있는 컴파일러까지 단계별로 진행해 볼까 합니다.이미 제작된 컴파일러는 있는 만큼 강좌를 하면서 단계에 맞춰 다듬는 작업이 필요할 것 같은데 강좌의 난이도에 대해 고민이 됩니다.아래는 강좌의 초안 입니다.단순한 코드이지만 혹시나 이해하기 힘들까봐 주석을 필요이상으로 달았다고 생각하는데 다른 분들이 볼 때는 어떨지 모르겠네요.포매팅과 문법 하이라이트는 강좌를 시작할 때 제대로 적용할 생각입니다.강좌 초반에는 전체 소스를 강좌에 포함시키지만 강좌가 진행되면서 필요한 코드만 설명하는 방식으로 할 생각입니다.어떤 방식으로 설명하면 좋을지 댓글 달아주시면 감사하겠습니다. 프로그래머들에게 있어서 컴파일러 개발이란 대부분 딴 나라 이야기로 여겨질지 모릅니다. 하드웨어와 소프트웨어 양쪽에 깊은 이해가 있어야 하고 프로그래밍 이론 또한 능통해야 컴파일러 개발이 가능하기에 OS 개발을 제외하면 컴파일러 개발보다 어려운 개발은 거의 없다고 해도 과언이 아니기 때문입니다. 하지만 컴파일러 개발을 좀 더 자세히 살펴보면 단계별로 상당한 난이도의 차이가 있습니다. 예를 들어 소스 코드를 토큰으로 변환하는 과정은 대부분의 프로그래머가 어렵지 않게 이해하고 프로그래밍할 수 있는 과정이지만 파싱된 추상 구문 트리를 중간 코드 또는 기계어로 변환하는 과정은 난도가 높으며 코드를 최적화하는 과정은 어셈블리에 대한 아주 깊은 이해를 요구합니다. 단순하게 말하자면 파싱을 기준으로 파싱까지는 저난도, 이후는 고난도로 얘기할 수 있습니다. 다양한 컴파일러 이론 서적이 존재하나 서적을 참고로 컴파일러를 제작하기는 것은 쉽지가 않습니다. Let's Build a Compiler, Let’s Build A Simple Interpreter 등 영문으로 된 컴파일러 개발 사이트를 참고하는 것도 좋지만 둘 다 컴파일러 개발의 앞부분만 보여주고 마무리가 됐기에 이 강좌는 C#을 이용하여 소스 코드를 스캔하는 Lexer부터 기계어 코드 또는 어셈블리 코드를 생성하는 제너레이터까지 컴파일러의 제작의 모든 과정을 다루고 소스 코드를 제공할 생각입니다. 개발에 사용되는 언어로 C#을 사용하나 한 가지 이상의 언어를 다룰 수 있는 프로그래머라면 어렵지 않게 이해할 수 있을 난이도로 진행할 생각입니다. 물론 Visual Studio는 설치해야겠죠? HI1 - 덧셈, 뺄셈을 계산할 수 있는 인터프리터 솔루션명 HybridCompiler, 프로젝트명 HI1(Hybrid Interpreter 1)인 콘솔 앱 프로젝트를 생성합니다. 이후 모든 강좌의 소스 코드는 HybridCompiler 솔루션에 개별적인 프로젝트로 추가됩니다. HI1은 콘솔창에서 5 + 3, 7 - 3 등 덧셈과 뺄셈만 입력받아 계산할 수 있는 간단한 계산기의 역할을 하는 인터프리터입니다. HI1는 Console Input --문자열--> Lexer ---토큰 목록--> Interpreter --결과값--> Console Output 4가지 processing으로 이루어져 있습니다. Console Input & Output Program.cs using System; namespace HI1 { internal class Program { private static void Main(string[] args) { // 유닛 테스트를 실행한다. Test.Run(); while (true) { // 입력을 받는다. Console.Write(">"); var input = Console.ReadLine(); // 입력된 내용이 비어있으면 인터프리터를 종료한다. if (string.IsNullOrWhiteSpace(input)) { break; } // Lexer에 입력한 내용을 전달하고 실행한다. var lexer = new Lexer(input); // Lexer를 실행한 후 토큰 목록을 Interpreter에 전달한다. var interpreter = new Interpreter(lexer.Run()); // Interpreter를 실행한 후 결과값을 받는다. var result = interpreter.Run(); // 결과값을 출력한다. Console.WriteLine(result); } } } } Lexer Token.cs using System.Diagnostics; namespace HI1 { internal enum TokenType { Integer, // 정수 Plus, // 더하기 Minus, // 빼기 EOF, // 파일(문자열)의 끝 } internal class Token { public long integer; // 토큰이 정수 타입일 경우 정수 값 public TokenType type; // 토큰 타입 // 더하기, 빼기, EOF 토큰을 생성한다. public Token(TokenType type) { // TokenType은 더하기, 빼기 또는 EOF만 허용한다. Debug.Assert(type == TokenType.Plus || type == TokenType.Minus || type == TokenType.EOF , $"{type} : 유효하지 않은 토큰 타입입니다."); this.type = type; } // 정수 토큰을 생성한다. public Token(long integer) { type = TokenType.Integer; this.integer = integer; } } } Token은 프로그래밍언어에서 의미를 가지는 가장 작은 단위입니다. 예를 들어 if, for 등의 키워드 +,- 등의 사칙연산들은 각각 하나의 토큰이 됩니다. HI1는 정수의 덧셈과 뺄셈 연산만 지원하는 인터프리터이기 때문에 정수, +, - 3개 타입의 토큰과 끝을 나타내는 EOF 토큰을 사용합니다. Lexer.cs using System.Collections.Generic; using System.Diagnostics; namespace HI1 { internal class Lexer { public Lexer(string input) { text = input; GetNextChar(); } // 다음 토큰을 가져온다. public Token GetNextToken() { while (currentChar != NullChar) { if (currentChar >= '0' && currentChar <= '9') { return new Token(ReadInteger()); } var chr = currentChar; switch (chr) { case ' ': SkipSpace(); continue; case '+': GetNextChar(); return new Token(TokenType.Plus); case '-': GetNextChar(); return new Token(TokenType.Minus); } Debug.Fail($"{chr} : 유효하지 않은 문자입니다."); } return new Token(TokenType.EOF); } // 문자열을 토큰 목록으로 변환한다. public List Run() { Token token; var tokens = new List(); do { token = GetNextToken(); tokens.Add(token); } while (token.type != TokenType.EOF); return tokens; } private const char NullChar = (char)0; private readonly string text; private char currentChar; private int currentPos; // 다음 문자를 가져온다. private void GetNextChar() { currentChar = (currentPos < text.Length) ? text[currentPos] : NullChar; currentPos++; } // 숫자를 읽는다. private long ReadInteger() { long integer = 0; do { integer = integer * 10 + currentChar - '0'; GetNextChar(); } while (currentChar >= '0' && currentChar <= '9'); return integer; } // 공백을 넘긴다. private void SkipSpace() { do { GetNextChar(); } while (currentChar == ' '); } } } Interpreter Interpreter.cs using System.Collections.Generic; using System.Diagnostics; namespace HI1 { internal class Interpreter { public Interpreter(List tokens) => this.tokens = tokens; // 토큰 목록을 값으로 변환한다. public long Run() { // 첫번째 토큰 정수 var leftInteger = Match(TokenType.Integer); // 두번째 토큰 + 또는 - var op = GetNextToken(); Debug.Assert(op.type == TokenType.Plus || op.type == TokenType.Minus, $"{op.type} : 이항연산자가 필요힙니다."); // 세번째 토큰 정수 var rightInteger = Match(TokenType.Integer); // 네번째 토큰 EOF Match(TokenType.EOF); switch (op.type) { case TokenType.Plus: return leftInteger.integer + rightInteger.integer; case TokenType.Minus: return leftInteger.integer - rightInteger.integer; } return 0; } private readonly List tokens; private int currentPos; // 다음 토큰을 가져온다. private Token GetNextToken() { var token = (currentPos < tokens.Count) ? tokens[currentPos] : new Token(TokenType.EOF); currentPos++; return token; } // 다음 토큰의 타입을 검사하고 가져온다. private Token Match(TokenType type) { var token = GetNextToken(); Debug.Assert(type == token.type, $"{token.type} : {type} 토큰이 필요합니다."); return token; } } } Test Test.cs using System; using System.Diagnostics; namespace HI1 { internal static class Test { public static void Run() { Console.WriteLine("===== 테스트 시작"); TestLexer(); TestInterpreter(); Console.WriteLine("===== 테스트 완료 "); } private static void AssertEqual(object value1, object value2) { Console.WriteLine($"{value1} == {value2}"); Debug.Assert(value1.ToString() == value2.ToString(), "값이 일치하지 않습니다."); } // Interpreter를 테스트 한다. private static void TestInterpreter() { object[] tests = { "5 + 3", 8, "3 - 5", -2 }; for (int i = 0; i < tests.Length; i += 2) { var lexer = new Lexer(tests[i].ToString()); var interpreter = new Interpreter(lexer.Run()); var result = interpreter.Run(); AssertEqual(result, tests[i + 1]); } } // Lexer를 테스트 한다. private static void TestLexer() { object[] tests = { "1234567890", TokenType.Integer, "+", TokenType.Plus, "-", TokenType.Minus, "", TokenType.EOF }; for (int i = 0; i < tests.Length; i += 2) { var lexer = new Lexer(tests[i].ToString()); var token = lexer.GetNextToken(); AssertEqual(token.type, tests[i + 1]); } } } } 실행결과 ===== 테스트 시작 Integer == Integer Plus == Plus Minus == Minus EOF == EOF 8 == 8 -2 == -2 ===== 테스트 완료 >5 + 7 12 >7 - 5 2 > 계속하려면 아무 키나 누르십시오 . . . 참고자료 Ruslan's Blog, https://ruslanspivak.com/

asmpro · Answer

댓글이 없는 걸 보니 아무래도 그냥 강좌를 올리는게 정답인 것 같네요.

배우고싶은이 · Answer

멋집니다.비전공자라서 미지의 영역이네요.

코드몬스터 · Answer

감사합니다. 혹시 스트리밍으로 작업하실 생각은 없으신가요?

asmpro · Answer

스트리밍은 무리인 것 같습니다.

라이언킹 · Answer

흠.. 전체 코드는 git 에 올려주시고, 각 코드에 필요한 부분 부분을 설명해 주시는 걸로 하면 어떻까 싶습니다. 각 강좌별 Test1.Run() 과 같은 메서드를 통해 강좌별로 알아야 될 포인트를 구동 및 검증(테스트)하는 코드를 넣어주시고 설명을 풀어주신다면, 구독하는 사람들이 매우 쉽게 접근 할 수 있을거라 생각합니다.

yua111 · Answer

이거 근데 컴파일러가 아니라 그냥 c# 코드 아니에요?

asmpro · Answer

라이언킹님 조언대로 git에 올리겠습니다.그리고 이미 팁 게시판에 강좌 1화를 올렸는데 좀 더 상세한 설명을 추가하여 수정하도록 하겠습니다.yua111/ C#으로 컴파일러 개발의 이해를 돕기 위해 간단한 인터프리터를 개발하는 걸로 강좌를 시작했습니다.컴파일러 또한 다른 언어로 만들어 집니다.이 프로젝트는 C#으로 컴파일러를 만드는 프로젝트입니다.

컴파일러 개발 강좌를 진행하려 합니다.

7개의 답변

#interpreter 목록