看到HorkeyChen寫的文章《[WebKit] JavaScriptCore解析--基礎篇(三)從腳本代碼到JIT編譯的代碼實現》，寫的很好，深受啓發。想補充一些Horkey沒有寫到的細節比如字節碼是如何生成的等等，爲此成文。
JSC對JavaScript的處理，其實與Webkit對CSS的處理許多地方是類似的，它這麼幾個部分：
（1）詞法分析->出來詞語(Token)；
（2）語法分析->出來抽象語法樹（AST：Abstract Syntax Tree）；
（3）遍歷抽象語法樹->生成字節碼（Bytecode）；
（4）用解釋器（LLInt：Low Level Interpreter）執行字節碼；
（5）如果性能不夠好就用Baseline JIT編譯字節碼生成機器碼、然後執行此機器碼；
（6）如果性能還不夠好，就用DFG JIT重新編譯字節碼生成更好的機器碼、然後執行此機器碼；
（7）最後，如果還不好，就祭出重器--虛擬器（LLVM：Low Level Virtual Machine）來編譯DFG的中間表示代碼、生成更高優化的機器碼並執行。接下來，我將會用一下系列文章描述此過程。
其中，步驟1、2是類似的，3、4、5步的思想，CSS JIT也是採用類似方法，請參考[1]。想寫寫JSC的文章，用菜鳥和愚公移山的方式，敲開JSC的冰山一角。
本篇主要描述詞法和語法解析的細節。 一、 JavaScriptCore的詞法分析器工作流程分析
W3C是這麼解釋詞法和語法工作流程的：
詞法器Tokenizer的工作過程如下，就是不斷從字符串中尋找一個個的詞（Token），比如找到連續的“true”字符串，就創建一個TokenTrue。詞法器工作過程如下：
JavaScriptCore/interpreter/interpreter.cpp:
template <typename CharType>
template <ParserMode mode> TokenType LiteralParser<CharType>::Lexer::lex(LiteralParserToken<CharType>& token)
{
while (m_ptr < m_end && isJSONWhiteSpace(*m_ptr))
++m_ptr;
if (m_ptr >= m_end) {
token.type = TokEnd;
token.start = token.end = m_ptr;
return TokEnd;
}
token.type = TokError;
token.start = m_ptr;
switch (*m_ptr) {
case '[':
token.type = TokLBracket;
token.end = ++m_ptr;
return TokLBracket;
case ']':
token.type = TokRBracket;
token.end = ++m_ptr;
return TokRBracket;
case '(':
token.type = TokLParen;
token.end = ++m_ptr;
return TokLParen;
case ')':
token.type = TokRParen;
token.end = ++m_ptr;
return TokRParen;
case ',':
token.type = TokComma;
token.end = ++m_ptr;
return TokComma;
case ':':
token.type = TokColon;
token.end = ++m_ptr;
return TokColon;
case '"':
return lexString<mode, '"'>(token);
case 't':
if (m_end - m_ptr >= 4 && m_ptr[1] == 'r' && m_ptr[2] == 'u' && m_ptr[3] == 'e') {
m_ptr += 4;
token.type = TokTrue;
token.end = m_ptr;
return TokTrue;
}
break;
case '-':
case '0':
case '9':
return lexNumber(token);
}
if (m_ptr < m_end) {
if (*m_ptr == '.') {
token.type = TokDot;
token.end = ++m_ptr;
return TokDot;
}
if (*m_ptr == '=') {
token.type = TokAssign;
token.end = ++m_ptr;
return TokAssign;
}
if (*m_ptr == ';') {
token.type = TokSemi;
token.end = ++m_ptr;
return TokAssign;
}
if (isASCIIAlpha(*m_ptr) || *m_ptr == '_' || *m_ptr == '$')
return lexIdentifier(token);
if (*m_ptr == '\'') {
return lexString<mode, '\''>(token);
}
}
m_lexErrorMessage = String::format("Unrecognized token '%c'", *m_ptr).impl();
return TokError;
}經過此過程，一個完整的JSC世界的Token就生成了。然後，再進行語法分析，生成抽象語法樹.下圖就是JavaScriptCore世界語法節點的靜態類關係：
下面我們看看，語法解析具體過程：
JavaScriptCore/parser/parser.cpp:
PassRefPtr<ParsedNode> Parser<LexerType>::parse(JSGlobalObject* lexicalGlobalObject, Debugger* debugger, ExecState* debuggerExecState, JSObject** exception)</span>{
ASSERT(lexicalGlobalObject);
ASSERT(exception && !*exception);
int errLine;
UString errMsg;
if (ParsedNode::scopeIsFunction)
m_lexer->setIsReparsing();
m_sourceElements = 0;
errLine = -1;
errMsg = UString();
UString parseError = parseInner();
。。。
｝創建抽象語法樹Builder，並用來解析、生成語法節點：
UString Parser<LexerType>::parseInner(){
UString parseError = UString();
unsigned oldFunctionCacheSize = m_functionCache ? m_functionCache->byteSize() : 0;
//抽象語法樹Builder：
ASTBuilder context(const_cast<JSGlobalData*>(m_globalData), const_cast<SourceCode*>(m_source));
if (m_lexer->isReparsing())
m_statementDepth--;
ScopeRef scope = currentScope();
//開始解析生成語法樹的一個節點：
SourceElements* sourceElements = parseSourceElements<CheckForStrictMode>(context);
if (!sourceElements || !consume(EOFTOK))
｝舉例說來，根據Token的類型，JSC認爲輸入的Token是一個常量聲明，就會使用如下的模板函數生成語法節點（Node），然後放入ASTBuilder裏面,我們先看ASTBuilder的結構：
class ASTBuilder {
......
Scope m_scope;
Vector<BinaryOperand, 10> m_binaryOperandStack;
Vector<AssignmentInfo, 10> m_assignmentInfoStack;
Vector<pair<int, int>, 10> m_binaryOperatorStack;
Vector<pair<int, int>, 10> m_unaryTokenStack;
int m_evalCount;
};再看主要語法解析過程（Parser/parser.cpp）：
template <typename LexerType>
template <SourceElementsMode mode, class TreeBuilder> TreeSourceElements Parser<LexerType>::parseSourceElements(TreeBuilder& context)
{
const unsigned lengthOfUseStrictLiteral = 12; // "use strict".length
TreeSourceElements sourceElements = context.createSourceElements();
bool seenNonDirective = false;
const Identifier* directive = 0;
unsigned directiveLiteralLength = 0;
unsigned startOffset = m_token.m_info.startOffset;
unsigned oldLastLineNumber = m_lexer->lastLineNumber();
unsigned oldLineNumber = m_lexer->lineNumber();
bool hasSetStrict = false;
//解析語法節點--語句
while (TreeStatement statement = parseStatement(context, directive, &directiveLiteralLength)) {
if (mode == CheckForStrictMode && !seenNonDirective) {
if (directive) {
// "use strict" must be the exact literal without escape sequences or line continuation.
if (!hasSetStrict && directiveLiteralLength == lengthOfUseStrictLiteral && m_globalData->propertyNames->useStrictIdentifier == *directive) {
setStrictMode();
hasSetStrict = true;
failIfFalse(isValidStrictMode());
m_lexer->setOffset(startOffset);
next();
m_lexer->setLastLineNumber(oldLastLineNumber);
m_lexer->setLineNumber(oldLineNumber);
failIfTrue(m_error);
continue;
}
} else
seenNonDirective = true;
}
context.appendStatement(sourceElements, statement); //添加語法節點到ASTBuilder
}
if (m_error)
fail();
return sourceElements;
}
解析語句就是各種switch case，效率不高啊！
template <typename LexerType>
template <class TreeBuilder> TreeStatement Parser<LexerType>::parseStatement(TreeBuilder& context, const Identifier*& directive, unsigned* directiveLiteralLength)
{
DepthManager statementDepth(&m_statementDepth);
m_statementDepth++;
directive = 0;
int nonTrivialExpressionCount = 0;
failIfStackOverflow();
switch (m_token.m_type) {
case OPENBRACE:
return parseBlockStatement(context);
case VAR:
return parseVarDeclaration(context);
case CONSTTOKEN:
return parseConstDeclaration(context);
case FUNCTION:
failIfFalseIfStrictWithMessage(m_statementDepth == 1, "Functions cannot be declared in a nested block in strict mode");
return parseFunctionDeclaration(context);
case SEMICOLON:
next();
return context.createEmptyStatement(m_lexer->lastLineNumber());
case IF:
return parseIfStatement(context);
case DO:
return parseDoWhileStatement(context);
case WHILE:
return parseWhileStatement(context);
case FOR:
return parseForStatement(context);
case CONTINUE:
return parseContinueStatement(context);
case BREAK:
return parseBreakStatement(context);
case RETURN:
return parseReturnStatement(context);
case WITH:
return parseWithStatement(context);
case SWITCH:
return parseSwitchStatement(context);
case THROW:
return parseThrowStatement(context);
case TRY:
return parseTryStatement(context);
case DEBUGGER:
return parseDebuggerStatement(context);
case EOFTOK:
case CASE:
case CLOSEBRACE:
case DEFAULT:
// These tokens imply the end of a set of source elements
return 0;
case IDENT:
return parseExpressionOrLabelStatement(context);
case STRING:
directive = m_token.m_data.ident;
if (directiveLiteralLength)
*directiveLiteralLength = m_token.m_info.endOffset - m_token.m_info.startOffset;
nonTrivialExpressionCount = m_nonTrivialExpressionCount;
default:
TreeStatement exprStatement = parseExpressionStatement(context);
if (directive && nonTrivialExpressionCount != m_nonTrivialExpressionCount)
directive = 0;
return exprStatement;
}
}舉其中一個例子： JavaScriptCore/parser/parser.cpp:
template <typename LexerType>
template <class TreeBuilder> TreeConstDeclList Parser<LexerType>::parseConstDeclarationList(TreeBuilder& context)
{
failIfTrue(strictMode());
TreeConstDeclList constDecls = 0;
TreeConstDeclList tail = 0;
do {
next();
matchOrFail(IDENT); //取出詞（Token）：
const Identifier* name = m_token.m_data.ident;
next(); //是一個=嗎？
bool hasInitializer = match(EQUAL); //
declareVariable(name);
context.addVar(name, DeclarationStacks::IsConstant | (hasInitializer ? DeclarationStacks::HasInitializer : 0));
TreeExpression initializer = 0;
if (hasInitializer) {
next(TreeBuilder::DontBuildStrings); // consume '='
initializer = parseAssignmentExpression(context);
}<span style="white-space:pre"> </span>新建一個“常量申明節點”放入ASTBuilder裏面：
tail = context.appendConstDecl(m_lexer->lastLineNumber(), tail, name, initializer);
if (!constDecls)
constDecls = tail;
} while (match(COMMA));
return constDecls;
}ASTBuilder.h:
ConstDeclNode* appendConstDecl(int lineNumber, ConstDeclNode* tail, const Identifier* name, ExpressionNode* initializer)
{
ConstDeclNode* result = new (m_globalData) ConstDeclNode(lineNumber, *name, initializer);
if (tail)
tail->m_next = result;
return result;
}
調用堆棧 如下：
#0 JSC::ASTBuilder::BinaryExprContext::BinaryExprContext (this=0x7fffffffbb6f) at JavaScriptCore/parser/ASTBuilder.h:85
#1 JSC::Parser<JSC::Lexer<unsigned char> >::parseBinaryExpression<JSC::ASTBuilder> (this=0x7fffffffc330, context=...)JavaScriptCore/parser/Parser.cpp:1143
#2 JSC::Parser<JSC::Lexer<unsigned char> >::parseConditionalExpression<JSC::ASTBuilder> (this=0x7fffffffc330, context=...) at JavaScriptCore/parser/Parser.cpp:1109
#3 JSC::Parser<JSC::Lexer<unsigned char> >::parseAssignmentExpression<JSC::ASTBuilder> (this=0x7fffffffc330, context=...)
at /opt/src/opt/src/mp50/framework/webkit/WebKit_123412/Source/JavaScriptCore/parser/Parser.cpp:1051
#4 JSC::Parser<JSC::Lexer<unsigned char> >::parseVarDeclarationList<JSC::ASTBuilder> (this=, context=..., declarations=@0x7fffffffbd3c: 1, lastIdent=@0x7fffffffbd30: 0xdb3060, lastInitializer=@0x7fffffffbd28: 0x0, identStart=@0x7fffffffbd24: 5, initStart=@0x7fffffffbd24: 5, initEnd=@: 5) at parser/Parser.cpp:263
#5 JSC::Parser<JSC::Lexer<unsigned char> >::parseVarDeclaration<JSC::ASTBuilder> (this=0x7fffffffc330, context=...) at JavaScriptCore/parser/Parser.cpp:181
#6 JSC::Parser<JSC::Lexer<unsigned char> >::parseStatement<JSC::ASTBuilder> (this=0x7fffffffc330, context=..., directive=: 0x0,directiveLiteralLength=) Parser.cpp:682
#7 JSC::Parser<JSC::Lexer<unsigned char> >::parseSourceElements<(JSC::SourceElementsMode)0, JSC::ASTBuilder> (this, context=...) at parser/Parser.cpp:145
#8 JSC::Parser<JSC::Lexer<unsigned char> >::parseInner (this=0x7fffffffc330) at Parser.cpp:93
#9 JSC::Parser<JSC::Lexer<unsigned char> >::parse<JSC::ProgramNode> (this=, lexicalGlobalObject=, debugger=0x0, debuggerExecState=, exception=) Parser.h:990
#10 JSC::parse<JSC::ProgramNode> (globalData=, lexicalGlobalObject=source,parameters, strictness=JSParseNormal,parserMode=JSParseProgramCode, debugger, execState=, exception=) Parser.h:1048
#11 JSC::ProgramExecutable::compileInternal (this=, exec=, scopeChainNode=, jitType=JSC::JITCode::BaselineJIT) at JavaScriptCore/runtime/Executable.cpp:338
#12 JSC::ProgramExecutable::compile (this=0x7ffff7fbb580, exec=0x7ffff7f9fb90, scopeChainNode=0x7ffff7f7ffc0)JavaScriptCore/runtime/Executable.h:446
#13 JSC::Interpreter::execute (this=, program=, callFrame=, scopeChain=, thisObj=0x7ffff7f9f980) at JavaScriptCore/interpreter/Interpreter.cpp:1224
#14 JSC::evaluate (exec=, scopeChain=, source=..., thisValue=..., returnedException=) JavaScriptCore/runtime/Completion.cpp:75
#15 runWithScripts (globalObject=0x7ffff7f9f980, scripts=, dump=false) at JavaScriptCore/jsc.cpp:545
#16 jscmain (argc=2, argv=0x7fffffffdc88) at JavaScriptCore/jsc.cpp:733
#17 main (argc=2, argv=0x7fffffffdc88) atavaScriptCore/jsc.cpp:510接下來，就會調用BytecodeGenerator::generate生成字節碼，具體分下節分析。我們先看看下面來自JavaScript的一個個語法樹節點生成字節碼的過程：
JavaScriptCore/bytecompiler/BytecodeGenerator.cpp:
RegisterID* BooleanNode::emitBytecode(BytecodeGenerator& generator, RegisterID* dst)
{
if (dst == generator.ignoredResult())
return 0;
return generator.emitLoad(dst, m_value);
}以下是我準備寫的文章題目：
一、 JavaScriptCore的詞法分析器工作流程分析；
二、 JavaScriptCore的語法分析器工作流程分析；
三、 JavaScriptCore的字節碼生成流程分析；
四、 LLInt解釋器工作流程分析；
五、 Baseline JIT編譯器的工作流程分析；
六、 DFG JIT編譯器的工作流程分析；
七、LLVM虛擬機的工作流程分析；
八、JavaScriptCore的未來展望；
文筆粗糙，不善表達，希望能越寫越好。
原創，轉載請註明：http://blog.csdn.net/lichwei1983/article/details/44658533
第一時間獲得博客更新提醒，以及更多技術信息分享，歡迎關注個人微信公衆平臺:程序員互動聯盟(coder_online)，掃一掃下方二維碼或搜索微信號coder_online即可關注,我們可以在線交流。
引用：
1 https://www.webkit.org/blog/3271/webkit-css-selector-jit-compiler/
2 http://blog.csdn.net/horkychen/article/details/8928578